Създаване на огромни езикови модели за азиатския пазар
Флито, предприятие за изкуствен интелект за езикови данни, обяви сътрудничеството си с фирмата за изкуствен интелект Upstage с цел подобряване на големите езикови модели (LLM). Техният основен фокус ще бъде на подобряване на производителността на LLM чрез събиране на езици с ограничени ресурси като тайландски, японски, виетнамски, лаоски и кхмерски, които са популярни в азиатските региони.
Цели на сътрудничеството
Стратегическото партньорство ще включва разработването на корейски ранглистинг на LLM наречен „Ko-LLM“, управление на многоезикови ранглистинги на LLM и използването на езици с ограничени ресурси за локализиране на LLM. Двете страни имат за цел да усъвършенстват сложността на езиковия модел на ИИ и да отговорят на корпоративното търсене на по-малки набори от данни за езикови модели (sLLM).
Подобряване на точността на езиковите модели
Флито планира да засили конкурентоспособността на технологията за събиране на езици чрез използване на своето майсторство в създаването на многоезикови паралелни корпуси и богати данни без авторски права. В същото време Upstage се стреми да осигури висококачествени данни за езици с ограничени ресурси, за да разшири предварително обучения си LLM на име „Sola“. Сочи се, че до края на годината Sola ще поддържа по-широк спектър от езици, включително японски и тайландски, като вече е поддържал корейски и английски.
Предвидени последици за екосистемата на ИИ
Представители от двете компании подчертават стратегическото значение на това предприятие. Изпълнителният директор на Флито подчертава значението на научаването на езиците с ограничени ресурси като ключ към подобряване на производителността на LLM, докато ръководството на Upstage акцентира на необходимостта от качествени данни за глобалната иновация в областта на ИИ. Съюзът се възприема като обещаваща стъпка към позитивното приносене на домашната екосистема на ИИ и подобряването на глобалното изживяване на генеративната ИИ.
Ключови въпроси и отговори:
– Какви са езиците с ограничени ресурси и защо са важни за LLM?
Езиците с ограничени ресурси са езици, за които има относително малко дигитален текст, наличен за обучение на модели за машинно самообучение. Тези езици са важни за LLM, защото включването им може да подобри способността на моделите да разбират и генерират текст на по-широка гама от езици, като по този начин прави приложенията на ИИ по-включващи и актуални за по-голям брой хора.
– Какви са някои от ключовите предизвикателства, свързани със събирането на данни за езици с ограничени ресурси?
Един от ключовите предизвикателства е липсата на съществуващи данни, което прави необходимост създаването на нови ресурси от нулата. Това често включва времеотнемащи и скъпи инициативи като намиране на носители на езика, осигуряване на качество на преводите и събиране на достатъчно разнообразен и голям корпус от текст.
– Какви контроверзии могат да възникнат от това сътрудничество?
Проблеми като притесненията за поверителност, етичното използване на данни и възможни предразсъдъци в ИИ моделите могат да бъдат контроверзии, свързани с всякакви усилия за голямо събиране на данни и развитие на ИИ.
Предимства и недостатъци:
Предимства:
– Подобряване на инклузивността на приложенията на ИИ, като се подкрепя по-широк спектър от езици.
– Подобрено потребителско изживяване за говорители на езици с ограничени ресурси чрез по-точни и естествени езикови взаимодействия с ИИ системите.
– Потенциални икономически ползи от стимулиране на домашната екосистема на ИИ и откриване на нови пазари в Азия за услуги на ИИ.
Недостатъци:
– Възможният риск от недостатъчно качество на данните или смутени набори от данни поради предизвикателствата при събирането на данни за езици с ограничени ресурси.
– Етични проблеми, свързани със събирането, съхранението и използването на данни, особено в региони с различни възгледи по отношение на поверителността и защитата на данните.
– Езиковите модели на ИИ може да не достигнат до паритет в производителността на всички езици, което може да доведе до неравни потребителски изживявания.
Поисканото свързано линк, валидно към моя последен ъпдейт:
Flitto
Upstage
Заключение:
Партньорството между Флито и Upstage представлява значителна крачка в справянето с нуждата от LLM, които могат да поддържат разнообразие от езици, особено на тези, които са подпомагани. Като работят заедно, те се надяват да преодолеят езиковото разделение в технологията на ИИ и да насърчат по-разнообразно лингвистично представителство, от което ще се възползват потребителите по целия свят. Въпреки съществуващите предизвикателства, потенциалните предимства от по-сложни и инклузивни езикови модели за ИИ създават вълнуващо бъдеще за глобалната иновация в областта на ИИ.
The source of the article is from the blog enp.gr