Scale AI, компания със седалище в Сан Франциско, влезе в едногодишен договор с Чиф Дигитал и Изкуствен Интелигентен Офис на Пентагона (CDAO), за създаване на общоприета рамка за тестване и оценка (T&E) за големи езикови модели (LLMs). Целта на това сътрудничество е да се установи надежден и безопасен начин за внедряване на генеративно изкуствено интелигентни решения в Министерството на отбраната.
Големите езикови модели, част от генеративната изкуствена интелигентност, имат потенциала да революционизират военното планиране и вземането на решения. Въпреки това, има вътрешни предизвикателства при оценката на тези модели поради сложността на английския език и липсата на дефинитивна „истинска“ основа за оценка на точността. За да се справят с тези предизвикателства, Scale AI ще разработи „хоризонтални набори от данни“, които включват вход от вътрешни лица от Министерството на отбраната, за да излезнат реакции, които после ще бъдат прегледани и оценени от експерти.
Чрез итеративен процес, по мерка на което рамката и наборите от данни се префилират, експертите ще може да оценят представянето на съществуващите големи езикови модели спрямо тях. Ще бъдат създадени моделни карти, които да предоставят информация за контекстуалното най-добро използване на различни модели на машинното самообучение и за измерване на техния капацитет. Целта е да се увеличи устойчивостта и устойчивостта на изкуствените интелигентни системи в класифицираните среди, позволявайки внедрянето на големи езикови модели в сигурни среди.
Процесът на тестване и оценка ще включва оценка и събиране на качествена обратна връзка от потребителите, за да се информират метриките за оценка. Това сътрудничество с Министерството на отбраната ще помогне на Министерството да разбере силните и слабите страни на генеративното изкуствено интелигентност, позволявайки отговорното внедряне на тази технология.
Изпълнителният директор на Scale AI, Александър Уанг, изрази гордостта си от партньорството с Министерството на отбраната във връзка с тази рамка. Компанията също така е сътрудничила с други водещи фирми като Microsoft, General Motors и Nvidia, за да превърне напред AI технологиите.
Това сътрудничество представлява значителен напредък в разработването на стандартизиран подход към тестване и оценяване на големите езикови модели в областта на отбраната. Чрез установяване на рамка за безопасно и точно внедряване на изкуствен интелигентни решения, Министерството на отбраната може да се възползва от възможностите на генеративната изкуствена интелигенция за военни приложения.
The source of the article is from the blog meltyfan.es