Масштаб ШІ, компанія з Сан-Франциско, уклала однорічний контракт з організацією Головного цифрового та штучного інтелекту Пентагону (CDAO), щоб створити комплексну рамку тестування та оцінки (Та та Е) для великих мовних моделей (LLM). Метою цієї співпраці є створення надійного та безпечного способу впровадження генеративного ШІ в Міністерстві оборони.
Великі мовні моделі, підгрупа генеративного ШІ, мають потенціал революціонізувати військове планування та прийняття рішень. Однак існують внутрішні виклики у відновленні цих моделей через складність англійскої мови та відсутність визначеного «відповідного стандарту» для оцінки точності. Для вирішення цих викликів Масштаб ШІ розробить “тестові набори даних”, які будуть містити внатяжну інформацію від внутрішніх осіб ДОД для отримання відповідей, які потім будуть переглянуті та оцінені експертами.
Через ітеративний процес, по мірі уточнення рамок та наборів даних, експерти зможуть оцінити продуктивність існуючих великих мовних моделей порівняно з ними. Будуть створені модельні картки, щоб надати інформацію про контекстуально найкраще використання різних моделей машинного навчання та виміряти їх продуктивність. Метою є підвищення надійності та стійкості ШІ систем у класифікованих середовищах, що дозволяє використання великих мовних моделей у безпечних середовищах.
Процес Та та Е також буде включати обсягове тестування та збір якісних відгуків від користувачів для інформування метрик оцінки. Ця співпраця з Міністерством оборони допоможе ДОД зрозуміти сильні та слабкі сторони генеративного ШІ, що дозволить відповідально впровадити цю технологію.
Гендиректор Масштаб ШІ, Александер Ванг, висловив гордість за партнерство з Міністерством оборони щодо цієї рамки. Компанія також співпрацювала з іншими лідерами галузі, такими як Microsoft, General Motors та Nvidia, для просування технологій ШІ.
Ця співпраця є значним кроком у розвитку стандартизованого підходу до тестування та оцінювання великих мовних моделей у військовому секторі. Створивши рамки для безпечного та точного впровадження ШІ, Міністерство оборони може використовувати потенціал генеративного ШІ для військових застосувань.
1. В чому полягає контракт Масштаб ШІ з Головним цифровим та штучним інтелектом Пентагону (CDAO)?
Масштаб ШІ уклав однорічний контракт з CDAO для створення рамки тестування та оцінки великих мовних моделей (LLM) в Міністерстві оборони.
2. Що таке великі мовні моделі (LLM)?
Великі мовні моделі – це підгрупа генеративного ШІ, які мають потенціал революціонізувати військове планування та прийняття рішень.
3. Які виклики існують в оцінці великих мовних моделей?
Оцінка великих мовних моделей є складною через складність англійської мови та відсутність визначеного “відповідного стандарту” для оцінки точності.
4. Як Масштаб ШІ вирішує виклики оцінки великих мовних моделей?
Масштаб ШІ розробить “тестові набори даних”, які міститимуть внатяжну інформацію від внутрішніх осіб ДОД для отримання відповідей. Ці відповіді будуть переглянуті та оцінені експертами для уточнення рамки та наборів даних.
5. Що таке модельні картки?
Модельні картки надають інформацію про контекстуально найкраще використання різних моделей машинного навчання та вимірюють їх продуктивність. Вони будуть створені для підвищення надійності та стійкості ШІ систем у класифікованих середовищах.
6. Як буде оцінюватися продуктивність існуючих великих мовних моделей?
Через ітеративний процес, експерти оцінять продуктивність існуючих великих мовних моделей порівняно з уточненою рамкою та наборами даних.
7. Яка мета співпраці з Міністерством оборони?
Мета співпраці полягає в підвищенні розуміння сильних та слабких сторін генеративного ШІ, що дозволить відповідальне впровадження великих мовних моделей у безпечних середовищах.
8. З ким співпрацював Масштаб ШІ у минулому?
Масштаб ШІ співпрацював з лідерами галузі, такими як Microsoft, General Motors та Nvidia, для просування технологій ШІ.
Визначення ключових термінів:
– Головне цифрове та штучне відділення Пентагону (CDAO): Відділ, відповідальний за нагляд за цифровими та штучними інтелектуальними зусиллями у Міністерстві оборони.
– Великі мовні моделі (LLM): Підгрупа генеративного ШІ, які мають потенціал революціонізувати військове планування та прийняття рішень.
– Генеративне ШІ: Підхід до ШІ, що може створювати новий вміст, такий як текст або зображення, на основі спостережених патернів у наявних даних.
– Тестові набори даних: Набори даних, які містять інформацію від внутрішніх осіб для отримання відповідей для оцінки.
– Модельні картки: інформація про контекстуально найкраще використання різних моделей машинного навчання та вимірювання їх продуктивності.
Запропоновані пов’язані посилання:
– Масштаб ШІ
– Міністерство оборони
The source of the article is from the blog be3.sk