Scale AI współpracuje z Departamentem Obrony w opracowaniu ram testowych T&E dla dużych modeli językowych
Scale AI, firma z siedzibą w San Francisco, podpisała jednoroczną umowę z Biurem Szefa Cyfrowych Technologii i Sztucznej Inteligencji Departamentu Obrony (CDAO) w celu stworzenia kompleksowych ram testowych i oceny (T&E) dla dużych modeli językowych (LLM). Celem tej współpracy jest ustanowienie niezawodnych i bezpiecznych sposobów wdrażania sztucznej inteligencji generatywnej w Departamencie Obrony.
Duże modele językowe, będące podzbiorem sztucznej inteligencji generatywnej, mają potencjał rewolucji w planowaniu militarnym i podejmowaniu decyzji. Jednakże, istnieją wyzwania związane z oceną tych modeli ze względu na złożoność języka angielskiego i brak jednoznacznego „ground truth” do oceny ich dokładności. Aby rozwiązać te wyzwania, Scale AI opracuje „holdout datasets”, zawierające opinie specjalistów z DOD w celu uzyskania odpowiedzi, które następnie zostaną przeanalizowane przez ekspertów.
Poprzez iteracyjny proces, w miarę udoskonalania ram i zbiorów danych, eksperci będą mogli ocenić wydajność istniejących dużych modeli językowych. Kart modeli zostaną utworzone w celu zapewnienia informacji na temat najlepszego kontekstu użycia różnych modeli uczenia maszynowego oraz pomiaru ich wydajności. Celem jest podniesienie odporności i elastyczności systemów AI w środowiskach klasyfikowanych, umożliwiając wdrożenie dużych modeli językowych w bezpiecznych środowiskach.
Proces T&E będzie także obejmował benchmarking oraz zbieranie informacji zwrotnej od użytkowników w celu ustalenia metryk oceny. Ta współpraca z Departamentem Obrony pomoże DOD zrozumieć mocne i słabe strony sztucznej inteligencji generatywnej, umożliwiając odpowiedzialne wdrożenie tej technologii.
Prezes Scale AI, Alexandr Wang, wyraził dumę z partnerstwa z Departamentem Obrony w ramach tego procesu. Firma ta współpracowała również z innymi liderami branżowymi, takimi jak Microsoft, General Motors i Nvidia, aby promować technologie AI.
Ta współpraca stanowi istotny krok naprzód w opracowywaniu standaryzowanego podejścia do testowania i oceny dużych modeli językowych w sektorze obronnym. Poprzez ustanowienie ram do bezpiecznego i dokładnego wdrażania AI, Departament Obrony może wykorzystać potencjał sztucznej inteligencji generatywnej w zastosowaniach wojskowych.
The source of the article is from the blog macholevante.com