Scale AI, vedúci partner v testovaní a hodnotení (T&E) pre novátorské spoločnosti umelej inteligencie (AI), sa spojil s Úradom šéfa digitálneho a umelej inteligencie Amerického ministerstva obrany (DoD), aby vytvorili komplexný rámec T&E zameraný na zodpovedné využívanie veľkých jazykových modelov (LLMs) vo vnútri DoD.
Táto spolupráca uvidí, ako Scale vyvíja špeciálne testovacie benchmarky určené špecificky pre aplikácie DoD a bezproblémovo ich integruje do svojho platformu T&E na podporu stratégie CDAO pre využívanie LLMs. Týmto spôsobom táto iniciatíva poskytne CDAO štruktúrovaný rámec pre bezpečné nasadenie AI hodnotením výkonnosti modelu, poskytovaním spätnú väzbu pre vojenských bojovníkov a vytvorením špecializovaných súborov hodnotení prispôsobených požiadavkám verejného sektora na testovanie AI modelov v aplikáciách vojenskej podpory, ako napríklad získavanie informácií z reportov o akciách.
Primárnym zámerom tohto úsilia je posilniť politiky T&E DoD tým, že zahrnie generatívne AI, použije kvantitatívne benchmarky pre hodnotenie metrík a zhromaždí kvalitatívnu spätnú väzbu od užívateľov. Tento prísny proces T&E umožní identifikáciu generatívnych AI modelov vhodných pre vojenské aplikácie, poskytnú presné a relevantné výsledky s použitím zmysluplného jazyka a znalostných báz DoD. Celkovým cieľom tohto komplexného prístupu je posilniť odolnosť a robustnosť AI systémov v klasifikovaných prostrediach a zjednodušiť adopciu technológie LLM v bezpečných nastaveniach.
Alexandr Wang, zakladateľ a generálny riaditeľ Scale AI, vyjadril záväzok spoločnosti ochrane integrity budúcich aplikácií AI v obrane a posilnenie globálneho vedenia Spojených štátov pri zodpovednej adopcii bezpečnej a spoľahlivej umelej inteligencie. Wang zdôraznil, že testovaním a hodnotením generatívnej AI môže DoD získať kľúčové poznatky o silných a slabých stránkach technológie, čím umožní zodpovednú a efektívnu implementáciu. Wang poznamenal: „Scale si váži spoluprácu s DoD na tomto rámci.“
Zatiaľ čo testovacie a hodnotiace procesy boli dlho štandardnými v rôznych odvetviach na zaistenie bezpečnosti výrobkov a trhovej pripravenosti, špecifické štandardy bezpečnosti AI ešte neboli štandardizované. Pionierska metodika Scale, uvedená minulé leto, predstavuje prvý komplexný technický prístup odvetvia k T&E jazykových modelov LLM. DoD prijatie tejto metodiky zdôrazňuje záväzok Scale porozumieť potenciálu a obmedzeniam LLMs, minimalizovať riziká a spĺňať špecifické požiadavky vojenských síl.
Viac informácií o prístupe Scale k testovaniu a hodnoteniu nájdete na [https://scale.com/llm-test-evaluation](https://scale.com/llm-test-evaluation).
O spoločnosti Scale AI
Scale AI je hnacou silou za revolúciou v generatívnej AI. Na základe excelentnej kvality dát a ľudského pohľadu poháňa Scalevý motor dát najpokročilejšie modely na svete. Rozsiahle partnerstvá Scale s významnými tvorcami modelov umožňujú akýmkoľvek organizáciám efektívne používať AI, čím sa Scale stáva dôveryhodným spolupracovníkom popredných priemyselných lídrov, ako sú Meta, Microsoft, Armáda USA, Inovačná jednotka obrany DoD, OpenAI, Cohere, Anthropic, General Motors, Výskumný inštitút Toyota a NVIDIA.
Kontakt pre tlač:
Heather F. Horniak
[email protected]
Verzia zdroja: [businesswire.com](https://www.businesswire.com/news/home/20240220793678/en/)
Často kladené otázky o spolupráci Scale AI s Úradom šéfa digitálneho a umelej inteligencie Ministerstva obrany USA
1. Čo znamená spolupráca Scale AI s Úradom šéfa digitálneho a umelej inteligencie Ministerstva obrany USA (DoD)?
– Scale AI sa spojil s Úradom šéfa digitálneho a umelej inteligencie (CDAO) DoD na vytvorenie komplexného rámca pre testovanie a hodnotenie (T&E) zameraného na zodpovedné využívanie veľkých jazykových modelov (LLMs) vo vnútri DoD.
2. Čo bude Scale AI robiť v tejto spolupráci?
– Scale AI vyvinie špeciálne testovacie benchmarky špeciálne určené pre aplikácie DoD a integruje ich do svojej platformy T&E. To podporí stratégiu CDAO pre využívanie LLMs, vyhodnotí výkon modelu, poskytne spätnú väzbu vojenským bojovníkom a vytvorí špecializované súpravy hodnotení pre testovanie modelov AI v aplikáciách vojenskej podpory.
3. Aké sú ciele tejto spolupráce?
– Primárnym cieľom je posilniť politiky T&E DoD zahrnutím generatívnej AI a používaním kvantitatívnych benchmarkov pre hodnotenie metrík. Spolupráca si kladie za cieľ identifikovať generatívne AI modely vhodné pre vojenské aplikácie a posilniť odolnosť a robustnosť AI systémov v klasifikovaných prostrediach.
4. Ako bude spolupráca prispievať k zodpovednej adopcii AI v oblasti obrany?
– Testovanie a hodnotenie generatívnej AI umožní DoD získať kritické informácie o silných a slabých stránkach technológie, umožňujúc zodpovednú a efektívnu implementáciu. Spolupráca si kladie za cieľ chrániť integritu budúcich aplikácií AI v oblasti obrany a posilniť globálne vedenie Spojených štátov v zodpovednej adopcii AI.
5. Aký je ambiciózny prístup Scale AI k testovaniu LLM?
– Metodika Scale AI, vydaná minulé leto, je prvým komplexným technickým prístupom odvetvia k T&E jazykových modelov LLM. Jej cieľom je porozumieť potenciálu a obmedzeniam LLM, minimalizovať riziká a spĺňať špecifické požiadavky vojenských síl.
6. Môžem sa dozvedieť viac o prístupe Scale AI k testovaniu a hodnoteniu?
– Áno, môžete sa dozvedieť viac o prístupe Scale AI k testovaniu a hodnoteniu na ich webovej stránke: [Testovanie a hodnotenie Scale AI ](https://scale.com/llm-test-evaluation).
Kľúčové definície:
– Veľké jazykové modely (LLMs): Odkazujú na pokročilé AI modely, ktoré majú rozsiahle schopnosti porozumieť a generovať ľudským text podobné texty.
– Testovanie a hodnotenie (T&E): Proces posudzovania výkonu, funkčnosti a bezpečnosti produktu alebo technológie.
Súvisiace odkazy:
– [Scale AI](https://scale.com): Hlavná doména Scale AI, poskytujúca informácie o ich riešeniach AI a partnerstvách.
– [Ministerstvo obrany USA](https://www.defense.gov/): Oficiálna webová stránka Ministerstva obrany USA, poskytujúca podrobné informácie o obranných politikách a iniciatívach.
The source of the article is from the blog agogs.sk