Scale AI, juhtiv partner lõikepunktide kunstliku intelligentsuse (AI) ettevõtete testimises ja hindamises (T&E), on ühendanud jõud Ameerika Ühendriikide Kaitseministeeriumi (DoD) Peamise Digitaalse ja Kunstliku Intelligentsuse Ametiga (CDAO) ning loonud põhjaliku T&E raamistiku, keskendudes suurte keelemudelite vastutustundlikule kasutamisele DoD-s.
Selle koostöö tulemusel arendab Scale kohandatud hindamiskatseid, mis on spetsiaalselt loodud DoD rakenduste jaoks, ning integreerib need sujuvalt oma T&E platvormi, toetades CDAO strateegiat LLM-ide rakendamisel. Sel viisil varustatakse CDAO struktureeritud raamistikuga AI ohutuks kasutuselevõtuks, hindades mudeli toimivust, pakkudes reaalajas tagasisidet võitlejatele ning luues spetsialiseeritud hindamiskomplekte avaliku sektori nõuetele vastavate AI mudelite testimiseks militaaralaste rakenduste jaoks, näiteks aruannetest teadmistest väljavõtete tegemine.
Selle ettevõtmise peamine eesmärk on tugevdada DoD T&E-poliitikat, hõlmates loovat AI-i, kasutades hindamismeetrikateks kvantitatiivset hindamist ja kogudes kasutajatelt kvalitatiivset tagasisidet. See range T&E protsess võimaldab tuvastada loovad AI mudelid, mis sobivad militaaralaste rakenduste jaoks, pakkudes täpseid ja asjakohaseid tulemusi DoD-spetsiifiliste terminite ja teadmispõhjade kasutamisega. Lõppkokkuvõttes eesmärk on tugevdada AI-süsteemide vastupidavust ja vastupidavust klassifitseeritud keskkondades, hõlbustades LLM-tehnoloogia kasutuselevõttu turvalistes seadetes.
Scale AI asutaja ja tegevjuht Alexandr Wang rõhutas ettevõtte pühendumust tulevaste AI-rakenduste aususe tagamisele kaitsevaldkonnas ning Ameerika Ühendriikide globaalse juhtpositsiooni tugevdamisele vastutustundliku ja usaldusväärse AI kasutuselevõtu valdkonnas. Wang märkis, et testides ja hindamisel loovat AI-d, saab DoD kriitilisi teadmisi tehnoloogia tugevuste ja piirangute kohta, võimaldades sellega vastutustundlikku ja efektiivset rakendamist. Wang lisas: “Scale on austatud teha koostööd DoD-ga selle raamistiku väljatöötamisel.”
Kuigi testimis- ja hindamisprotsessid on erinevates tööstusharudes juba mõnda aega olnud standardiks toote turvalisuse ja turule sobivuse tagamiseks, ei ole konkreetseid AI ohutusstandardeid veel normaliseeritud. Scale’i pioneerlik metoodika, mis avaldati möödunud suvel, on tööstuse esimene põhjalik tehniline lähenemine LLM T&E-le. DoD selle metoodika vastuvõtt rõhutab Scale’i pühendumust mõistma LLM-ide potentsiaali ja piiranguid, vähendades riske ning vastates sõjaväe erinõuetele.
Uuri rohkem Scale’i lähenemisest testimisele ja hindamisele aadressil [https://scale.com/llm-test-evaluation](https://scale.com/llm-test-evaluation).
Scale AI Kohta
The source of the article is from the blog toumai.es