Scale AI sodeluje z Ministrstvom za obrambo pri razvoju okvira za testiranje in ocenjevanje velikih jezikovnih modelov
Scale AI, podjetje s sedežem v San Franciscu, je sklenilo enoletno pogodbo s Pentagonovim uradom za digitalno in umetno inteligenco (CDAO) za ustvarjanje celovitega okvira testiranja in ocenjevanja (T&E) za velike jezikovne modele (LLM). Namen tega sodelovanja je vzpostavitev zanesljivega in varnega načina uvedbe generativne AI v Ministrstvu za obrambo.
Veliki jezikovni modeli, podmnožica generativne AI, imajo potencial za revolucioniranje vojaškega načrtovanja in odločanja. Vendar pa so ocenjevanje teh modelov inherentne težave zaradi kompleksnosti angleškega jezika in pomanjkanja dokončne “temeljne resnice” za ocenjevanje natančnosti. Da bi se spoprijeli s temi izzivi, bo Scale AI razvil “holdout nize podatkov”, ki vključujejo vnos zaposlenih v DOD, da sprožijo odzive, ki jih bodo nato pregledali in ocenili strokovnjaki.
Skozi iterativni proces, ko se okvir in nizi podatkov izpopolnjujejo, bodo lahko strokovnjaki ocenili uspešnost obstoječih velikih jezikovnih modelov proti njim. Modelne kartice bodo ustvarjene, da zagotovijo informacije o kontekstualni najboljši uporabi različnih modelov strojnega učenja in za merjenje njihove uspešnosti. Cilj je okrepiti odpornost in prilagodljivost AI sistemov v tajnih okoljih ter omogočiti sprejetje velikih jezikovnih modelov v varnih okoljih.
Postopek T&E bo vključeval tudi primerjalno testiranje in zbiranje kvalitativnih povratnih informacij uporabnikov za oblikovanje evalvacijskih meril. To sodelovanje z Ministrstvom za obrambo bo pripomoglo, da se DOD seznani s prednostmi in omejitvami generativne AI ter omogočilo odgovorno uvedbo te tehnologije.
A možnosti pogostih vprašanj (FAQ) na osnovi glavnih tem in informacij predstavljenih v članku:
1. Kaj je pogodba Scale AI z Pentagonovim uradom za digitalno in umetno inteligenco (CDAO)?
Scale AI je sklenil enoletno pogodbo s CDAO za ustvarjanje okvira testiranja in ocenjevanja velikih jezikovnih modelov (LLM) znotraj Ministrstva za obrambo.
2. Kaj so veliki jezikovni modeli (LLM)?
Veliki jezikovni modeli so podmnožica generativne AI, ki imajo potencial za revolucioniranje vojaškega načrtovanja in odločanja.
3. Kaj so izzivi pri ocenjevanju velikih jezikovnih modelov?
Ocenjevanje velikih jezikovnih modelov je izzivno zaradi kompleksnosti angleškega jezika in pomanjkanja dokončne “temeljne resnice” za ocenjevanje natančnosti.
4. Kako bo Scale AI naslovil izzive ocenjevanja velikih jezikovnih modelov?
Scale AI bo razvil “holdout nize podatkov”, ki vključujejo vnos zaposlenih v DOD, da sprožijo odzive. Te odzive bodo pregledali in ocenili strokovnjaki, da se izpopolnijo okvirji in nizi podatkov.
5. Kaj so modelne kartice?
Modelne kartice zagotavljajo informacije o kontekstualni najboljši uporabi različnih modelov strojnega učenja in merjenju njihove uspešnosti. Bodo ustvarjene za okrepitev odpornosti in prilagodljivosti AI sistemov v tajnih okoljih.
6. Kako bo ocenjena uspešnost obstoječih velikih jezikovnih modelov?
Skozi iterativni proces bodo strokovnjaki ocenili uspešnost obstoječih velikih jezikovnih modelov proti izpopolnjenim okvirom in nizom podatkov.
7. Kateri je cilj sodelovanja z Ministrstvom za obrambo?
Cilj sodelovanja je povečati razumevanje prednosti in omejitev generativne AI ter omogočiti odgovorno uvedbo velikih jezikovnih modelov v varna okolja.
8. S kom je Scale AI sodeloval v preteklosti?
Scale AI je sodeloval z vodilnimi podjetji, kot so Microsoft, General Motors in Nvidia, za napredovanje tehnologij AI.
Opredelitve ključnih izrazov:
– CDAO Pentagon: Urad, odgovoren za nadzor digitalnih in umetno inteligentnih prizadevanj znotraj Ministrstva za obrambo.
– Veliki jezikovni modeli (LLM): Podmnožica generativne AI, ki imajo potencial za revolucioniranje vojaškega načrtovanja in odločanja.
– Generativna AI: Pristop k AI, ki lahko ustvari nov vsebino, kot so besedila ali slike, na podlagi vzorcev, opaženih v obstoječih podatkih.
– Holdout nizi podatkov: Nizi podatkov, ki vključujejo vnos zaposlenih, da sprožijo odzive za ocenjevanje.
– Modelne kartice: Informacije o kontekstualni najboljši uporabi različnih modelov strojnega učenja in njihovem merjenju uspešnosti.
Predlagane povezave:
– Scale AI
– Ministrstvo za obrambo
The source of the article is from the blog krama.net