Scale AI, en førende partner inden for test og evaluering (T&E) for cutting-edge kunstig intelligens (AI) virksomheder, har slået sig sammen med den amerikanske forsvarsministeriets (DoD) Chief Digital and Artificial Intelligence Office (CDAO) for at etablere en omfattende T&E-ramme, der fokuserer på ansvarlig anvendelse af store sprogmodeller (LLMs) inden for DoD.
Dette samarbejde vil se Scale udvikle skræddersyede benchmarktests, der er specifikt designet til DoD-applikationer, og naemlig integrere dem i deres T&E-platform for at støtte CDAO’s strategi for at anvende LLMs. Ved at gøre dette vil denne initiativ give CDAO en struktureret ramme til sikkert at implementere AI ved at evaluere modelpræstation, tilbyde realtidsfeedback til krigere og skabe specialiserede evalueringsæt skræddersyet til offentlige sektor krav for test af AI-modeller i militære støtteapplikationer, såsom at udtrække indsigt fra efter aktion rapporter.
Det primære mål med dette initiativ er at forbedre DoD’s T&E-politikker ved at inkorporere generativ AI, bruge kvantitative benchmarking for evalueringsmålinger og indsamle kvalitativ feedback fra brugere. Denne strenge T&E-proces vil muliggøre identifikation af generative AI-modeller, der er egnet til militære applikationer, og levere nøjagtige og relevante resultater ved hjælp af DoD-specifik terminologi og videnbaser. Ultimativt sigter denne omfattende tilgang på at styrke robustheden og modstandsdygtigheden af AI-systemer i klassificerede miljøer, hvilket letter adoptionen af LLM-teknologi i sikre indstillinger.
Alexandr Wang, grundlægger og administrerende direktør for Scale AI, udtrykte virksomhedens forpligtelse til at beskytte integriteten af fremtidige AI-applikationer inden for forsvaret og styrke USA’s globale lederskab inden for ansvarlig vedtagelse af sikre og pålidelige AI. Wang fremhævede, at ved at teste og evaluere generative AI kan DoD få afgørende indsigt i teknologiens styrker og begrænsninger, hvilket muliggør ansvarlig og effektiv implementering. Wang bemærkede, “Scale er beæret over at samarbejde med DoD om denne ramme.”
Mens test- og evaluering-processer længe har været standard i forskellige brancher for at sikre produktsikkerhed og markedsklarhed, er specifikke AI-sikkerhedsstandarder endnu ikke blevet standardiseret. Scales banebrydende metode, der blev frigivet sidste sommer, står som branchens første omfattende tekniske tilgang til LLM T&E. DoD’s adoption af denne metode understreger Scales hengivenhed til at forstå potentialet og begrænsningerne af LLMs, minimere risici og imødekomme de militære særlige krav.
Opdag mere om Scales tilgang til test og evaluering på [https://scale.com/llm-test-evaluation](https://scale.com/llm-test-evaluation).
Om Scale AI
Scale AI er en drivkraft bag Generative AI-revolutionen. Støttet af en grundlag af overlegen datakvalitet og menneskelig indsigt brænder Scales proprietære Data Engine verdens mest avancerede modeller. Scales omfattende partnerskaber med fremtrædende modelbyggere muliggør, at enhver organisation kan anvende AI effektivt og positionerer Scale som en betroet samarbejdspartner for brancheførende såsom Meta, Microsoft, US Army, DoDs Defense Innovation Unit, OpenAI, Cohere, Anthropic, General Motors, Toyota Research Institute og NVIDIA.
Pressekontakt:
Heather F. Horniak
[email protected]
Kildeversion: [businesswire.com](https://www.businesswire.com/news/home/20240220793678/en/)
The source of the article is from the blog macnifico.pt