Den hurtige udvikling og frigivelse af nye AI-modeller af AI-studier presser grænserne for benchmarking og vurderingsværktøjer. Som følge heraf genererer disse værktøjer problematiske resultater og godkender modeller, der ikke kan betros. Dette udgør en betydelig udfordring for virksomheder og offentlige organer, der forsøger at regulere AI effektivt i et skiftende landskab.
Traditionelle evalueringskriterier for at vurdere AI-præstationer, såsom nøjagtighed og sikkerhed, holder ikke længere trit med kompleksiteten af de nyeste AI-systemer. Eksperter inden for AI-udvikling, test og investering argumenterer for, at disse værktøjer let kan manipuleres og er for snævre i omfang. Den intense konkurrence på AI-området, drevet af investeringer fra risikovillig kapital og tech-giganter som Microsoft, Google og Amazon, har gjort mange ældre benchmarkinger forældede.
Med nye AI-modeller og opdateringer der bliver lanceret månedligt bliver de eksisterende evalueringsstandarder hurtigt forældede. Det er i stigende grad afgørende at sikre, at de AI-produkter, vi har, kan betros, især når generativ AI bliver en topprioritet for mange tech-virksomheder.
Regeringer kæmper også med, hvordan de skal udrulle og håndtere risiciene forbundet med de nyeste AI-modeller. Initiativer som bilaterale aftaler om AI-sikkerhed mellem lande bliver udforsket. Der er også bekymringer om integriteten af offentlige tests, da de AI-modellers træningsdata måske utilsigtet inkluderer de præcise spørgsmål, der er blevet brugt i evalueringer. Dette udgør en udfordring for pålideligheden af benchmarkinger.
For at tackle dette presserende problem dukker startups op med innovative tilgange til at evaluere nye AI-modeller. Nogle platforme tilbyder tilpassede tests fastsat af individuelle brugere, hvilket giver en direkte afspejling af brugernes præferencer. Men selvom disse tilgange kan gavne individuelle brugere, kan de ikke være egnede for virksomheder med specifikke krav til AI-modeller.
I sidste ende anbefales virksomheder at udføre intern test og menneskelig evaluering ved siden af traditionelle benchmarkinger. Valget af AI-modeller er lige så meget en kunst som det er en videnskab. Da AI fortsætter med at udvikle sig, forbliver tilpasning af evalueringsmetoder for at sikre nøjagtighed og pålidelighed af afgørende betydning for at udnytte potentialet i denne transformative teknologi.
The source of the article is from the blog bitperfect.pe