Kunstig intelligenssystemer kan snart stå over for en betydelig udfordring på grund af den potentielle udtømning af menneskegenereret tekstdata, som er afgørende for at gøre dem klogere. Forskningsgruppen Epoch AI rapporterede, at inden 2026 og senest inden 2032 kan kilden til offentligt tilgængelige data til træning af AI-sprogmodeller løbe tør.
Studiet forfatter, Tamay Besiroglu, antydede, at uden en kontinuerlig forsyning af autentisk menneskeskrevet indhold kunne det være problematisk at opretholde den nuværende hastighed i AI-udviklingen. På kort sigt konkurrerer teknologivirksomheder som OpenAI, der udviklede ChatGPT, og Google om at sikre og undertiden betale for kvalitetsdata, herunder indgåelse af aftaler om adgang til tekstindhold fra platforme som Reddit og forskellige nyhedsmedier.
Med henblik på fremtiden kan de nuværende ressourcer af nye blogindlæg, nyhedsartikler og sociale mediekommentarer måske ikke være tilstrækkelige til at opretholde AI-fremgangens bane. Denne knaphed kan tvinge virksomheder til at overveje at udnytte i øjeblikket private og følsomme data, såsom personlige e-mails eller sms’er, eller stole på mindre pålidelige syntetiske data genereret af chatbots selv. Besiroglu fremhævede, at der er en “alvorlig flaskehals” på dette område.
Dette peer-reviewede studie er planlagt til at blive præsenteret på den Internationale Maskinlæringskonference i Wien denne sommer. Epoch-projektet er en initiativ fra den San Francisco-baserede non-profit organisation “Rethink Priorities.”
Besiroglu henviser også til en forståelse blandt AI-forskere om, at store fremskridt i AI-systemers ydeevne kan opnås ved at udvide regnekraften og udnytte store mængder internetdata. Ifølge Epochs undersøgelser stiger mængden af tekstdata, der indføres i AI-sprogmodeller, omkring 2,5 gange årligt, hvorimod den regnekraft vokser med cirka 4 gange om året.
Nicolas Papernot, assistentprofessor i datateknik ved University of Toronto og forsker ved et non-profit AI-forskningsinstitut, der ikke var involveret i Epoch-studiet, nævnte vigtigheden af at forstå, at opbygning af stadig større modeller ikke er en nødvendighed. Han foreslog, at modeller specialiseret til bestemte opgaver kunne føre til mere dygtige AI-systemer. Dog udtrykte Papernot bekymring over at træne generative AI-systemer med AI-genererede output, idet han påpegede, at det kunne føre til en forringelse af ydelsen, ligesom forringelsen af information, når man kontinuerligt kopierer et dokument.
Nøglespørgsmål og svar:
1. Hvorfor er der en potentiel mangel på tekstdata til AI-udvikling?
Der kan være mangel på grund af den begrænsede mængde menneskegenereret tekst, der er offentligt tilgængelig og etisk anvendelig til træning af AI-systemer. Da disse systemer er meget afhængige af store mængder data, kan den hurtigt voksende efterspørgsel overgå produktionen af nyt menneskegenereret indhold.
2. Hvad gør virksomheder som OpenAI og Google for at imødekomme denne potentielle mangel?
Virksomheder forsøger at sikre kvalitetsdata gennem partnerskaber og aftaler med platforme, der har store tekstuelle dataset, som f.eks. Reddit og forskellige nyhedsmedier, for at sikre en stabil strøm af data til træning af deres AI-modeller.
3. Hvad er de mulige alternativer til menneskegenereret tekst til træning af AI?
Hvis menneskegenereret tekst bliver knap, kan virksomheder henvende sig til privat og følsom data, hvilket rejser etiske bekymringer, eller stole på syntetiske data produceret af AI, skønt denne tilgang kan resultere i faldende afkast i ydelsen af AI.
Udfordringer, kontroverser og fordele/ulemper:
Den primære udfordring er, hvordan man opretholder kvaliteten og mangfoldigheden af data, der er nødvendige for kontinuerlig forbedring af AI-modeller uden at krænke privatlivets fred eller etiske standarder. En væsentlig kontrovers omfatter overvejelser om privatliv og brugerens samtykke, hvis private tekstdata udnyttes.
Fordele:
– Vedvarende fremskridt i AI kan føre til bedre AI-assisterede løsninger på tværs af brancher.
– Specialiserede modeller til specifikke domæner eller opgaver kan forbedre effektiviteten og ydeevnen.
Ulemper:
– Manglen på kvalitetsdata kan føre til utilstrækkelige modeller eller bias på grund af reduceret datasætdiversitet.
– AI-ydelsen kan forringes over tid, hvis den er afhængig af syntetiske eller lavere kvalitetsdata.
Relevante yderligere fakta:
– Datalovgivning om beskyttelse, f.eks. GDPR i Europa, kan påvirke tilgængeligheden af tekstdata til AI-træning og kræver omhyggelige overvejelser for at sikre overensstemmelse.
– Fremskridt inden for usuperviseret og selvforbedrende læringsmetoder kan delvist mildne behovet for store mængder mærket tekstdata.
– Der pågår forskning i få-skuds læring, hvor AI kan lære fra meget mindre datasæt, hvilket potentielt kan reducere behovet for store tekstsamlinger.
Relaterede autoritative links om emnerne er:
– Google AI
– OpenAI
– Rethink Priorities
Fordelene og ulemperne ved denne situation skal afbalanceres omhyggeligt med særlig opmærksomhed på privatliv, juridiske og etiske hensyn, da jagten på at akkumulere data kan komme med betydelige omkostninger. Forskere og udviklere skal også fokusere på at skabe mere dataeffektive modeller, som kan klare sig godt med mindre mængder data eller udnytte datasyntese på en ansvarlig måde.