Jazykové modely sa stali transformačnou silou v rôznych aspektoch nášho života, od vzdelávania po prácu. Tieto hlboké umele inteligentné programy učenia, ako napríklad ChatGPT od spoločnosti OpenAI, majú schopnosť generovať text, ktorý je podobný textu napísanému ľuďmi, na široké spektrum tém. Avšak existuje tu podkladový problém, ktorý si vyžaduje pozornosť – kultúrne predpoklady zakotvené v týchto modeloch.
Jazykové modely sa trénujú analýzou veľkého množstva textových dát, najmä v angličtine. Keďže internet je dominovaný anglickým obsahom, pričom 59 percent všetkých webových stránok je napísaných v angličtine, trénovacie dáta sú ťažko skreslené voči skúsenostiam a perspektívam anglicky hovoriacich ľudí, najmä tých v Spojených štátoch.
Tento skreslený pohľad sa stáva čoraz zreteľnejším pri preskúmaní toho, ako jazykové modely interpretujú isté situácie. Napríklad dávnejšie bol ChatGPT presvedčený, že pár v Madride je úsporný alebo nespokojný, keď zaobchádzali štyrmi percentami z návštevnosti v reštaurácii, a to bez ohľadu na španielsky kultúrny zvyk, ktorý nepredpisuje dávanie spropitného. Avšak nepretržité aktualizácie a trénovanie sa zapojili do zlepšovania schopnosti ChatGPT zohľadňovať kultúrne rozdiely pri posudzovaní vhodnosti spropitného.
Napriek tomu existujú ďalšie prípady, ktoré odhaľujú implicitné kultúrne predpoklady jazykových modelov. Napríklad, keď dostal príbeh o hosťoch, ktorí prichádzajú na večeru o 20:30, ChatGPT by špekuloval o dôvodoch ich meškania a predpokladal štandardný severoamerický čas na večeru o 18:00. Tým sa zdôrazňuje úzky západný, severoamerický pohľad, cez ktorý tieto modely prehliadajú svet.
Štúdie realizované výskumníkmi z Kodaňskej univerzity a startupom Anthropic, zaoberajúce sa umelej inteligencii, ukázali, že tieto kultúrne predsudky v jazykových modeloch majú zreteľnú štatistickú tendenciu. Vytvorením dotazníka na základe merania ľudských hodnôt v rôznych krajinách sa zistilo, že tieto modely vykazujú silné prepojenie s americkou kultúrou.
Tento problém sa netýka iba ChatGPT. Dokonca aj model na generovanie obrázkov DALL-E 3 odzrkadľuje podobné predsudky. Keďže je trénovaný na obrázkoch predovšetkým zo západných krajín, generuje obrázky raňajok, ktoré zodpovedajú západným kultúrnym normám.
Na zvládnutie týchto implicitných kultúrnych predpokladov je nevyhnutné rozšíriť trénovacie dáta o širší výber jazykov a kultúrnych perspektív. Tým, že zahrnieme viac rôznorodých perspektív, môžeme zabezpečiť, že jazykové modely budú odrážať širšie pochopenie sveta a zabránime zakoreňovaniu predsudkov.
Často kladené otázky:
Q1: Čo sú to jazykové modely?
A1: Jazykové modely sú programy umelé inteligencie s hlbokým učením, ktoré majú schopnosť generovať text, ktorý je podobný textu napísanému ľuďmi, na rôzne témy.
Q2: Aký je problém s kultúrnymi predpokladmi v jazykových modeloch?
A2: Škodlivým aspektom je, že jazykové modely, ako napríklad ChatGPT od spoločnosti OpenAI, sú trénované prevažne na anglickom textovom materiáli, čo vedie k kultúrnym predsudkom a predpokladom založeným na skúsenostiach a pohľadoch anglicky hovoriacich ľudí, najmä zo Spojených štátov.
Q3: Ako sa tieto predsudky prejavujú v jazykových modeloch?
A3: Predsudky sa prejavujú v tom, ako jazykové modely interpretujú isté situácie. Napríklad ChatGPT môže nesprávne predpokladať úspornosť alebo nespokojnosť, keď pár v Madride dá spropitné vo výške štyroch percent v reštaurácii, a to bez ohľadu na španielsky kultúrny zvyk nepredpisovať dávanie spropitného.
Q4: Boli tieto predsudky napravené?
A4: Nepretržité aktualizácie a trénovanie zlepšili schopnosť ChatGPT zohľadňovať kultúrne rozdiely, ale predsudky stále pretrvávajú. Napríklad, keď v príbehu ide o hostí, ktorí prichádzajú na večeru o 20:30, ChatGPT môže špekulovať o ich meškaní a predpokladať štandardný severoamerický čas na večeru o 18:00.
Q5: Sú iné jazykové modely ovplyvnené kultúrnymi predsudkami?
A5: Áno, iné jazykové modely, ako napríklad DALL-E 3, model na generovanie obrázkov, tiež odzrkadľujú podobné predsudky. DALL-E 3 je trénovaný na obrázkoch zväčša zo západných krajín a generuje obrázky raňajok, ktoré zodpovedajú západným kultúrnym normám.
Definície:
– LLM – Jazykové modely.
– ChatGPT – Chatbot od spoločnosti OpenAI založený na umelej inteligencii s hlbokým učením.
– DALL-E 3 – Model na generovanie obrázkov.
– Kultúrny predpooklad – Tendencia jazykového modelu uprednostňovať alebo odrážať kultúrne perspektívy a predsudky určitých skupín, v tomto prípade anglicky hovoriacich kultúrnych skupín a krajín západného sveta.
Súvisiace odkazy:
– OpenAI’s ChatGPT
– DALL-E
– Kodaňská univerzita
– Anthropic
The source of the article is from the blog tvbzorg.com