Stora språkmodeller (LLMs) har revolutionerat många aspekter av våra liv med sin förmåga att förstå och svara på användare med hjälp av naturligt språk. En ny studie utförd av forskare från EPFL vid Data Science Laboratory visar dock att dessa modeller huvudsakligen förlitar sig på engelska internt, även när de får frågor på ett annat språk. Detta har betydande konsekvenser för språklig och kulturell bias inom AI-system.
I sin undersökning av Llama-2 (Large Language Model Meta AI) öppen källkod LLM, syftade forskarna till att fastställa vilka språk som användes vid olika stadier av den beräkningsprocessen. LLM:na tränas på stora mängder textdata, främst på engelska, med hypotesen att de översätter till målspråket endast vid sista ögonblicket. Lite bevis hade varit tillgängligt för att stödja detta påstående tidigare.
För att undersöka detta vidare genomförde forskarna experiment med Llama-2-modellen. De tvingade modellen att förutsäga nästa ord efter varje beräkningsnivå istället för att slutföra alla beräkningar från sina 80 lager. På detta sätt upptäckte de att modellen ofta förutsade den engelska översättningen av ett franskt ord, även när den bara skulle översätta det franska ordet till kinesiska. Förvånansvärt var det endast i de sista lagren som modellen korrekt förutsade den kinesiska översättningen, vilket indikerar att kinesiska var mindre sannolikt än engelska under större delen av beräkningen.
Forskarna föreslog en engagerande teori baserad på sina fynd. De föreslår att i de initiala beräkningsstegen är modellen fokuserad på att lösa inmatningsproblem. I de efterföljande faserna, där den engelska dominansen observeras, tror forskarna att modellen opererar i ett abstrakt semantiskt rum och resonemang om begrepp snarare än individuella ord. Denna konceptuella representation av världen är snedvriden mot engelska på grund av den omfattande träningen på engelskspråkiga data.
Konsekvenserna av denna engelska dominans är betydande. Språkstrukturer och orden vi använder påverkar vår uppfattning och förståelse av världen. Forskarna hävdar att studier av språkmodellernas psykologi är avgörande, att behandla dem som människor och utsätta dem för beteendetester och bedömningar för bias på olika språk.
Studien väcker viktiga frågor om monokultur och bias i stora språkmodeller. Även om det kan vara lockande att mata innehåll på engelska och översätta det till önskat språk för att hantera problemet, riskerar detta tillvägagångssätt att förlora nyanser och uttryck som inte kan fångas adekvat på engelska.
När vi fortsätter att förlita oss på stora språkmodeller och artificiell intelligens i olika områden är det avgörande att adressera och minska språklig och kulturell bias. Vidare forskning och utforskning av alternativa träningsmetoder behövs för att säkerställa mer inkluderande och opartiska AI-system.
The source of the article is from the blog j6simracing.com.br