Große Sprachmodelle (LLMs) haben viele Bereiche unseres Lebens revolutioniert, indem sie in der Lage sind, Benutzeranfragen in natürlicher Sprache zu verstehen und zu beantworten. Allerdings zeigt eine kürzlich durchgeführte Studie von Forschern der EPFL aus dem Data Science Laboratory, dass diese Modelle überwiegend intern auf Englisch basieren, selbst wenn sie in einer anderen Sprache gestellt werden. Dieser Befund hat signifikante Auswirkungen auf linguistische und kulturelle Voreingenommenheit in KI-Systemen.
In ihrer Untersuchung des Llama-2 (Large Language Model Meta AI) Open-Source LLMs wollten die Forscher herausfinden, welche Sprachen in verschiedenen Phasen des Berechnungsprozesses verwendet werden. Die LLMs werden auf umfangreiche Textdaten trainiert, hauptsächlich in englischer Sprache, mit der Hypothese, dass sie nur im letzten Moment in die Zielsprache übersetzen. Bisher gab es jedoch nur wenig belastbare Beweise, die diese Behauptung unterstützen.
Um dies genauer zu untersuchen, führten die Forscher Experimente mit dem Llama-2-Modell durch. Sie zwangen das Modell, das nächste Wort nach jeder Berechnungsschicht vorherzusagen, anstatt alle Berechnungen aus allen 80 Schichten abzuschließen. Dabei entdeckten sie, dass das Modell oft die englische Übersetzung eines französischen Wortes vorhersagte, selbst wenn es nur dazu gedacht war, das französische Wort ins Chinesische zu übersetzen. Überraschenderweise wurde erst in den letzten Schichten vom Modell die korrekte chinesische Übersetzung vorhergesagt, was darauf hindeutet, dass Chinesisch während des Großteils der Berechnungen weniger präsent war als Englisch.
Die Forscher schlugen eine fesselnde Theorie basierend auf ihren Befunden vor. Sie legen nahe, dass das Modell in den Anfangsphasen der Berechnung darauf ausgerichtet ist, Eingabeprobleme zu lösen. In den späteren Phasen, in denen eine Dominanz des Englischen festgestellt wird, glauben die Forscher, dass das Modell in einem abstrakten semantischen Raum arbeitet, der sich mit Konzepten anstatt einzelnen Wörtern befasst. Diese konzeptuelle Repräsentation der Welt ist aufgrund des intensiven Trainings mit englischen Sprachdaten zugunsten des Englischen voreingenommen.
Die Auswirkungen dieser englischen Dominanz sind bedeutend. Sprachstrukturen und die Wörter, die wir verwenden, beeinflussen unsere Wahrnehmung und unser Verständnis der Welt. Die Forscher argumentieren, dass es wichtig ist, die Psychologie von Sprachmodellen zu erforschen, sie als Menschen zu behandeln und sie Verhaltens- und Bias-Tests in verschiedenen Sprachen zu unterziehen.
Die Studie wirft wichtige Fragen zu Monokultur und Voreingenommenheit in großen Sprachmodellen auf. Es mag zwar verlockend sein, englischsprachige Inhalte zu nutzen und sie in die gewünschte Sprache zu übersetzen, um das Problem zu lösen, doch dieser Ansatz birgt das Risiko, Nuancen und Ausdrucksformen zu verlieren, die im Englischen nicht angemessen erfasst werden können.
Während wir weiterhin auf große Sprachmodelle und künstliche Intelligenz in verschiedenen Bereichen angewiesen sind, ist es entscheidend, linguistische und kulturelle Voreingenommenheit anzugehen und zu reduzieren. Weitere Forschung und die Erkundung alternativer Trainingsmethoden sind erforderlich, um inklusivere und weniger voreingenommene KI-Systeme zu gewährleisten.
Häufig gestellte Fragen
The source of the article is from the blog reporterosdelsur.com.mx