Големите езикови модели (Large language models – LLMs) са променили много аспекти от нашия живот със своята способност да разбират и отговарят на потребителите с естествен език. Въпреки това, последните изследвания, проведени от изследователи от Data Science Laboratory на EPFL, показват, че тези модели главно се базират на английски език вътрешно, дори когато се подтикват на друг език. Този откритие има значителни последици за езиковата и културната предразсъдъчивост в системите за изкуствен интелект.
В своето изследване на отворения LLM модел Llama-2 (Large Language Model Meta AI), изследователите целяха да установят кои езици се използват на различни етапи от изчислителния процес. LLM моделите се обучават върху огромни количества текстови данни, основно на английски, с хипотезата, че превеждат на целевия език само в последния момент. Въпреки това досега е имало малко налични доказателства, които да подкрепят това твърдение.
За да разберат това по-добре, изследователите проведоха експерименти, използвайки модела Llama-2. Те накараха модела да прогнозира следващата дума след всеки изчислителен слой вместо да завърши всички изчисления от своите 80 слоя. При това откриха, че моделът често прогнозира английския превод на френска дума, дори когато трябваше да превежда френската дума на китайски. Изненадващо, само в последните няколко слоя моделът правилно прогнозираше китайския превод, което показва, че китайският език беше по-малко вероятен от английския по време на по-голямата част от изчисленията.
Изследователите предложиха занимателна теория, базирана на своите наблюдения. Те предполагат, че в началните етапи на изчислението моделът се фокусира върху коригирането на проблемите с входа. В следващите фази, където се наблюдава английското господство, изследователите вярват, че моделът действа в абстрактно семантично пространство, мислейки за понятия, а не за индивидуални думи. Тази концептуална представа за света е предразположена към английски поради обширното обучение на данни на английски език.
Последиците от това английско господство са значителни. Езиковите структури и думите, които използваме, влияят на нашето възприятие и разбиране на света. Изследователите твърдят, че е важно да се изучава психологията на езиковите модели, като ги третираме като хора и подлагаме на поведенчески тестове и оценки за предразсъдъци в различните езици.
Изследването повдига важни въпроси за моно-култура и предразсъдъци в големите езикови модели. Въпреки че може да бъде изкушаващо да се храним с английски съдържание и да го превеждаме на желания език, за да се справим с проблема, този подход рискува загуба на нюанси и израз, които не могат да бъдат адекватно уловени на английския.
Докато продължаваме да разчитаме на големи езикови модели и изкуствен интелект в различни области, е важно да се справяме и омекотяваме езиковата и културната предразсъдъчивост. Необходими са допълнителни изследвания и изследване на алтернативни методи за обучение, за да се осигури по-инклузивни и безпристрастни системи на изкуствения интелект.
Често задавани въпроси
The source of the article is from the blog japan-pc.jp