Изследователи от MIT и други институции направиха интересно откритие относно големите модели за езиково моделиране (LLM), използвани в популярни AI чатботи като ChatGPT. Тези модели, които са изключително сложни, често могат да извлекат и декодират запазено знание, използвайки много прости линейни функции. Това разкритие просветлява механиката на работа на тези модели и може да има значение за подобряването на техните точности.
Изследователите разработиха техника за идентифициране на линейни функции за различни видове факти, съхранени в LLM. Чрез изучаването на тези функции те успяха да разберат какво знае моделът за различни теми и къде е съхранено това знание в модела. Те откриха, че дори когато моделът дава грешен отговор на въпрос, често все пак има правилната информация съхранена. Това подсказва, че тези прости функции може потенциално да бъдат използвани за идентифициране и коригиране на неверности в модела, намалявайки вероятността за грешни или абсурдни отговори.
Въпреки че не всички факти се кодират и извличат по линеен начин, откриването на тези прости функции представлява ценен инструмент за разбиране на вътрешните работи на големите модели за езиково моделиране. Изследователите също разработиха техника за визуализация, наречена „обективен обектив“, за картографиране на местата, където се съхранява специфична информация за връзките в слоевете на модела. Този инструмент за визуализация може помогне на изследователи и инженери да спечелят по-добро разбиране на модела и потенциално да коригират всякаква неточна информация.
В бъдеще изследователите се надяват допълнително да изследват как се съхраняват фактите, когато те не следват линейни модели. Също така планът им е да проведат експерименти с по-големи модели за езиково моделиране, за да видят дали тези прости функции се съхраняват и в по-голям мащаб. Това изследване има потенциал да подобри нашето разбиране за моделите за езиково моделиране и да повиши техните изпълнителни качества в различни области.
Често задавани въпроси (ЧЗВ)
- Какво са големите модели за езиково моделиране?
- Как изследователите проучват големите модели за езиково моделиране?
- Как това изследване може помогне за подобряването на точността на езиковите модели?
- Какво е „обективен обектив“?
- Какви са бъдещите насоки на това изследване?
Големите модели за езиково моделиране, известни също като трансформерни модели, са изкуствени интелигентни модели, които обработват и разбират човешкия език. Те са особено полезни за задачи като поддръжка на клиенти, генериране на код и превод на езици.
Изследователите използват техники за разкриване на механизмите зад начина, по който големите модели за езиково моделиране извличат и декодират запазеното знание. В това изследване изследователите идентифицираха и проучиха простите линейни функции, които тези модели често използват за извличане на факти.
Чрез разбиране на простите функции, които езиковите модели използват за извличане на фактите, изследователите могат потенциално да идентифицират и коригират грешната информация, съхранена в моделите. Това може намали случаите на неправилни или безсмислени отговори, предоставяни от AI чатботите.
„Обективен обектив“ е инструмент за визуализация, разработен от изследователите, за да картографира местата, където се съхранява специфична информация за взаимосвързаността в слоевете на езиковия модел. Този инструмент помага на изследователи и инженери да разберат по-добре структурата на знанието на модела.
Изследователите планират допълнително да проучат как се съхраняват фактите, когато те не следват линейни модели. Също така си поставят за цел да проведат експерименти с по-големи модели за езиково моделиране, за да потвърдят съответствието на тези прости функции в по-голям мащаб.
The source of the article is from the blog radiohotmusic.it