Badacze z MIT oraz innych instytucji dokonali interesującego odkrycia dotyczącego dużych modeli językowych (LLM), znanych również jako modele transformatorowe, które są powszechnie stosowane w aplikacjach sztucznej inteligencji, np. w chatbotach AI takich jak ChatGPT. Złożoność tych modeli pozwala im przechowywać i dekodować ogromne ilości wiedzy, korzystając z zaskakująco prostych funkcji liniowych. To odkrycie rzuca światło na to, jak działają te modele i ma implikacje dla poprawy ich dokładności.
Badacze opracowali technikę identyfikacji funkcji liniowych używanych przez LLM do kodowania i pobierania różnych rodzajów faktów. Analizując te funkcje, zdobyli wgląd w wiedzę modelu na różne tematy i miejsca przechowywania tej wiedzy w modelu. Fascynujący aspekt, jaki odkryli, to nawet gdy model udziela niepoprawnej odpowiedzi na pytanie, często nadal posiada poprawne informacje w swoim systemie przechowywania. Wskazuje to, że te proste funkcje mogą być potencjalnie wykorzystane do identyfikacji i korekty nieprawdziwych informacji w modelu, zmniejszając tym samym prawdopodobieństwo niepoprawnych lub nonsensownych odpowiedzi od chatbotów AI.
Mimo że nie wszystkie fakty są kodowane i pobierane w sposób liniowy, odkrycie tych prostych funkcji stanowi cenne narzędzie do zrozumienia działania dużych modeli językowych. Aby wspomóc swoje badania, zespół opracował technikę wizualizacji o nazwie „soczewka atrybutów”. Narzędzie wizualizacyjne mapuje miejsca, w których przechowywane są konkretne informacje o relacjach w warstwach modelu językowego. Soczewka atrybutów pomaga badaczom i inżynierom lepiej zrozumieć strukturę wiedzy modelu i potencjalnie zidentyfikować oraz naprawić jakiekolwiek błędy.
Patrząc w przyszłość, badacze planują zgłębić, w jaki sposób fakty są przechowywane, gdy nie podlegają one liniowym wzorcom. Zamierzają także przeprowadzić eksperymenty z większymi modelami językowymi, aby potwierdzić, czy te proste funkcje sprawdzają się na większą skalę. To badanie ma potencjał, aby zwiększyć nasze zrozumienie modeli językowych i poprawić ich wydajność w różnych domenach.
FAQ
The source of the article is from the blog exofeed.nl