Społeczność sztucznej inteligencji (AI) niedawno zachwyciła się zaawansowanymi modelami językowymi, gdzie giganci przemysłowi i nowe start-upy zagłębiają się w rozwój dużych modeli językowych (LLMs). Jednak znaczące wymagania dotyczące danych i mocy obliczeniowej potrzebnych do trenowania i wdrożenia tych modeli niosą ze sobą znaczne koszty.
W odpowiedzi rośnie nowa klasa modeli AI – Małe Modele Językowe (SLMs). Oferują one równowagę między wydajnością a efektywnością. Godne uwagi przykłady to Gemma 2B i 7B od Google, wariant Claude 3 Haiku od Anthropic oraz Llama 3 8B od Meta. Microsoft dołączył do tego rozwoju modelem Phi-3 Mini, który wyróżnia się skromnymi siedmioma miliardami parametrów w porównaniu z kolosalnym 1760 miliardami parametrów GPT-4.
W przeciwieństwie do spodziewanych ograniczeń wydajności mniejszych modeli, zdolności Phi-3 Mini są zaskakująco konkurencyjne. Microsoft śmiało porównuje jego wydajność do modeli dziesięć razy większych, twierdząc, że konkurujące z dawnym standardem przemysłowym GPT-3.5.
Microsoft osiągnął ten przełom wydajnościowy dzięki nowatorskiej metodyce szkolenia, która stawia na jakość danych ponad ich ilość. Inspirowani procesami nauki dzieci, zaczęli od zestawu danych 3000 prostych słów i tworzenia „TinyStories” z LLM, prawdopodobnie GPT-4. W sposób iteracyjny inżynierowie szkolili Phi-3 z danymi publicznymi starannie wybranymi ze względu na ich wartość edukacyjną.
Ten paradygmat pokazuje, że priorytet na jakości zawartości może prowadzić do zwiększenia wydajności modeli, nawet z mniejszą liczbą parametrów. Wskazuje także na potencjalną zmianę podejść do rozwoju AI, co może skutkować wydajnymi, ale bardziej ekonomicznymi modelami, zmniejszając ostatecznie zależność od surowej mocy obliczeniowej. Chociaż jest za wcześnie, aby przewidzieć spadek LLM, to społeczność AI niewątpliwie stoi na progu innowacyjnej ery trenowania modeli, która może przeobrazić koszty operacyjne i trajektorię rozwoju AI.
Kluczowe pytania i odpowiedzi:
– Co to są Małe Modele Językowe (SLMs) i dlaczego się pojawiają?
– Jak Małe Modele Językowe osiągają konkurencyjną wydajność przy mniejszej liczbie parametrów?
– Jakie są wyzwania związane z rozwojem Małych Modeli Językowych?
Wskazane wyzwania lub kontrowersje:
– Wydajność
– Jakość danych
– Przyjęcie na rynku
Zalety i wady:
– Zalety: efektywność kosztowa, wymiar środowiskowy, dostępność
– Wady: pojemność ograniczona, intensywność jakości, skalowalność
Więcej informacji na temat ostatnich postępów w modelach językowych AI znajdziesz na stronach internetowych technologicznych gigantów i start-upów, takich jak Google, Anthropic, Meta i Microsoft. Ważne jest zauważenie, że choć te linki prowadzą do odpowiednich stron głównych, dalsze szczegóły dotyczące modeli AI mogą wymagać nawigacji do podstron lub komunikatów prasowych.