V pomembnem koraku je podjetje xAI Corp., startup na področju umetne inteligence pod vodstvom Elona Muska, svoj velik jezikovni model Grok-1 (LLM) predstavilo kot odprtokodnega. Ta poteza sledi predstavitvi lastnih raziskav večmodalnih LLM-jev s strani podjetja Apple Inc. Medtem ko je Musk 11. marca napovedal nameravano sprostitev Groka kot odprtokodnega, je danes podjetje delilo jedro arhitekture in uteži modela.
Objavljeni koda obsega ključni vidik Grokove strukturne zasnove – razporeditev in povezovanje plasti in vozlišč za obdelavo podatkov. Poleg tega so bile deljene tudi osnovne uteži modela, ki določajo preoblikovanje vhodnih podatkov v izhod.
Grok-1 je obsežen model Mixture-of-Experts, ki ga je xAI razvil od začetka. Model Mixture-of-Experts združuje izhode specializiranih podmodelov, imenovanih strokovnjaki, za ustvarjanje končne napovedi. S konvergenco različnih nalog in podmnožic podatkov ta pristop izkorišča strokovno znanje vsakega posameznega modela za optimizacijo delovanja.
Sproščen je osnoven modelni kontrolni seznam končne faze predusposabljanja Groka, ki se je končalo oktobra 2023. Pomembno je poudariti, da model ni bil prilagojen za nobeno specifično uporabo, kot je npr. dialog.
xAI Elona Muska stremi k tekmovanju z AI ponudbami industrijskih velikanov, kot sta Google in OpenAI. Njihov uvodni model, Grok, črpa navdih iz znanega knjižnega dela Douglasa Adamsa “Vodiča po galaksiji za avostopere”. Po besedah xAI je Grok zasnovan za dajanje odgovorov na širok spekter vprašanj in celo predlaganje ustrezih vprašanj.
Medtem je Apple korak naprej v svojih raziskavah večmodalnih LLM-jev. Podjetje je nedavno objavilo članek, v katerem je podrobno opisalo svoje delo na MM1, nizu večmodalnih modelov, ki so sposobni podnasloviti slike, odgovarjati na vizualna vprašanja in razumeti naravni jezik. Raziskovalci Applove trdijo, da večmodalni LLM-i predstavljajo naslednji korak pri osnovnih modelih in ponujajo izboljšane zmogljivosti.
Večmodalni LLM-i, kot je MM1, imajo sposobnost razumevanja in generiranja odgovorov preko različnih vrst podatkov, vključno s tekstom, slikami in zvokom. Z integracijo raznolikih vrst informacij ti modeli izstopajo pri kompleksnih nalogah. Napredek Appl-a z MM1 naj bi olajšal razširitev takšnih modelov na večje podatkovne nize, s čimer se bistveno izboljšujejo zmogljivost in zanesljivost.
Vredno je omeniti, da je Apple že prej napredoval v večmodalnih LLM-jih s Ferretom, ki je bil tiho objavljen kot odprtokodni oktobra in pridobil pozornost decembra.
S sprostitvijo odprtokodne kode Groka-1 se je xAI Corp. pridružil boju proti uveljavljenim AI podjetjem. S to potezo ne le prispeva k skupnemu znanju v AI skupnosti, ampak tudi spodbuja sodelovanje in inovacije. Ko se področje umetne inteligence nadaljuje, bodo takšni modeli oblikovali prihodnost raziskav in uporabe AI.
FAQ
Kaj je velik jezikovni model (LLM)?
Velik jezikovni model (LLM) je sistem umetne inteligence, zasnovan za razumevanje in generiranje besedila, podobnega človeškemu, na podlagi obsežnih trening podatkov.
Kaj je model Mixture-of-Experts?
Model Mixture-of-Experts je pristop strojnega učenja, ki združi izhode več specializiranih podmodelov za izdelavo končne napovedi. Vsak podmodel se osredotoča na določen vidik naloge in prispeva k optimiziranemu delovanju.
Kaj so večmodalni LLM-i?
Večmodalni LLM-i so sistemi umetne inteligence, ki so sposobni razumeti in generirati odgovore preko različnih vrst podatkov, kot so besedilo, slike in zvok. S kombiniranjem raznolikih informacij ti modeli razkazujejo izboljšane zmogljivosti pri kompleksnih nalogah.
(Vir: Domena izvorne strani)
The source of the article is from the blog lanoticiadigital.com.ar