–
In een opmerkelijke stap heeft xAI Corp., een start-up voor kunstmatige intelligentie onder leiding van Elon Musk, zijn Grok-1 large language model (LLM) open source beschikbaar gesteld. Deze release komt kort nadat Apple Inc. zijn eigen onderzoek naar multimodale LLM’s heeft onthuld. Terwijl Musk op 11 maart de intentie had aangekondigd om Grok open source te maken, is het vandaag dat het bedrijf de kernarchitectuur en gewichten van het model heeft gedeeld.
De vrijgegeven code omvat een cruciaal aspect van de structurele vormgeving van Grok – de rangschikking en onderlinge verbinding van lagen en knooppunten voor gegevensverwerking. Daarnaast zijn ook de basisgewichten van het model, die de aangepaste parameters zijn die de transformatie van invoergegevens naar output bepalen, gedeeld.
Grok-1 is een uitgebreid Mixture-of-Experts-model ontwikkeld door xAI vanaf nul. Een Mixture-of-Experts-model combineert de uitvoer van gespecialiseerde submodellen, experts genoemd, om een uiteindelijke voorspelling te genereren. Door de convergentie van diverse taken en gegevenssubsets benut deze aanpak de expertise van elk individueel model om de prestaties te optimaliseren.
Wat is vrijgegeven, is een ruwe basismodelcheckpoint uit de pre-trainingsfase, die eindigde in oktober 2023. Het is belangrijk op te merken dat het model niet is afgestemd voor een specifieke toepassing, zoals dialoog.
De ambitie van Elon Musks xAI is om te concurreren met AI-aanbiedingen van industriegiganten zoals Google en OpenAI. Hun eerste model, Grok, haalt inspiratie uit het gerenommeerde boek “The Hitchhiker’s Guide to the Galaxy” van Douglas Adams. Volgens xAI is Grok ontworpen om antwoorden te geven op een breed scala aan vragen en zelfs relevante vragen voor te stellen.
Ondertussen heeft Apple een stap voorwaarts gezet in zijn onderzoek naar multimodale LLM’s. Het bedrijf publiceerde onlangs een paper waarin het zijn werk aan MM1 heeft gedetailleerd, een reeks multimodale modellen die in staat zijn afbeeldingen te voorzien van onderschriften, visuele vragen te beantwoorden en natuurlijke taal te begrijpen. De onderzoekers van Apple beweren dat multimodale LLM’s de volgende grens vormen in foundation-modellen en superieure mogelijkheden bieden.
Multimodale LLM’s, zoals MM1, bezitten het vermogen om begrip te tonen en reacties te genereren over verschillende soorten gegevens, waaronder tekst, afbeeldingen en audio. Door diverse vormen van informatie te integreren, excelleren deze modellen in complexe taken. De doorbraak van Apple met MM1 zal naar verwachting het schalen van dergelijke modellen naar grotere gegevenssets vergemakkelijken en hun prestaties en betrouwbaarheid aanzienlijk verbeteren.
Het is het vermelden waard dat Apple eerder vooruitgang boekte in multimodale LLM’s met Ferret, dat in oktober stilzwijgend open source werd en de aandacht trok in december.
Met de beschikbaarheid van de open source code van Grok-1 is xAI Corp. toegetreden tot de race tegen gevestigde AI-bedrijven. Deze stap draagt niet alleen bij aan de collectieve kennis in de AI-gemeenschap, maar nodigt ook uit tot samenwerking en innovatie. Naarmate het veld van kunstmatige intelligentie blijft evolueren, zullen de vrijgave van dergelijke modellen ongetwijfeld de toekomst van AI-onderzoek en -toepassingen vormgeven.
FAQ
The source of the article is from the blog lokale-komercyjne.pl