Onderzoekers van Mistral AI hebben Mixtral 8x7B ontwikkeld, een taalmodel dat gebruik maakt van het Sparse Mixture of Experts (SMoE) model met open gewichten. Dit decoder model is gelicenseerd onder de Apache 2.0 licentie en functioneert als een schaars netwerk van een mix van experts.
Mixtral 8x7B biedt uitzonderlijke prestaties dankzij zijn unieke architectuur. Het feedforward blok van Mixtral bestaat uit acht verschillende parametergroepen, waardoor dynamische selectie door het router netwerk mogelijk is. Dit selectieproces maakt het mogelijk dat elk token wordt verwerkt door twee parametergroepen, ook wel experts genoemd, waarvan de resultaten additief worden gecombineerd. Deze strategie breidt het parameterbereik van het model aanzienlijk uit, terwijl kosten en latentie onder controle blijven.
Een van de opvallende kenmerken van Mixtral is het effectieve gebruik van parameters, wat leidt tot snellere inferentietijden bij zowel kleine als grote batchgroottes. In benchmarktests heeft Mixtral vergelijkbare of betere prestaties laten zien dan andere prominente taalmodellen zoals Llama 2 70B en GPT-3.5.
Mixtral presteert beter dan Llama 2 70B bij verschillende taken, waaronder meertalig begrip, codeproductie en wiskunde. Het model kan effectief gegevens halen uit zijn contextvenster van 32k tokens, ongeacht de lengte en positie van de gegevens binnen de sequentie.
Om een eerlijke evaluatie te waarborgen, heeft het onderzoeksteam uitgebreide vergelijkingen uitgevoerd tussen Mixtral en Llama-modellen over een breed scala aan benchmarks. Deze evaluaties omvatten wiskunde, code, leesbegrip, gezond verstand denken, wereldkennis en populaire geaggregeerde bevindingen.
Naast Mixtral 8x7B hebben de onderzoekers ook Mixtral 8x7B – Instruct geïntroduceerd, een conversatiemodel geoptimaliseerd voor instructies. Door middel van directe preferentieoptimalisatie en begeleid fijnafstemming presteert Mixtral – Instruct beter dan andere chatmodellen zoals GPT-3.5 Turbo en Llama 2 70B.
Om een breed scala aan toegang en diverse toepassingen te stimuleren, zijn zowel Mixtral 8x7B als Mixtral 8x7B – Instruct gelicenseerd onder de Apache 2.0 licentie, wat commercieel en academisch gebruik mogelijk maakt.
De ontwikkeling van Mixtral 8x7B benadrukt zijn uitzonderlijke prestaties en veelzijdigheid op verschillende terreinen. Van wiskunde en codeproblemen tot leesbegrip, redeneren en algemene kennis, Mixtral toont indrukwekkende mogelijkheden als een krachtig taalmodel.
The source of the article is from the blog j6simracing.com.br