xAI Corp., Elon Muskin johtama tekoäly-yhtiö, on tehnyt merkittävän askeleen julkistaessaan Grok-1 suuren kielimallin (LLM) avoimen lähdekoodin muodossa. Tämä julkaisu tapahtuu pian sen jälkeen kun Apple Inc. esitteli oman tutkimuksensa multimodaalisista LLM-malleista. Vaikka Musk ilmoitti aikomuksestaan julkaista Grokin avoimena lähdekoodina 11. maaliskuuta, on tänään, että yritys on jakanut mallin ydinarkkitehtuurin ja painot.
Julkaistu koodi kattaa Grokin rakenteellisen suunnittelun keskeisen osan – kerrosten ja solmujen järjestelyn ja keskinäisen yhteyden datan käsittelyä varten. Lisäksi perusmallin painot, jotka ovat säädettyjä parametreja, jotka määrittävät syötetietojen muuntamisen tulosteeksi, on jaettu.
Grok-1 on laaja Malli-asiantuntijoiden sekoitus, joka on kehitetty xAI:n toimesta alusta alkaen. Malli-asiantuntijoiden sekoitusyhdistää erikoistuneiden ala-mallien, niin kutsuttujen asiantuntijoiden, tulokset lopullisen ennusteen aikaansaamiseksi. Erilaisten tehtävien ja datavälimuistien konvergenssin kautta tämä lähestymistapa hyödyntää jokaisen yksittäisen mallin asiantuntemusta suorituskyvyn optimoimiseksi.
Julkaistu aineisto koostuu raakasta perusmallin tarkistuspisteestä esikoulutusvaiheessa, joka päättyi lokakuussa 2023. On tärkeä huomata, että mallia ei ole hienosäädetty millään erityisellä sovelluksella, kuten dialogilla.
Elon Muskin xAI:n tavoitteena on kilpailla tekoälytarjouksillaan alan jättiläisiä kuten Googlea ja OpenAI:ta vastaan. Heidän ensimmäinen mallinsa, Grok, ammentaa inspiraatiota Douglas Adamsin tunnetusta kirjasta ”Linnunradan käsikirja liftareille.” xAI:n mukaan Grok on suunniteltu tarjoamaan vastauksia laajaan valikoimaan kysymyksiä ja jopa ehdottamaan asiaankuuluvia tiedusteluja.
Samanaikaisesti Apple on ottanut askeleen eteenpäin tutkimuksessaan multimodaalisista LLM-versioista. Yritys julkaisi äskettäin paperin, jossa kuvataan työtään MM1:lle, joukolle multimodaalisia malleja, jotka kykenevät lisäämään kuvatekstejä, vastaamaan visuaalisiin kysymyksiin ja ymmärtämään luonnollista kieltä. Applen tutkijat väittävät, että multimodaaliset LLM-mallit edustavat seuraavaa etulinjaa perusmalleissa ja tarjoavat paremmat kyvyt.
Multimodaaliset LLM-mallit, kuten MM1, omaavat kyvyn ymmärtää ja generoida vastauksia eri tietotyypeillä, kuten teksti, kuvat ja ääni. Yhdistämällä erilaisia informaatiomuotoja nämä mallit loistavat monimutkaisissa tehtävissä. Applen läpimurto MM1:n kanssa odotetaan helpottavan näiden mallien skaalaamista suuremmille tietojoukoille ja parantavan niiden suorituskykyä ja luotettavuutta.
On mainitsemisen arvoista, että Apple oli aiemmin edistynyt multimodaalisissa LLM-versioissa Ferretillä, joka oli hiljaa julkaistu lokakuussa ja sai huomiota joulukuussa.
Grok-1:n avoimen lähdekoodin saatavuuden myötä xAI Corp. on astunut kilpailuun vakiintuneita tekoäly-yhtiöitä vastaan. Tämä askel ei pelkästään lisää yhteistä tietoa tekoäly-yhteisössä, vaan se myös kutsuu yhteistyöhön ja innovaatioon. Tekoälyn alan jatkaessa kehittymistään tällaisten mallien julkaiseminen muokkaa epäilemättä tekoälytutkimuksen ja -sovellusten tulevaisuutta.
UKK
The source of the article is from the blog bitperfect.pe