Meta platvormid uuendavad ITe standardeid Llama 3ga
Meta platvormid on olnud tehisintellekti tehnoloogia arendamise esirinnas, keskendudes pidevalt tehisintellekti süsteemide jõudluse parandamisele ja tööjõukulude vähendamisele. Meta AI uurimisrühm sai läbimurde Llama mudelite tutvustamisega, mille eesmärk on täiuslik tehisintellekti järeldus madalaima võimaliku hinnaga ning vajadusel esile kerkivate ebatõhususte haldamine tehisintellekti koolituse käigus.
Algne Llama 1 mudel, mis debüteeris 2023. aasta veebruaris, sisaldas 7 kuni 65 miljardit parameetrit. Märkimisväärne oli asjaolu, et hoolimata võrdlemisi väiksemast suurusest, suutis see rivaliseerida ja isegi ületada suuremaid mudeleid, nagu GPT-3 ja PaLM. See kinnitas tõsiasja, et andmete suurenemisega kaasnev potentsiaal võib ületada parameetriarvu suurendamise eeliseid tehisintellekti mudeli tõhususe osas.
Meta platvormid panid olulise rõhu järeldamiskulude vähendamisele Llama mudelitega, vaidlustades eelarvamused tehisintellekti tööstuses, sealhulgas ideed “Chinchilla” paberis esitatud mõtetest optimaalse mudeli suuruse ja ressursside jaotuse osas. Toites oma väiksemat 7 miljardi-parameetrilist mudelit üle triljoni märgendiga, demonstreeris Meta märkimisväärseid edusamme.
Järgmine iteratsioon, Llama 2, esitles avatud lähtekoodiga mudeleid suurema kontekstakna ja paremate märkuste jaoks vigade parandamiseks. Meta uusim avalikustus Llama 3 tutvustab 8 ja 80 miljardi parameetriga konfiguratsioone ning on koolitatud läbimurdelistel 15 triljoni märgendi andmetel. Osa sellest andmetest on suunatud mitmekeelse toe parandamisele, keskendudes keelte esindatuse mitmekesistamisele ja programmeerimiskoodi suurenenud korpusele.
Llama 3 eristub oma väga efektiivse tokeniseerimise ja tehnika, mida nimetatakse grupitud päringu tähelepanuks (GQA), abil optimeerimiseks. Mudeli kujundus ja allikas on täielikult kättesaadavad avalikkusele, julgustades laialdast vastuvõttu ja innovatsiooni tehisintellekti kogukonnas. See avatuse pühendumus näitab Meta pühendumust kujundada koostööline tulevik tehnoloogias, kus mudelid nagu Llama on mitte ainult tõhusad, vaid ka kättesaadavad ja mitmekülgsed erinevate rakenduste jaoks.
Põhilised küsimused ja vastused:
– Milliseid edusamme tõid Meta Llama tehisintellekti mudelid?
Meta Llama tehisintellekti mudelid on toonud olulisi edusamme tehisintellekti järelduse efektiivsuses ja jõudluses. Vaatamata väiksematele suurustele on need mudelid konkureerinud või isegi ületanud suuremaid mudeleid nagu GPT-3 ja PaLM, demonstreerides nende lähenemisviisi mudelite koolitusele, mis soosib suurt andmete sisendit parameetriarvu suurendamise asemel.
– Millised väljakutsed on seotud Llama tehisintellekti mudelite väljatöötamisega?
Peamine väljakutse tehisintellekti mudelite väljatöötamisel, nagu Llama, seisneb tasakaalu leidmises mudeli suuruse, andmesisendi ja operatiivkulude vahel, nagu koolituse ja järelduse arvutamine. Tagada, et mudelid oleksid tõhusad, ilma et ohverdataks nende võimekust täita laia valikut ülesandeid, on samuti oluline probleem.
– Kas on seotud Llama tehisintellekti mudelitega mingeid vastuolusid?
Nagu paljude tehisintellekti edusammude puhul, võivad tekkida mured seoses koolitamiseks kasutatud andmehulgaga, mis puudutavad andmekaitset, võimalikke eelarvamusi ja üldisi eetilisi kaalutlusi tehisintellekti rakenduste osas. Meta pühendumus avatusele, muutes Llama mudelid avatud lähtekoodiga, võiks leevendada mõningaid muresid, kuid need jäävad oluliseks ühiskondlikuks ja eetiliseks aruteluks punktideks.
Plussid:
– Llama tehisintellekti mudelid on kavandatud kõrge jõudluse saavutamiseks, sageli ületades suuremaid konkureerivaid mudeleid teatud ülesannetes.
– Need keskenduvad järeldamiskulude optimeerimisele, mis muudab tehisintellekti tehnoloogiad kättesaadavamaks ja taskukohasemaks.
– Llama mudelid pakuvad mitmekeelset tuge ja on tutvustanud tehnikaid nagu grupitud päringu tähelepanu (GQA) parema efektiivsuse saavutamiseks.
– Meta on teinud Llama mudelite kujundused ja allikad avalikult kättesaadavaks, soodustades innovatsiooni ja koostööd tehisintellekti kogukonnas.
Miinused:
– Tõhususe säilitamine ja täiustamine mudelitel, kui need muutuvad suuremaks, võib olla keeruline.
– Tehisintellekti mudelites esineb sünnipäraseid eelarvamuste riske, olenevalt koolitamiseks kasutatud andmehulgast.
– Edasiminek võib suurendada olemasolevaid muresid eraelu puutumatuse ja tehisintellekti eetilise kasutamise osas.
Soovitatud seotud link:
Et rohkem teada saada Meta platvormide panusest tehisintellekti valdkonda, võid külastada nende ametlikku veebisaiti aadressil Meta. Selle lingi kaudu jõuad põhilehele, kus saad uurida nende viimaseid uudiseid ja uurimisprojekte. Palun veendu, et navigeerid vastutustundlikult, kuna URL-i täpsust ei saa garanteerida 100%.
The source of the article is from the blog foodnext.nl