Neseniai atliktas tyrimas pasiūlė naują požiūrį skalant Tiesinės Būsenos Modelius (TDSės) derinant juos su Daugiasluoksnio Ekspertų (MoE) metodais. Ši sintezė, vadinama MoE-Mamba, rodė vilčių teikiančius rezultatus didinant TDSės skalavimo gebėjimus ir efektyvumą lyginant su įprastais modeliais, pvz., Transformeriais.
TDSės yra labai svarbios dėl jų gebėjimo derinti pasikartojančių nervinių tinklų (PNT) ir konvoliucinių nervinių tinklų (KNT) charakteristikas. Pastarieji pažangūs darbai apie gilias TDSės leido joms tapti skalios iki milijardų parametrų ir užtikrinti skaičiavimo efektyvumą bei patikimą veikimą. Mamba, kaip TDSės praplėtimas, įvedė naujoviškas būsenos suspaudimo ir selektyvaus informacijos propagavimo mechanizmus, padarė ją laikomą stipriu konkurentu prieš įprastus Transformerių modelius.
MoE-Mamba tyrimo komanda siekia išnaudoti visą TDSės potencialą, norėdama ją išplėsti derinant su MoE sluoksniu. Rezultatai buvo nuostabūs – MoE-Mamba lenkia ir Mambą, ir Transformerius-MoE. Įdomu tai, kad jis pasiekia tokią pačią veikimą kaip Mamba, bet išmokstamei tik tempiant maždaug 2,2 kartų mažiau kartų, tuo pačiu išlaikydamas Mambos privalumus kai kuriamas su Transformeriu. Šie preliminariai rezultatai numato pažadintį tyrimų kryptį, kurios dėka TDSės galės tapti skalios su dešimtiniais milijardų parametrų.
Nepamirštant derinimo tarp MoE ir TDSės, šio tyrimo metu taip pat jie tyrinėjo Mambos architektūros tobulinimą naudojant sąlyginę skaičiavimą. Tikimasi, kad šis pakeitimas dar labiau padidins visą architektūrą, sukurdamas galimybes efektyviau išplėsti didesnes kalbos modelo galimybes. Sąlyginio skaičiavimo ir MoE sinergija TDSėse suteikia didelį potencialą ir reikalauja tolesnių tyrimų.
Nors MoE integracija į Mambos sluoksnį rodo vilčių teikiančius rezultatus, svarbu pripažinti, kad yra tam tikrų apribojimų. Tankiems nustatymams Mambos efektyvumas yra šiek tiek geresnis be įjungto persiuntimo sluoksnio.
Santrauka: MoE-Mamba naudojimo pristatymas yra didelis žingsnis į priekį sekvenčių modeliavimo srityje. Derinant MoE ir TDSės, šis modelis pranoksta esamas metodikas ir demonstruoja potencialą efektyviau išplėsti didesnių kalbos modelių galimybes. Tyrimo komanda tiki, kad šis tyrimas paskatins tolesnes eksploracijas, ypač nagrinėjant sąlyginio skaičiavimo ir MoE sinergiją su TSDėmis.
The source of the article is from the blog regiozottegem.be