Pētnieki no “Oak Ridge National Laboratory” ir izmantojuši pasaules jaudīgāko superdatoru “Frontier”, lai apmācītu lielu valodas modeli ar vietriljoniem parametru. Izmantojot tenzoru paralēlismu, cauruļvadu paralēlismu un datu paralēlismu kombināciju, viņi spēja sasniegt ātrākas apmācības laikus un maksimālo pārraides plūsmu dažādiem modeļiem. Tomēr pētnieki vēl nav atklājuši konkrētus apmācības laika apjomiem.
Superdatori parasti netiek izmantoti, lai apmācītu valodas modeļus, jo tie prasa īpašas serverus un ievērojami lielāku grafisko procesoru skaitu. Salīdzinājumā “ChatGPT”, labi zināms valodas modelis, tika apmācīts, izmantojot vairāk nekā 20 000 grafisko procesoru. Tomēr “Oak Ridge National Laboratory” pētnieki vēlējās pētīt iespēju apmācīt valodas modeļus superdatoros un noteikt, vai tie varētu uzlabot efektivitāti.
Viena no problēmām, ar ko viņi saskārās, bija ierobežots VRAM katram atsevišķajam grafiskajam procesoram. Lai to pārvarētu, pētnieki grupēja vairākus grafiskos procesorus kopā un optimizēja paralēlo komunikāciju starp komponentēm. Tas ļāva labāk izmantot resursus, palielinot valodas modeļa izmēru.
Ar savu jauno pieeju pētnieki sasnieguši iespaidīgus rezultātus. Dažādiem parametru mērogiem, kuriem tie ir trenējuši, viņi sasnieguši maksimālās pārraides plūsmas no 31,96% līdz 38,38%. Lielākiem modeļiem tie ir demonstrējuši 100% vājas skalēšanas efektivitāti un spēcīgas skalēšanas veiktspēju no 87,05% līdz 89,93%.
Lai gan pētnieki ir atklāti dalījušies ar informāciju par izmantotajiem skaitļošanas resursiem un tehnikām, tie vēl nav snieguši konkrētas detaļas par apmācības laika apjomu. Tas rada jautājumu par to, cik daudz ātrāka var būt valodas modeļu apmācība superdatoros salīdzinājumā ar tradicionālajām metodēm.
Šie pētījumi atver jaunas iespējas efektīvāk apmācīt lielus valodas modeļus. Īpašo tehniku kombinācija un milzīgā skaitļošanas jauda, kāda ir superdatori, piedāvā cerības pilnu ceļu nākotnes dabiskās valodas apstrādes un AI attīstībai. Kad arvien vairāk pētnieki izpētīs šīs jaunās apmācības tehnoloģijas, mēs varam sagaidīt vēl iespaidīgākus valodas modeļus nākotnē.
The source of the article is from the blog queerfeed.com.br