Efektyvumas pasauliniuose tinkluose yra svarbus iššūkis sparčiai besivystančioje dirbtinės intelektualios srityje. Tyrimų darbuotojai nuolat ieško metodų, kaip sumažinti skaičiavimo reikalavimus, tuo pačiu išlaikant ar net gerinant modelio veikimą. Vienas įdomiausių būdų yra optimizuoti neuroninius tinklus per struktūrizuotą retumą – perspektyvų požiūrį, kuris galėtų revoliucionizuoti būdus, kuriuos naudojame apmokyti ir įdiegti dirbtinės intelektualios sistemas.
Reti neuroniniai tinklai siekia sumažinti skaičiavimo naštą, nukertant nereikalingas jungtis tarp neuronų. Tačiau tradiciniai retumo mokymo metodai kovoja išlaikyti subtilų balansą tarp skaičiavimo efektyvumo ir tinklo veikimo. Atsitiktiniai pašalinimai gali sukelti netaisyklingus atminties prieiga modelius arba kompromituoti tinklo mokymo gebėjimus.
Pristatome Struktūriuotą RigL (SRigL) – permainų metodą, sukurtą bendradarbiaujančioje komandoje iš žinomų institucijų ir bendrovių, įskaitant Kalgarį universitetą, Masačusetso technologijos institutą, „Google DeepMind“, Gvelfo universitetą ir Vektorinių technologijų institutą dirbtinei intelektualiai. SRigL tiesiogiai iššūkia iššūkį priimdami struktūrizuotą retumą ir suderinant su modernių skaičiavimo architektūrų natūraliomis veiksmingumo savybėmis.
SRigL pasinaudoja N: M retumu, kuris užtikrina struktūrizuotą modelį, kuriame N išlieka iš M iš eilės įprastų svorių, išlaikant pastovų jungčių skaičių per visą tinklą. Šis struktūrizuotas retumas nėra savavališkas, o yra kruopščios empirinės analizės ir gilaus neuroninių tinklo mokymo supratimo rezultatas.
Empiriniai rezultatai, patvirtinantys SRigL veiksmingumą, yra įtikinami. Griežtas testavimas įvairiuose neuroninių tinklų architektūrose, įskaitant CIFAR-10 ir „ImageNet“ duomenų rinkinio rodiklius, įrodo SRigL išlikimą. Pavyzdžiui, 90% retusis tiesinis sluoksnis pasiekė pagreitį iki 3,4×/2,5× naudojant centriniąjį procesorių ir 1,7×/13,0× naudojant grafikos procesorių internetiniam ir partiniam skaičiavimui atitinkamai, palyginti su ekvivalentiškais tankiais arba nefokusuotais retaisiais sluoksniais. Šie pagreitina simbolizuoja saująs perskirstymą neuroninių tinklų efektyvumo srityje.
Be to, SRigL įveda neurono sunaikinimą, leidžiantį strategiškai pašalinti neuronus aukšto retumo scenarijuose. Šis požiūris užtikrina, kad SRigL mokyti tinklai yra greitesni ir protingesni, pajėgūs atskirti ir prioritetizuoti esmines ryšius šiuo metu atliekamai užduočiai.
SRigL kūrimas yra svarbus žingsnis link efektyvaus neuroninio tinklo mokymo. Išnaudodami struktūrizuotą retumą, SRigL atveria duris ateities, kurioje dirbtinės intelektualios sistemos gali veikti iki tol neįspėjamu efektyvumo lygiu. Tai apibrėžia retumo mokymo ribas, pašalindamas skaičiavimo apribojimus kaip kliūtį inovacijoms dirbtinės intelektualios srityje.
Ši veržli paieška rodiklius puoselėjančių tyrėjų įsipareigojimą pagerinti dirbtinės intelektualios galimybes. Pasaulinių tinklų optimizavimas per struktūrizuotą retumą ne tik revoliucionizuoja efektyvumą, bet ir siūlo tantalizuojantį vilgsnį į ateitį, kurioje dirbtinė intelektualija gali pasiekti naujų aukštumų.
The source of the article is from the blog newyorkpostgazette.com