Nedávno sa publikácia s názvom „WWW: Čo, Kedy, Kde vypočítať v pamäti“ od výskumníkov z Purdue University zaoberá potenciálnymi výhodami výpočtov v pamäti (CiM) pre zlepšenie energetickej účinnosti a výkonu pri inferencii strojového učenia (ML).
CiM sa ukazuje ako sľubné riešenie na znižovanie nákladov na presun dát v von Neumannových strojoch. Umožňuje paralelné operácie násobenia matríc priamo v pamäti, čo je kľúčové pre úlohy inferencie strojového učenia. Integrácia CiM však vyvoláva dôležité otázky o type CiM na použitie, o tom, kedy CiM využiť a o tom, kam ho integrovať do hierarchie pamäte.
Výskumníci použili nástroj Timeloop-Accelergy na predbežné systémové hodnotenie rôznych prototypov CiM, ako sú analógové a digitálne primitívy. Integrovali CiM do rôznych úrovní vyrovnávacej pamäte v základnej architektúre podobnej Nvidia A100 a prispôsobili tok dát pre rôzne záťaže strojového učenia.
Experimenty vykonané v rámci tejto práce ukazujú významné výhody CiM architektúr. S presnosťou INT-8 dosiahli navrhované CiM architektúry až o 0,12x nižšiu spotrebu energie v porovnaní so zabehnutou základnou úrovňou. Okrem toho pomocou techník ako je striedanie váh a duplikácia pozorovali až 4x zvýšenie výkonu.
Zistenia tejto práce poskytujú cenné informácie o optimálnom využití CiM pre urychlenie inferencie strojového učenia. Osvešťujú o vhodnom type CiM pre voľbu, o okolnostiach, v ktorých CiM prevyšuje štandardné spracovacie jadrá a ideálnych miestach integrácie v pamäťovej hierarchii pre urychlenie operácií GEMM.
Skúmaním integrácie CiM pre inferenciu strojového učenia prispieva táto publikácia k snahe o zvýšenie energetickej účinnosti systémov umelej inteligencie. Vzhľadom na to, že záťaže strojového učenia stále rástli v rozsahu a zložitosti, CiM predstavuje potenciálny prelom, ktorý by mohol pomôcť splniť tieto výzvy pri zachovaní pevných energetických rozpočtov.
Celkovo táto práca poukazuje na potenciál CiM na revolucionalizáciu urychlenia inferencie strojového učenia a poskytuje základ pre budúce pokroky v tejto oblasti. Ďalšie preskúmanie a rozvoj CiM technológií by mohlo otvoriť cestu k energetickejším a vysoko výkonným výpočtovým systémom.
The source of the article is from the blog trebujena.net