Nedavno tehnično delo naslovljeno “WWW: Kaj, Kdaj, Kje izračunavati v pomnilniku” s strani raziskovalcev na Univerzi Purdue se poglobi v potencialne koristi izračuna v pomnilniku (CiM) za izboljšanje energetske učinkovitosti in zmogljivosti pri strojnem učenju (ML) inferenci.
CiM se je izkazal kot obetavna rešitev za zmanjšanje stroškov premikanja podatkov v strojih von Neumanna. Omogoča vzporedno množenje matrik znotraj samega pomnilnika, kar je ključno za ML inferenčne naloge. Vendar pa integracija CiM postavlja pomembna vprašanja o vrsti CiM, ki jo je treba uporabiti, odločitvi o tem, kdaj uporabiti CiM, in določanju, kam ga integrirati znotraj hierarhije pomnilnika.
Raziskovalci so za zgodnje sistemsko vrednotenje različnih prototipov CiM uporabili orodje Timeloop-Accelergy, tako analognih kot digitalnih prvin. CiM so integrirali v različne ravni predpomnilnika v osnovni arhitekturi, podobni Nvidia A100, in prilagodili pretok podatkov za različne ML obremenitve.
Eksperimenti, izvedeni v tem delu, prikazujejo pomembne koristi arhitekture CiM. Predlagane arhitekture CiM so ob uporabi INT-8 natančnosti dosegle do 0,12-krat nižjo porabo energije v primerjavi s prevladujočo osnovo. Poleg tega so s tehnikami, kot so medsebojno prepletanje in podvojevanje uteži, opazili do 4-kratno izboljšanje zmogljivosti.
Ugotovitve tega raziskovanja dajejo dragocene vpoglede v optimalno uporabo CiM za pospeševanje ML inferenc. Osvetljujejo ustrezno vrsto CiM, ki jo je treba izbrati, okoliščine, v katerih CiM prekaša standardne procesorske jedra, in idealne integracijske točke znotraj hierarhije pomnilnika za pospeševanje GEMM.
Z raziskovanjem integracije CiM za ML inferenco prispeva to delo k stalnim prizadevanjem za povečanje energetske učinkovitosti sistemov umetne inteligence. Ko ML obremenitve še naprej naraščajo po obsegu in kompleksnosti, CiM predstavlja potencialni preboj, ki bi lahko pomagal doseči te izzive v okviru določenih močnostnih proračunov.
Skupno gledano to raziskovanje poudarja potencial CiM za revolucijo pri pospeševanju ML inferenc in zagotavlja osnovo za prihodnji napredek na tem področju. Nadaljnje raziskovanje in razvoj CiM tehnologij bi lahko utrli pot za energetsko učinkovitejše in visoko zmogljive izračunavalne sisteme.
The source of the article is from the blog macnifico.pt