Nedavni tehnički rad naslovljen “WWW: Što, Kada, Gdje izračunavati u memoriji” istraživača Sveučilišta Purdue istražuje potencijalne koristi izračunavanja u memoriji (CiM) za poboljšanje energetske učinkovitosti i performansi u strojnom učenju (ML) zaključivanja.
CiM se pojavio kao obećavajuće rješenje za smanjenje troškova premještanja podataka u von Neumannovim strojevima. Omogućuje paralelno množenje matrica unutar same memorije, što je ključno za zadatke zaključivanja ML-a. Međutim, integracija CiM-a postavlja važna pitanja o vrsti CiM-a za upotrebu, određivanju kada koristiti CiM i odlučivanju gdje ga integrirati unutar hijerarhije memorije.
Istraživači su koristili Timeloop-Accelergy za rane sistemne evaluacije različitih prototipova CiM-a, kako analognih tako i digitalnih primitiva. Integrirali su CiM u različite razine međuspremnika u arhitekturi sličnoj Nvidia A100 i prilagodili tok podataka za različite ML radne opterećenja.
Eksperimenti provedeni u ovom radu prikazuju značajne prednosti arhitektura CiM-a. S INT-8 preciznošću, predložene arhitekture CiM-a postigle su do 0,12 puta manju potrošnju energije u odnosu na uspostavljenu osnovnu razinu. Osim toga, kroz tehnike poput međusobnog preklapanja i dupliciranja težina, zabilježeni su dobitci u performansama i do 4 puta.
Rezultati ovog istraživanja pružaju vrijedne uvide u optimalnu upotrebu CiM-a za ubrzanje zaključivanja ML-a. Oslikavaju prikladan tip CiM-a za odabir, okolnosti u kojima CiM nadmašuje standardne procesorske jezgre te idealne točke integracije unutar hijerarhije međuspremnika za ubrzanje GEMM-a.
Istraživanjem integracije CiM-a za zaključivanje ML-a, ovaj rad doprinosi kontinuiranim naporima za povećanje energetske učinkovitosti sustava umjetne inteligencije. S obzirom na to da se opterećenje ML-a nastavlja povećavati po veličini i složenosti, CiM predstavlja potencijalni proboj koji bi mogao pomoći u ispunjavanju tih izazova uz ostajanje unutar fiksnih energetskih proračuna.
Sveukupno, ovo istraživanje ističe potencijal CiM-a za revolucionarno ubrzanje zaključivanja ML-a i pruža temelj za buduće napretke u ovom području. Daljnje istraživanje i razvoj tehnologija CiM-a moglo bi otvoriti put prema energetski učinkovitijim i visokoučinkovitim računalnim sustavima.
The source of the article is from the blog anexartiti.gr