En nylig teknisk artikel med titlen “WWW: Hvad, hvornår, hvor for Compute-in-Memory” af forskere fra Purdue University dykker ned i de potentielle fordele ved Compute-in-Memory (CiM) til forbedring af energieffektiviteten og præstationen i maskinlæring (ML) inference.
CiM er opstået som en lovende løsning til at reducere omkostningerne ved datatransport i von Neumann-maskiner. Det muliggør parallelle matrixmultiplikationsoperationer inden for selve hukommelsen, hvilket er afgørende for ML inference-opgaver. Dog rejser integration af CiM vigtige spørgsmål om hvilken type CiM, der skal anvendes, hvornår man skal bruge CiM, og hvor i hukommelseshierarkiet den skal integreres.
Forskerne brugte Timeloop-Accelergy til tidlige systemniveauvurderinger af forskellige CiM-prototyper, både analoge og digitale primitive. De integrerede CiM i forskellige cache-hukommelsesniveauer i en basal arkitektur, der ligner Nvidia A100, og tilpassede dataflowet til forskellige ML-workloads.
Eksperimenterne, der blev udført i dette arbejde, viser de betydelige fordele ved CiM-arkitekturer. Med INT-8 præcision opnåede de foreslåede CiM-arkitekturer op til 0,12x lavere energiforbrug sammenlignet med den etablerede baseline. Derudover observerede de op til 4x ydelsesforbedring gennem teknikker som vægtinterleaving og duplication.
Resultaterne af denne forskning giver værdifulde indsigter i den optimale anvendelse af CiM til ML inference-acceleration. Det giver indblik i den passende type CiM at vælge, omstændighederne hvor CiM klarer sig bedre end standardbehandlingskerner, og de ideelle integrationspunkter inden for cache-hierarkiet til GEMM-acceleration.
Ved at udforske CiM-integration til ML-inference bidrager dette papir til de igangværende bestræbelser på at øge energieffektiviteten i kunstig intelligens-systemer. Da ML-workloads fortsætter med at vokse i omfang og kompleksitet, præsenterer CiM et potentiale for et gennembrud, der kan hjælpe med at imødekomme disse udfordringer, samtidig med at man overholder faste strømbudgetter.
Samlet set fremhæver denne forskning potentialet ved CiM til at revolutionere ML inference-acceleration og giver et grundlag for fremtidige fremskridt inden for dette område. Yderligere udforskning og udvikling inden for CiM-teknologier kunne bane vejen for mere energieffektive og højtydende computersystemer.
The source of the article is from the blog meltyfan.es