Sėkmingi mikročipų projektuotojai supranta, kad maksimizuojant MAC skaičių AI/ML pagreitinimo blokuose ir sumažinant atminties kiekį, tai nėra tinkama strategija. Nors tai kelia nerimą dėl silicio savikainos, tačiau kompromisuojant dėl atminties resursų galima trukdyti našumui ir apsunkinti bendrą sėkmę. Sudėtingame elektronikos tiekimo grandinyje, kur kelios subjektų grupės bendradarbiauja, sunku tiksliai prognozuoti ateities mašininio mokymosi apkrovų ir sistemos elgsenos charakteristikas. Taigi, kaip mikroschemų projektuotojai gali priimti informuotus sprendimus, vengdami numatytų „Didžiausią TOPS / mažiausią plotą”?
Šiame procese prielaidos gali būti mirtinos. Daugelis SoC komandų pasitiki viduje esančiais pagreitinimo blokais mašininio mokymosi sprendimams, kurie dažnai neturi tiksliai modeliuojamų apsimokymo modelių ir reikalauja laiko atimant lygių vartotojo logikos lygmens simuliacijas. Ši ribota informacija dažnai lemia mirtinas nuostatas. Vienu iš dažnių padarinių yra tai, kad priimame prielaidą, kad atminties naudojimo modeliai nepasikeis besikeičiant tinklams. Kitas rizikingas prielaidos yra fiksuoto procento išorinio juostinio dažnio priskyrimas, nepaisydamas resursų prieštaravimo laikui bėgant.
Pridėjus daugiau SRAM kaip buferinės atminties gali atrodyti akivaizdus sprendimas, tačiau tai gali ne visiškai išspręsti problemą. Su standžia vartotojo logika veikiančiais valdomais būsenomis pagreitinimo blokais nepakitusiomis atminties prieigos schemomis, vis tiek gali būti generuojami perteklinai mažų blokų perdavimo užklausų, neigiamai veikiantys našumą. Atsakymas slypi tinkamos atminties pusiausvyro paieškoje.
Sprendimas slypi dviejuose aspektuose. Pirmiausia, pasirinkus mašininio mokymosi sprendimą, kuris inteligentingai tvarko vietinę SRAM atmintį su lankstiomis, kodo pagrindu paremtomis naujų tinklų įgyvendinimo galimybėmis, galima sumažinti išorines užklausas. Antra, pasirinkus pagreitinimo sprendimą, kuris protingai išankstinai krauna duomenis, tikimes, kad jie bus reikalingi arčiau grafiko vykdymo, aparatūrinė sistema gali toleruoti kintančius atsakymo laikus iš šipinių ir nešipinių atminties resursų.
Quadric „Chimera GPNPU“ pašalina atminties iššūkį, taikydama išmanų požiūrį. Analizuodama duomenų naudojimą visuose mašininio mokymosi tinkluose ir naudodama pažangias operatorių fuzijos technologijas, „Quadric“ technologija palengvina atminties apribojimus. „Chimera GPNPU“ siūlo įvairių vietinės buferinės atminties konfigūracijų (nuo 1 MB iki 32 MB), atitinkančių įvairius sistemos reikalavimus. Priešingai nei prielaida, kad didesnės vietinės atminties būtina gerai našumui, „Quadric“ sprendimas parodo pastebimą toleranciją sistemos resursų prieštaravimui net ir su santykinai mažomis vietinėmis atminties konfigūracijomis.
Extensive system simulation capabilities and smart data prefetching provided by Quadric’s Chimera Graph Compiler further enhance the resilience of the system, ensuring optimal performance. With Quadric’s ML solution, chip designers can make confident resource choices and avoid the agony of uncertainty. By choosing a solution that offers programmability, modeling capability, and intelligent memory management, designers can be certain of their choices before tapeout, leading to successful chip designs with superior AI/ML acceleration capabilities.
Dažnai užduodami klausimai:
1. Kodėl kompromisuojama dėl atminties resursų nėra tinkama strategija chip projektuotojams?
Kompromisuojant atminties resursais gali būti trukdoma našumui ir bendrai sėkmei AI/ML pagreitinimo blokuose. Nors rūpi silicio savikaina, maksimizuojant MAC (sandauga ir suma) skaičių atskaičiavimo vienete atsakant į mašininio mokymosi skaičiavimus, sumažinant atmintį, tai gali apribojti mikroschemos našumą.
2. Kokias iššūkius susiduria atminties konfigūravimui projektuojant mikroschemas?
Sudėtingoje elektronikos tiekimo grandinėje, kurioje bendradarbiauja kelios subjektų grupės, sunku tiksliai prognozuoti ateities mašininio mokymosi apkrovas ir sistemos elgesį. Ši stoka tikros informacijos gali lemti prielaidas, kurios gali būti mirtinos projektavimo procese.
3. Kodėl tai rizikinga manyti, kad atminties naudojimo modeliai išliks nepasikeitę kintantiems tinklams?
Manymas, kad atminties naudojimo modeliai išliks nepakitusiems kintantiems tinklams, yra rizikingas, nes naujiems tinklams gali būti būdingos skirtingos atminties prieigos schemos. Tai gali lemti nepakankamus atminties išteklius ir neigiamai paveikti našumą.
4. Koks yra sėkmingos atminties pusiausvyros raktas?
Sėkmingos atminties pusiausvyros raktas slypi dviejuose aspektuose. Pirmiausia, pasirinkus mašininio mokymosi sprendimą, kuris inteligentingai tvarko vietinę SRAM atmintį su lankstiomis, kodo pagrindu paremtomis naujų tinklų įgyvendinimo galimybėmis, galima sumažinti išorines užklausas. Antra, pasirinkus pagreitinimo sprendimą, kuris protingai išankstinai krauna duomenis, tikimes, kad jie bus reikalingi arčiau grafiko vykdymo, aparatūrinė sistema gali toleruoti kintančius atsakymo laikus iš šipinių ir nešipinių atminties resursų.
5. Kaip „Quadric“ „Chimera GPNPU“ įveikia atminties iššūkį?
„Quadric“ „Chimera GPNPU“ įveikia atminties iššūkį analizuodama duomenų naudojimą visuose mašininio mokymosi tinkluose ir taikydamas pažangias operatorių fuzijos technologijas. Ji siūlo įvairių vietinės buferinės atminties konfigūracijų (nuo 1 MB iki 32 MB), atitinkančių įvairius sistemos reikalavimus. Sprendimas demonstruoja pastebimą toleranciją sistemos išteklių prieštaravimui net ir su santykinai mažomis vietinėmis atminties konfigūracijomis.
6. Kaip „Quadric“ ML sprendimas sustiprina sistemos atsparumą?
Kartu su „Chimera GPNPU“, „Quadric“ ML sprendimas teikia išsamią sistemos modeliavimo galimybes ir protingą duomenų išankstinį krautą per„ Chimera Graph Compiler“. Šie funkcionalumai sustiprina sistemos atsparumą, užtikrinant optimalų našumą planuojant duomenis ir priimant informuotus sprendimus.
7. Kaip gali mikroschemų projektuotojai gauti naudos iš „Quadric“ ML sprendimo?
Mikroschemų projektuotojai gali gauti naudos iš „Quadric“ ML sprendimo, priimant informuotus resursų pasirinkimus ir vengiant neapibrėžtumo. Sprendimas siūlo programuojamumą, modeliavimo galimybes ir išmanų atminties valdymą, leidžiančius projektuotojams būti tikriems savo pasirinkimų dar prieš „tapeout“ procesą. Tai gali padėti sukurti sėkmingas mikroschemas su puikiomis transformavimo ir mašininio mokymosi pagreitinimo galimybėmis.
Apibrėžimai:
– SoC: Mikroschema (sistemos lygmens integracija į vieną mikroschemą)
– SRAM: Statinė atsitiktinės prieigos atmintis
– ML: Mašininis mokymasis
– GPNPU: Universalus neuronų apdorojimo vienetas
– MAC: Dauginti-Sudeti (angl. Multiply-Accumulate)
Rekomenduojami susiję nuorodos:
– Quadric (Pagrindinė „Quadric“ įmonės svetainė, paminėta straipsnyje)
The source of the article is from the blog maestropasta.cz