Neuchips, o companie specializată în circuite integrate specifice aplicațiilor (ASIC-uri) pentru inteligenta artificială (AI), a introdus două componente hardware inovatoare la CES. Cipul accelerator Raptor Gen AI și cardul accelerator Evo PCIe oferă o nouă modalitate de rulare a modelelor de limbaj extins (LLM) pe hardware mai puțin puternic, consumând în același timp mai puțină energie.
Prin utilizarea capabilităților acestor noi componente hardware, întreprinderile pot implementa LLM-uri la o fracțiune din costurile actuale. Cipul Raptor, capabil să efectueze până la 200 de tera operații pe secundă, oferă suport pentru algoritmi critici de învățare automată, cum ar fi înmulțirea matricelor și căutările în tabelele de încorporare. Acest lucru îl face aplicabil nu numai la LLM-uri, ci și la o gamă largă de modele AI generative și bazate pe transformatori.
Completând cipul Raptor, cardul de accelerare Evo combină puterea cipurilor Raptor cu 32 GB de memorie LPDDR5 și o interfață PCIe Gen 5 cu opt piste, oferind o lățime de bandă a I/O-ului gazdă de mare viteză de 64 GB/s. Această combinație de performanță și eficiență energetică deschide noi posibilități pentru aplicațiile AI, permițând dezvoltarea unei noi generații de instrumente AI.
La CES, echipa Neuchips a demonstrat capabilitățile hardware-ului lor prin implementarea sa de succes în chatbot-urile AI Whisper și Llama. Performanța impresionantă și eficiența energetică a hardware-ului au potențialul de a transforma peisajul AI, facilitând accesibilitatea și rentabilitatea instrumentelor AI pentru întreprinderi.
Așteptați cu nerăbdare mai multe lansări de produse interesante de la Neuchips în lunile următoare, pe măsură ce continuă să repingă limitele inovației hardware AI. Cu introducerea cipului Raptor Gen AI și a cardului de accelerare Evo PCIe, Neuchips a pregătit terenul pentru o nouă eră în aplicațiile AI.
The source of the article is from the blog scimag.news