Neuchips, firma specjalizująca się w układach scalonych dedykowanych do konkretnych zastosowań (ASIC) w dziedzinie sztucznej inteligencji, zaprezentowała na targach CES dwa przełomowe podzespoły sprzętowe. Układ przyspieszający AI Raptor Gen oraz karta przyspieszająca PCIe Evo oferują nowy sposób uruchamiania dużych modeli językowych (LLM) na mniej wydajnym sprzęcie przy mniejszym zużyciu energii.
Dzięki wykorzystaniu możliwości tych nowych komponentów sprzętowych, przedsiębiorstwa mogą wdrożyć LLM-y kosztem znacznie niższym niż obecnie. Układ Raptor, zdolny do wykonywania nawet 200 bilionów operacji na sekundę, umożliwia obsługę kluczowych algorytmów uczenia maszynowego, takich jak mnożenie macierzy i przeszukiwanie tabel embedding. Dzięki temu jest on zastosowalny nie tylko w przypadku LLM-ów, ale również w szerokim zakresie AI generatywnej oraz modeli opartych na transformatorach.
Wzbogacając układ Raptor, karta przyspieszająca Evo łączy moc układów Raptor z 32 GB pamięci LPDDR5 i interfejsem PCIe Gen 5 z ośmioma liniami, zapewniającą wysoką przepustowość we/wy na poziomie 64 GB/s. Taki połączenie wydajności i oszczędności energetycznej otwiera nowe możliwości w zastosowaniach AI, umożliwiając rozwój nowej generacji narzędzi do sztucznej inteligencji.
Na targach CES zespół Neuchips zaprezentował możliwości swojego sprzętu, demonstrując jego skuteczne zastosowanie w popularnych chatbotach AI, takich jak Whisper i Llama. Imponująca wydajność i efektywność energetyczna tego sprzętu mają potencjał do rewolucji na rynku sztucznej inteligencji, czyniąc narzędzia AI bardziej dostępnymi i opłacalnymi dla przedsiębiorstw.
W najbliższych miesiącach można oczekiwać kolejnych ekscytujących premier produktów od Neuchips, które będą nadal posuwać granice innowacji sprzętu AI. Dzięki wprowadzeniu układu przyspieszającego AI Raptor Gen i karty przyspieszającej PCIe Evo, Neuchips ustawił scenę dla nowej ery w zastosowaniach AI.
The source of the article is from the blog jomfruland.net