Neuchips, una empresa especializada en Circuitos Integrados Específicos de Aplicación (ASICs) para IA, ha presentado dos componentes de hardware innovadores en CES. El chip acelerador Raptor Gen AI y la tarjeta aceleradora Evo PCIe ofrecen una nueva forma de ejecutar modelos de lenguaje grandes (LLMs) en hardware menos potente y consumiendo menos energía.
Aprovechando las capacidades de estos nuevos componentes de hardware, las empresas pueden implementar LLMs a una fracción de los costos actuales. El chip Raptor, capaz de realizar hasta 200 tera operaciones por segundo, brinda soporte para algoritmos críticos de aprendizaje automático como multiplicaciones de matrices y búsquedas en tablas de incrustación. Esto lo hace aplicable no solo a LLMs, sino también a una amplia gama de modelos generativos de IA y basados en transformadores.
Complementando el chip Raptor, la tarjeta de aceleración Evo combina la potencia de los chips Raptor con 32 GB de memoria LPDDR5 y una interfaz PCIe Gen 5 con ocho carriles, brindando un ancho de banda de E/S del host de alta velocidad de 64 GB/s. Esta combinación de rendimiento y eficiencia energética abre nuevas posibilidades para aplicaciones de IA, permitiendo el desarrollo de una nueva generación de herramientas de IA.
En CES, el equipo de Neuchips mostró las capacidades de su hardware al demostrar su implementación exitosa en los populares chatbots de IA Whisper y Llama. El impresionante rendimiento y eficiencia energética del hardware tienen el potencial de transformar el panorama de la IA, haciéndolo más accesible y rentable para las empresas.
Espera más lanzamientos emocionantes de productos de Neuchips en los próximos meses, ya que continúan empujando los límites de la innovación en hardware de IA. Con la introducción del chip Raptor Gen AI y la tarjeta aceleradora Evo PCIe, Neuchips ha sentado las bases para una nueva era en aplicaciones de IA.
The source of the article is from the blog shakirabrasil.info