Ambarella, Inc., полупроводникова компания, специализирана в Edge AI, демонстрира работата на мултимодални големи езикови модели (LLMs) върху новата си серия SoC на N1. SoC на N1 осигурява значителна ефективност на захранването на всяка изводка в сравнение с водещите решения за графични процесори, позволявайки използването на генеративна AI технология в устройства за крайни точки и локално оборудване. Приложенията за тази технология обхващат различни отрасли, включително видеоанализ на сигурността, роботика и промишлени приложения.
Оптимизираните способности за генеративна AI на Ambarella ще бъдат налични първоначално на средно до високопроизводителните SoC, които отговарят на различни енергийни изисквания. Енергийната ефективност на SoC на Ambarella е до 3 пъти по-голяма за произведения „+token“ в сравнение с графичните процесори и другите ускорители на AI. Това позволява разумно приложение и незабавна интеграция в продуктите.
Според Лес Коун, CTO и съосновател на Ambarella, генеративните AI мрежи преобразуват възможностите на устройствата за крайни точки. Серията SoC на N1 предлага обработка на световен клас на мултимодални LLM и високи производителност на добра цена/мощност.
Alexander Harrowell, главен анализатор по напредно изчисляване, предвижда, че генеративната AI ще подобри почти всички устройства за крайни точки в следващите 18 месеца. Фокусът ще се пренесе върху производителността на вата и интеграцията в рамките на екосистемата за крайни точки, вместо на суровия пропускопроизводител.
AI SoC на Ambarella се поддържат от платформата за разработчици Cooper, а предварително подхвърлени и оптимизирани LLM модели, като Llama-2 и LLava, могат да бъдат изтеглени от Cooper Model Garden. SoC-те са проектирани за ефективна обработка на видео и AI при ниска консумация на енергия, което ги прави подходящи за приложения, изискващи визуален вход и естествено езиково разбиране.
С внедряването на генеративната AI обработка, системи като сигурностни системи, роботи и промишлено оборудване могат да възползват от подобрено разбиране на контекста и анализ на сцената. Тези системи разчитат на вход от камерата и обработка на естествен език, а обработката на устройството гарантира скорост, поверителност и спестяване на разходи. SoC-те на Ambarella предлагат локално решение за обработка, което е насочено към конкретни сценарии за приложение, насърчавайки персонализация и ефективност.
The source of the article is from the blog dk1250.com