Syntiant Corp.是边缘人工智能部署的先行者，最近宣布了其优化工作的突破性成就。通过减少大型语言模型（LLM）架构的计算足迹，Syntiant成功地使这些巨大的神经网络能够在网络边缘的无云、常开设备上运行。
Syntiant设计的核心模型优化产生了处理时间加速和计算平台兼容性方面的显着改进。这一突破使得低功耗和高精度智能能够被传送到边缘设备上。通过这些优化，Syntiant成功地将会话式语音带到了边缘，创造了人类与机器之间的新接口。
Syntiant优化工作的一个关键成就是以最小的准确性损失实现了50%的稀疏化。这是通过使用一种新算法确定LLM的稀疏分数而实现的。通过利用8位量化的权重，Syntiant能够增强可解释性、处理能力，并降低云成本。此外，该公司还整合了自定义的SIMD核心和几种其他算法创新，将输出标记生成速度在LLaMa-7B基准上提高了50%。
Syntiant的显著进展引起了行业专家的关注。微软风险基金M12的合伙人Michael Stewart描述Syntiant是低功耗自然语言处理的领导者，并赞扬了他们成熟的解决方案。他进一步表示相信Syntiant的创新能够为具备生成式人工智能的更智能的会话终端铺平道路。
Syntiant最近的优化在拉斯维加斯CES 2024展会上通过现场演示展示。这些进步标志着在边缘完全运行LLMs向前迈出了重要一步。通过实现加速处理时间，Syntiant的优化在诸如耳机到汽车等各种消费者和商业应用中，为最终用户带来了在延迟和隐私方面的实质性好处。
总体而言，Syntiant Corp.在边缘人工智能优化方面的突破有望通过使低功耗、高度智能的边缘设备成为现实而彻底革新该领域。改进用户体验和拓展用例的潜力巨大，为会话式语音和人工智能驱动的互动开辟了新的可能性。
The source of the article is from the blog trebujena.net