美国公司NVIDIA最近在其MLPerf基准测试中实现了令人瞩目的性能提升，突显了其在生成式人工智能领域的持续领先地位。在搭载TensorRT-LLM的Hopper架构GPU的支持下，NVIDIA对比六个月前的结果，在GPT-J LLM上实现了显著的3倍性能提升。这些改进表明了NVIDIA优化模型、稳固行业地位的决心。
NVIDIA的TensorRT-LLM是一种专门设计用于大型语言模型（LLMs）推断任务的工具。它简化了NVIDIA推断平台的部署，为企业提供了无与伦比的效率和灵活性。通过利用TensorRT-LLM，企业可以优化其模型，实现引人瞩目的性能提升。
MLPerf基准测试还展示了NVIDIA最新H200 Tensor Core GPU在运行TensorRT-LLM时的能力。这些记忆增强型H200 GPU在MLPerf竞技场上首次亮相，实现了出色的吞吐量，在Llama 2 70B基准测试中每秒产生最高达31,000个标记。这显示了NVIDIA最新硬件在生成式人工智能方面的卓越能力。
除了性能提升，NVIDIA在H200 GPU的散热管理方面也取得了重大进展。在散热管理的定制解决方案贡献下，性能提升高达14%。采用NVIDIA MGX设计的系统构建者进一步增强了Hopper GPU的性能能力。
NVIDIA已经开始将H200 GPU交付给近20家知名的系统构建者和云服务提供商。这些GPU在几乎5TB/秒的惊人的内存带宽下，提供卓越的性能，尤其在像推荐系统这样的内存密集型MLPerf评估中表现突出。
NVIDIA致力于提供高效、高性能的人工智能解决方案的决心在采用结构稀疏技术方面得到体现。通过使用结构稀疏技术来减少计算量，NVIDIA工程师对Llama 2上的推断实现了最多高达33%的速度提升。这展示了该公司推动人工智能技术边界的承诺。
展望未来，NVIDIA的创始人兼首席执行官Jensen Huang在最近举行的GTC大会上透露，即将推出的NVIDIA Blackwell架构GPU将实现更高的性能水平。这些GPU将专门设计以满足大型语言模型不断增长的需求，实现多万亿参数人工智能模型的训练和推断功能。
了解更多关于NVIDIA在生成式人工智能方面的进展及其MLPerf基准测试，请访问[NVIDIA官方网站](https://www.nvidia.com)。
The source of the article is from the blog procarsrl.com.ar