Най-новите постижения на NVIDIA в MLPerf бенчмарките се отличават със засилена доминация в областта на генеративния изкуствен интелект. С Hopper архитектурния си GPU, вграден с TensorRT-LLM, компанията постигна впечатляващо увеличение от 3 пъти в изпълнението на LLM модела GPT-J спрямо резултатите от преди шест месеца. Тези подобрения подчертават ангажимента на NVIDIA за оптимизиране на модели и засилване на позициите си в индустрията.
Тензорът TensorRT-LLM на NVIDIA е специализиран инструмент, проектиран да оптимизира задачите за извличане на заключения за големи езикови модели (LLM). Той опростява разпространението на платформата за извличане на заключения на NVIDIA и предоставя на бизнесите безконкурентна ефективност и гъвкавост. Чрез използването на TensorRT-LLM компаниите могат да оптимизират моделите си и да постигнат впечатляващи печалби от производителност.
MLPerf бенчмарковете също показаха възможностите на последните GPU-та H200 Tensor Core на NVIDIA при работа с TensorRT-LLM. Тези памет-усъвършенствани GPU-та постигнаха изключителен пропуск, генерирайки до 31 000 токена в секунда върху бенчмарка Llama 2 70B. Показват се амбициозните възможности за генеративен изкуствен интелект на последните хардуерни решения на NVIDIA.
Освен печалбите от производителността, NVIDIA също е направила стъпки в управлението на топлината с H200 GPU-тата си. Прилагането на персонализирани решения в топлинния мениджмънт допринесе за увеличаване на производителността с до 14%. Системните сглобки, използващи дизайните NVIDIA MGX, допълнително засилват производителностните възможности на GPU-тата от серията Hopper.
NVIDIA вече е започнала доставката на H200 GPU-та на почти 20 водещи производители на системи и доставчици на услуги в облака. С паметова пропускливост от почти 5 TB/секунда, тези GPU-та предлагат изключителна производителност, особено в памет-усвояващите MLPerf оценки като системи за препоръки.
Посветеността на NVIDIA към ефективността и високите стандарти на AI решенията е очевидна в прилагането на техники като структурираната разреженост. Чрез използване на структурираната разреженост за намаляване на изчисленията, инженерите на NVIDIA постигнаха увеличение на скоростта от до 33% при извличане на заключение с Llama 2. Това показва ангажимента на компанията да премине границите на технологиите на изкуствения интелект.
Гледайки напред, основателят и изпълнителният директор на NVIDIA, Дженсън Хуанг, разкри по време на последната конференция GTC, че идващите GPU-та от архитектурата NVIDIA Blackwell ще предложат още по-високи нива на производителност. Тези GPU-та ще бъдат специално проектирани да отговорят на нарастващите изисквания на големите езикови модели, позволявайки тренирането и извличането на AI модели с мулти-трилионни параметри.
За повече информация относно напредъка на NVIDIA в генеративния изкуствен интелект и MLPerf бенчмарковете, посетете [Официалния уебсайт на NVIDIA](https://www.nvidia.com).
The source of the article is from the blog mendozaextremo.com.ar