Frontier суперкомпютърът, известен като най-големият и единственият Exascale машин в света, който е в работа, постига революционни прогреси в областта на големите модели на езика (LLMs). Суперкомпютърът Frontier се захранва от AMD EPYC процесори и Instinct GPUs и постига нова индустриална марка, като обучава един трилион параметри чрез хиперпараметрично настройване.
Frontier суперкомпютърът, разположен в Oak Ridge National Laboratory (ORNL) в Тенеси, САЩ, е специално проектиран с помощта на 3-о поколение AMD EPYC Trento процесори и ускорители Instinct MI250X. С гръмотевични 1.194 Exaflop/s използвайки 8,699,904 ядра, този суперкомпютър се потвърждава като най-ефективният суперкомпютър, според списъка TOP500.org.
Успешната реализация на ефективни стратегии за обучение на LLM-и и максимизиране на потенциала на бордовия хардуер позволява на отбора на Frontier да постигне впечатляващи резултати. Чрез изчерпателни тестове на различни размери на параметрите, те са оптимизирали и финално настроили процеса на обучение на модела. Те са използвали до 3 000 AMD MI250X AI ускорители, което показва изключителните възможности на този относително остарял хардуер.
Изненадващо, целият Frontier суперкомпютър притежава невероятни 37,000 MI250X GPUs. Този голям пул от графични процесори отключва огромен потенциал за засилване на LLMs и показва огромната производителност, която може да се постигне с използването на тази съвременна технология. Освен това AMD планира да въведе ускорители MI300 GPU, оборудвани с екосистемата ROCm 6.0, в нови супекомпютри, за да подобри изпълнението на изкуствен интелект.
Въпреки че текущият хардуер, използван от Frontier, може да не е най-новият в индустрията, напредъкът в генеративния изкуствен интелект изисква непрекъснато развитие на изчислителната мощ в сегментите на сървъри и центровете за данни. При нарастващото търсене на повече изчислителна мощ, разработването на хардуер, специално проектиран за тази цел, е от съществено значение за напредъка на технологиите на следващото поколение.
Заключително, Frontier суперкомпютърът, подкрепен от AMD EPYC процесори и Instinct GPUs, превъзхожда границите на обучението на LLM. С постигането на показател от един трилион параметри, екипът на Frontier е поставил нова индустриална марка и е показал огромния потенциал на своя хардуер. С обещанието за бъдещи напредъци в тази област, важността на хардуера, проектиран за генеративен изкуствен интелект, не може да се недооценява.
The source of the article is from the blog macholevante.com