MLCommons, konsorcjum z udziałem głównych graczy branżowych, takich jak Amazon, AMD, Google, Intel i Nvidia, wydało czwartą edycję swoich benchmarków treningowych MLPerf skupionych na szkoleniach sztucznej inteligencji na dużą skalę. Ostatnia runda wprowadza nowe benchmarki, takie jak dopasowanie modeli językowych dużego zakresu i sieci neuronowe grafów. Godna uwagi jest udział Sustainable Metal Cloud (SMC), co oznacza włączenie pomiarów zużycia energii poprzez 24 zgłoszenia, mające na celu podkreślenie potencjału oszczędności energii ich technologii chłodzenia przez zanurzenie.
Wśród różnych uczestników, niewielki, ale znaczący wkład nadesłano od firmy tinycorp, którą prowadzi były haker George Hotz, która umiejscowiła się w obszarze przyspieszenia sztucznej inteligencji, przyczyniając się do pierwszych w historii układów AMD w MLPerf Training v4.0. W odróżnieniu od zwykłej dominacji akceleratorów H100 Nvidia, tinycorp przedstawił wyniki dla tinybox red, z sześcioma układami graficznymi Radeon RX 7900 XTX, oraz tinybox green, wyposażonego w karty Nvidia GeForce RTX 4090.
Tinybox red osiągnął czas realizacji benchmarku wynoszący 167,15 minut, podczas gdy wersja green osiągnęła 122,08 minut, co pokazuje przestrzeń do poprawy w porównaniu ze ustanowionymi standardami benchmarków ustawionymi przez dedykowane akceleratory do centr danych. Pomimo wolniejszych czasów, tinycorp ma na celu podkreślenie korzyści ekonomicznych, stawiając na korzyść kosztową, która może ostatecznie przekładać się na zyski finansowe w realnym świecie, gdzie czas równa się pieniądzom.
Obietnica George’a Hotza o zintegrowaniu akceleratorów AMD do MLPerf do 2024 roku została spełniona. Na stronie internetowej tinycorp wymienione jest tinybox green (Nvidia) za 25 000 USD z doskonałą jakością sterowników, a tinybox red (AMD) za 15 000 USD, chociaż tylko z przeciętną jakością sterowników, oba z okresem dostawy od dwóch do pięciu miesięcy. Pomimo pewnych frustracji wyrażanych wcześniej przez Hotza związanymi z platformą ROCm AMD, optymistyczny obraz przyszłych usprawnień wydaje się teraz być współdzielony zarówno przez Hotza, jak i prezesa AMD, dr Lisę Su, po ich rozmowach.
Półroczne zawody benchmarkingu MLPerf pozwalają różnym producentom prezentować swoje zdolności w szkoleniach modeli AI poprzez różnorodne zadania, ciągle popychając granice technologii i wydajności.
Wejście tinycorp George’a Hotza do benchmarku MLPerf Training z układami AMD jest istotne z kilku powodów. Pokazuje, że mniejsi gracze mogą uczestniczyć w dziedzinie zdominowanej przez gigantów technologicznych oraz że układy AMD, często przyćmiane dominacją Nvidia w akceleracjach AI, mogą również być przydatne do zadań związanych z AI.
Główne pytania dotyczące uczestnictwa tinycorp w benchmarkach MLPerf Training to:
1. Jak układy AMD w tinybox red porównują się z akceleratorami H100 Nvidia oraz kartami Nvidia GeForce RTX 4090 pod względem wydajności?
2. Jakie są korzyści ekonomiczne z korzystania z układów AMD w szkoleniach AI, o których mówi tinycorp?
3. Jakie potencjalne usprawnienia może przynieść partnerstwo między George’em Hotzem a prezesem AMD, dr Lisą Su, dla platformy ROCm od AMD?
Główne wyzwania i kontrowersje związane z tematem obejmują:
– Trwające wyzwanie polegające na poprawie platformy ROCm i jakości sterowników przez AMD, aby konkurować bardziej efektywnie z dojrzałym ekosystemem firmy Nvidia.
– Kontrowersje wyrażane wcześniej przez George’a Hotza dotyczące jakości wsparcia dla machine learningu od AMD poprzez platformę ROCm.
Zalety wejścia tinycorp do Benchmarku MLPerf obejmują:
– Zapewnienie bardziej opłacalnej alternatywy dla szkolenia sztucznej inteligencji z użyciem tinybox red, wykorzystującego układy AMD.
– Zachęcenie do konkurencji na rynku silnie zdominowanym przez Nvidię, co może prowadzić do większej innowacji i potencjalnych obniżek cen.
– Przyczynianie się do szerszego zrozumienia możliwości i wydajności różnych opcji GPU dostępnych do zadań związanych z uczeniem maszynowym.
Wady
mogą obejmować:
– Możliwość, że wydajność układów AMD pozostaje w tyle za Nvidią, co wpłynie na efektywność i przepustowość przy zadaniach związanych z uczeniem maszynowym.
– Obecna przeciętna jakość sterowników układów AMD do zastosowań związanych z AI, co może potencjalnie zwiększyć złożoność i czas spędzony na rozwoju i rozwiązywaniu problemów.
– Konieczność oczekiwania na przyszłe usprawnienia platformy ROCm, aby w pełni zrealizować potencjał układów AMD w uczeniu maszynowym.
Relevant website visits for additional information about this news include:
– MLCommons
– AMD
– NVIDIA
Te strony internetowe zapewniają szersze spojrzenie na branżę, bieżące projekty i możliwości sprzętowe istotne dla szkolenia AI i benchmarków uczenia maszynowego.