MLCommons, konsorcium zahrnující hlavní hráče průmyslu jako Amazon, AMD, Google, Intel a Nvidia, vydali čtvrté vydání svých MLPerf Training Benchmarks zaměřených na trénink umělé inteligence na velkém měřítku. Nejnovější kolo představuje nové benchmarky, jako je doladění velkých jazykových modelů a grafických neuronových sítí. Pozoruhodné je zapojení společnosti Sustainable Metal Cloud (SMC), označující zařazení měření spotřeby energie skrze 24 příspěvků, které mají za cíl zdůraznit energeticky úsporný potenciál jejich vlastní technologie chlazení ponořením.
Mezi různými účastníky se malý, ale pozoruhodný příspěvek dostal od společnosti tinycorp, vedené bývalým hackrem Georgem Hotzem, která se umístila v oblasti urychlování umělé inteligence přispěním prvních čipů od AMD do MLPerf Training v4.0. Na rozdíl od obvyklé dominance akcelerátorů Nvidia H100 představil tinycorp výsledky pro tinybox red, vybavený šesti grafickými kartami Radeon RX 7900 XTX, a tinybox green, vybavený kartami Nvidia GeForce RTX 4090.
Tinybox red zaznamenal dokončení benchmarku za 167,15 minut, zatímco zelená varianta dosáhla 122,08 minut, ukazujíc nevyužitý potenciál v porovnání s již stanovenými benchmarky nastavenými prodedikovanými akcelerátory datového centra. Přestože jsou doby pomalejší, tinycorp se snaží zdůraznit ekonomické výhody, sází na nákladovou výhodu, která by se mohla nakonec proměnit v reálné finanční zisky, kde čas je peníze.
Hotzův slib integrovat akcelerátory AMD do MLPerf do roku 2024 byl splněn. Webová stránka tinycorp uvádí tinybox green (Nvidia) za 25 000 USD s vynikající kvalitou ovladačů a tinybox red (AMD) za 15 000 USD, ale s pouze průměrnou kvalitou ovladačů, obě s dodacím lhůtou dvou až pěti měsíců. Navzdory určitým frustracím vyjádřeným Hotzem v minulosti ohledně ROCm frameworku AMD se zdá, že optimistický pohled na budoucí zlepšení je nyní sdílen jak Hotzem, tak CEO AMD Dr. Lisou Su po jejich diskusích.
Půlroční soutěže benchmarkingu MLPerf umožňují různým výrobcům ukázat své schopnosti tréninku modelů umělé inteligence skrze různé úkoly, neustále posunující limity technologie a výkonu.
Hotzův vstup tinycorp do MLPerf Training Benchmark s čipy AMD je významný z několika důvodů. Ukazuje, že menší hráči mohou vstoupit do oblasti ovládané technologickými giganty a že GPU od AMD, často zastiňovaná dominantní pozicí Nvidie v urychlování umělé inteligence, mohou být také životaschopná pro úkoly s umělou inteligencí.
Primární otázky týkající se účasti tinycorp v MLPerf Training Benchmarks zahrnují:
1. Jak se AMD čipy v tinybox red porovnávají s akcelerátory Nvidia H100 a s kartami Nvidia GeForce RTX 4090 z hlediska výkonu?
2. Jaké jsou ekonomické výhody použití čipů AMD pro trénink umělé inteligence, jak je zdůrazněno tinycorpem?
3. Jaká potenciální zlepšení by mohlo partnerství mezi Georgem Hotzem a CEO AMD Dr. Lisou Su přinést ROCm frameworku AMD?
Klíčové výzvy a kontroverze spojené s tématem zahrnují následující:
– Stále se řeší výzva pro AMD vylepšit svůj ROCm framework a kvalitu ovladačů, aby mohla efektivněji konkurovat zralému ekosystému Nvidia.
– Kontroverze vyjádřené dříve George Hotzem ohledně kvality podpory strojového učení od AMD prostřednictvím jeho ROCm frameworku.
Výhody vstupu tinycorp do MLPerf Benchmark zahrnují:
– Poskytnutí více nákladově efektivnější alternativy pro trénink umělé inteligence s tinybox red využívajícím GPU od AMD.
– Podpora konkurence na trhu silně ovládaném Nvidií, což může vést k větší inovaci a potenciálnímu snížení cen.
– Přispívání k širšímu porozumění schopností a výkonu různých variant GPU dostupných pro úkoly strojového učení.
Nevýhody
by mohly zahrnovat:
– Možnost, že výkon čipů AMD zaostává za výkonem Nvidia, a tím ovlivňuje efektivitu a propustnost při úkolech strojového učení.
– Aktuálně průměrná kvalita ovladačů čipů AMD pro aplikace s umělou inteligencí, což může potenciálně zvýšit složitost a čas strávený vývojem a laděním.
– Nutnost čekat na budoucí zlepšení frameworku ROCm pro plnění potenciálu čipů AMD ve strojovém učení.