MLCommons, konsortio, johon kuuluvat suuret alan toimijat kuten Amazon, AMD, Google, Intel ja Nvidia, on julkaissut neljännen MLPerf Training Benchmarks -versionsa, joka keskittyy suurimittakaavaisiin tekoälyn koulutustehtäviin. Uusimman kierroksen mukana on tuotu uusia mittareita, kuten suurten kielimallien hienosäätö ja graafiiset neuroverkot. Merkittävää on osallistuminen Sustainable Metal Cloud (SMC):ltä, joka on tehnyt sähkömittauksia 24 esityksellä korostaakseen omistettua upottavaa jäähdytysteknologiaansa ja sen energiansäästöpotentiaalia.
Monien osallistujien joukosta pieni mutta huomionarvoinen osallistuminen tuli tinycorpilta, yritykseltä jonka keulakuvana on entinen hakkeri George Hotz ja joka on asettanut itsensä tekoälyn kiihdyttämisen alalle tuomalla ensimmäiset AMD-sirut MLPerf Training v4.0 -kokeeseen. Toisin kuin yleensä Nvidia’n H100-kiihdyttimen hallitsemassa kilpailussa, tinycorp esitteli tuloksensa tinybox red -versiolle, jossa oli kuusi Radeon RX 7900 XTX GPU:ta, sekä tinybox green -versiolle, jossa oli Nvidia GeForce RTX 4090 -kortit.
tinybox red saavutti suorituspisteekseen 167,15 minuuttia, kun taas vihreä versio merkitsi 122,08 minuuttia, osoittaen parannusmahdollisuuksia verrattuna omistettujen datakeskuksen kiihdyttimien luomiin mittareihin. Vaikka ajat ovat hitaampia, tinycorp pyrkii osoittamaan taloudellisia etuja luottaen kustannusetuun, jonka odotetaan mahdollistavan todellisen taloudellisen hyödyn, missä aika tarkoittaa rahaa.
Hotzin lupaus integroida AMD-kiihdyttimet MLPerfiin vuoteen 2024 mennessä on täytetty. Tinycorpin verkkosivusto listaa tinybox greenin (Nvidia) hintaan 25 000 dollaria erinomaisella ajurilaadulla ja tinybox redin (AMD) hintaan 15 000 dollaria, vaikkakin vain keskinkertaisella ajurilaadulla, ja molemmat toimitusaikataululla kahdesta viiteen kuukauteen. Vaikka Hotz on aiemmin ilmaissut turhautumista AMD:n ROCm-kehystä kohtaan, optimistinen näkemys tulevista parannuksista näyttäisi nyt olevan sekä Hotzin että AMD:n toimitusjohtaja Dr. Lisa Sun jaettuna keskusteluidensa jälkeen.
Puolivuosittain järjestettävät MLPerf-vertailukilpailut sallivat eri valmistajien esitellä tekoälymallinsa koulutuskyvykkyydet monenlaisissa tehtävissä, jatkuvasti työntäen teknologian ja suorituskyvyn rajoja.
George Hotzin tinycorpin osallistuminen MLPerf Training Benchmark -kilpailuun AMD-siruilla on merkityksellinen useista syistä. Se osoittaa, että pienemmillä toimijoilla on mahdollisuus osallistua alalla, joka on hallitseva suurten teknologiayritysten toimesta, ja että AMD:n GPU:t, jotka usein jäävät Nvidia’n hallitseman tekoälyn kiihdyttimien varjoon, voivat myös olla käyttökelpoisia tekoälytehtävissä.
Pääkysymykset tinycorpin osallistumiseen MLPerf Training Benchmarks -kilpailuun liittyen ovat:
1. Miten AMD-sirut tinybox redissä vertautuvat Nvidia’n H100-kiihdyttimiin ja Nvidia GeForce RTX 4090 -kortteihin suorituskyvyn kannalta?
2. Mitkä ovat taloudelliset edut, jotka liittyvät AMD-sirujen käyttöön tekoälyn koulutuksessa, kuten tinycorp on korostanut?
3. Minkälaisia mahdollisia parannuksia George Hotzin ja AMD:n toimitusjohtajan, Dr. Lisa Sun, kumppanuus voisi tuoda AMD:n ROCm-kehystoimintaan?
Keskittyvät haasteet ja kontroverssit aiheeseen liittyen sisältävät seuraavaa:
– AMD:llä on jatkuva haaste parantaa ROCm-kehystä ja ajurilaatuaan kilpaillakseen tehokkaammin Nvidia’n kypsän ekosysteemin kanssa.
– Kontroverssi, jonka George Hotz on aiemmin tuonut esiin AMD:n koneoppimistuen laadusta sen ROCm-kehystä käytettäessä.
tinycorpin osallistumisen edut MLPerf-vertailussa mukaan lukien ovat:
– Tarjoaminen kustannustehokkaammalle vaihtoehdolle tekoälyn koulutukseen käyttämällä tinybox redissä AMD:n GPU:ta.
– Kannustetaan kilpailuun markkinoilla, jotka ovat voimakkaasti Nvidia’n hallitsemia, johtuen enemmän innovaatioista ja mahdollisesta hintojen laskusta.
– Myötävaikuttaminen laajempaan ymmärrykseen eri GPU-vaihtoehtojen kyvyistä ja suorituskyvystä koneoppimistehtävissä.
Mahdollisia haittoja
voi olla:
– Mahdollisuus siihen, että AMD-sirujen suoritus jää jälkeen Nvidiaa, mikä voi vaikuttaa tehokkuuteen ja läpimenoon koneoppimistehtävissä.
– Nykyiset keskinkertaiset ajurilaadut AMD:n siruille koneoppimissovelluksissa, mikä voi lisätä kehitykseen ja vianmääritykseen kuluvaa aikaa ja monimutkaisuutta.
– Tarve odottaa tulevia parannuksia ROCm-kehystä, jotta AMD-sirujen mahdollisuudet koneoppimisessa voidaan täysin hyödyntää.
Lisätietoja tästä uutisesta tarjoavat:
Nämä verkkosivustot tarjoavat laajempia näkökulmia alaan, nykyisiin projekteihin ja kovatamisen kykyihin tekoälyn koulutuksessa ja koneoppimisen vertailutesteissä.