MLCommons, un consorzio che include importanti attori industriali come Amazon, AMD, Google, Intel e Nvidia, ha rilasciato la quarta edizione dei suoi MLPerf Training Benchmarks focalizzata sull’addestramento dell’IA su larga scala. Il nuovo round introduce nuovi benchmark, come il fine-tuning dei Large Language Models e delle Graph Neural Networks. Degna di nota è la partecipazione di Sustainable Metal Cloud (SMC), che segna l’inclusione di misurazioni di consumo energetico attraverso 24 contributi, con l’obiettivo di mettere in evidenza il potenziale di risparmio energetico della loro tecnologia proprietaria di raffreddamento ad immersione.
Tra i vari partecipanti, un piccolo ma notevole ingresso è arrivato da tinycorp, un’azienda guidata dall’ex hacker George Hotz, che si è posizionata nell’ambito dell’accelerazione dell’IA contribuendo per la prima volta con chip AMD al MLPerf Training v4.0. A differenza del solito dominio degli acceleratori Nvidia H100, tinycorp ha presentato i risultati per il tinybox red, dotato di sei GPU Radeon RX 7900 XTX e il tinybox green, equipaggiato con schede Nvidia GeForce RTX 4090.
Il tinybox red ha registrato un tempo di completamento del benchmark di 167,15 minuti, mentre la variante verde ha registrato 122,08 minuti, mostrando spazio per miglioramenti rispetto ai benchmark stabiliti dagli acceleratori dei data center dedicati. Nonostante i tempi più lenti, tinycorp mira a evidenziare i benefici economici, puntando su un vantaggio di costo che potrebbe alla fine tradursi in guadagni finanziari reali in cui il tempo equivale a denaro.
La promessa di Hotz di integrare gli acceleratori AMD in MLPerf entro il 2024 è stata mantenuta. Il sito web di tinycorp elenca il tinybox green (Nvidia) a $25.000 con un’eccellente qualità dei driver e il tinybox red (AMD) a $15.000, anche se con una qualità dei driver mediocre, entrambi con un periodo di spedizione di due a cinque mesi. Nonostante alcune frustrazioni precedentemente espresse da Hotz riguardo al framework ROCm di AMD, una visione ottimistica per futuri miglioramenti sembra ora essere condivisa sia da Hotz che dalla CEO di AMD, la dottoressa Lisa Su, a seguito dei loro colloqui.
Le competizioni semestrali di benchmarking MLPerf consentono ai diversi produttori di mostrare le loro capacità di addestramento dei modelli IA attraverso una varietà di compiti, spingendo costantemente i limiti della tecnologia e delle prestazioni.
L’ingresso di George Hotz di tinycorp nel MLPerf Training Benchmark con chip AMD è significativo per diversi motivi. Mostra che i giocatori più piccoli possono partecipare a un settore dominato dai giganti della tecnologia e che le GPU AMD, spesso eclissate dalla predominanza di Nvidia nelle accelerazioni AI, possono essere anch’esse valide per i compiti di IA.