A MLCommons, um consórcio que inclui importantes players do setor como Amazon, AMD, Google, Intel e Nvidia, lançou a quarta edição de seus Benchmarks de Treinamento MLPerf focados em treinamento de inteligência artificial em larga escala. A última rodada apresenta novos benchmarks, como ajuste fino de Modelos de Linguagem Grandes e Redes Neurais Gráficas. Destaca-se a participação do Sustainable Metal Cloud (SMC), marcando a inclusão de medições de energia por meio de 24 inscrições, com o objetivo de destacar o potencial de economia de energia de sua tecnologia proprietária de resfriamento por imersão.
Dentre os vários participantes, uma entrada pequena, mas notável, veio da tinycorp, uma empresa liderada pelo ex-hacker George Hotz, que se posicionou no campo da aceleração de IA contribuindo com os primeiros chips AMD no MLPerf Training v4.0. Ao contrário da dominância usual dos aceleradores H100 da Nvidia, a tinycorp apresentou resultados para o tinybox red, equipado com seis GPUs Radeon RX 7900 XTX, e o tinybox green, equipado com placas Nvidia GeForce RTX 4090.
O tinybox red registrou um tempo de conclusão de benchmark de 167,15 minutos, enquanto a variante verde registrou 122,08 minutos, mostrando espaço para melhorias em relação aos benchmarks estabelecidos pelos aceleradores dedicados de centros de dados. Apesar dos tempos mais lentos, a tinycorp busca destacar benefícios econômicos, apostando em uma vantagem de custo que poderia eventualmente se traduzir em ganhos financeiros no mundo real, onde tempo equivale a dinheiro.
A promessa de Hotz de integrar aceleradores AMD no MLPerf até 2024 foi cumprida. O site da tinycorp lista o tinybox green (Nvidia) a $25.000, com excelente qualidade de driver, e o tinybox red (AMD) a $15.000, porém com apenas qualidade de driver mediana, ambos com um prazo de envio de dois a cinco meses. Apesar de alguma frustração anteriormente expressa por Hotz em relação ao framework ROCm da AMD, uma perspectiva otimista para futuras melhorias parece ser compartilhada agora por Hotz e pela CEO da AMD, Dra. Lisa Su, após suas discussões.
As competições bianuais de benchmarking MLPerf permitem que diferentes fabricantes mostrem suas capacidades de treinamento de modelos de IA por meio de uma variedade de tarefas, empurrando constantemente os limites da tecnologia e do desempenho.
A entrada da tinycorp de George Hotz no Benchmark de Treinamento MLPerf com chips AMD é significativa por várias razões. Mostra que jogadores menores podem participar em um campo dominado por gigantes da tecnologia e que as GPUs da AMD, frequentemente ofuscadas pela proeminência da Nvidia em acelerações de IA, também podem ser viáveis para tarefas de IA.
As principais questões em torno da participação da tinycorp nos Benchmarks de Treinamento MLPerf incluem:
1. Como os chips da AMD no tinybox red se comparam aos aceleradores H100 da Nvidia e às placas Nvidia GeForce RTX 4090 em termos de desempenho?
2. Quais são os benefícios econômicos de usar chips da AMD para treinamento de IA, como destacado pela tinycorp?
3. Que melhorias potenciais a parceria entre George Hotz e a CEO da AMD, Dra. Lisa Su, poderia trazer para o framework ROCm da AMD?
Os principais desafios e controvérsias associados ao tópico incluem o seguinte:
– Há um desafio contínuo para a AMD melhorar seu framework ROCm e qualidade de driver para competir de forma mais eficaz com o ecossistema maduro da Nvidia.
– A controvérsia anteriormente expressa por George Hotz em relação à qualidade do suporte de aprendizado de máquina da AMD por meio de seu framework ROCm.
As vantagens da entrada da tinycorp no Benchmark MLPerf incluem:
– Fornecer uma alternativa mais econômica para treinamento de IA com o tinybox red utilizando GPUs da AMD.
– Incentivar a concorrência em um mercado fortemente dominado pela Nvidia, o que pode levar a mais inovação e potenciais reduções de preço.
– Contribuir para uma compreensão mais ampla das capacidades e desempenho das diferentes opções de GPU disponíveis para tarefas de aprendizado de máquina.
As desvantagens podem incluir:
– A possibilidade de o desempenho dos chips da AMD ficar atrás do da Nvidia, afetando assim a eficiência e a taxa de transferência em tarefas de aprendizado de máquina.
– A qualidade de driver mediana atual dos chips da AMD para aplicações de IA, o que pode aumentar potencialmente a complexidade e o tempo gasto no desenvolvimento e solução de problemas.
– A necessidade de aguardar por melhorias futuras no framework ROCm para realizar totalmente o potencial dos chips da AMD em aprendizado de máquina.
Visitas relevantes aos sites para obter informações adicionais sobre esta notícia incluem:
– MLCommons
– AMD
– NVIDIA
Esses sites fornecem insights mais amplos sobre a indústria, projetos atuais e as capacidades de hardware pertinentes ao treinamento de IA e benchmarks de aprendizado de máquina.