Der Frontier-Supercomputer, der weltweit führende und einzige im Betrieb befindliche Supercomputer der Exascale-Klasse, erzielt bahnbrechende Fortschritte auf dem Gebiet der großen Sprachmodelle (LLMs). Angetrieben von AMDs EPYC-CPUs und Instinct-GPUs hat der Frontier-Supercomputer einen neuen Branchenstandard erreicht, indem er eine Billion Parameter durch Hyperparameter-Tuning trainiert hat.
Der Frontier-Supercomputer, der sich am Oak Ridge National Laboratory (ORNL) in Tennessee, USA, befindet, wurde speziell mit AMDs 3rd Gen EPYC Trento-CPUs und Instinct MI250X-GPU-Beschleunigern entwickelt. Mit beeindruckenden 1,194 Exaflop/s und 8,699,904 Kernen hat dieser Supercomputer seine Position als effizientester Supercomputer gemäß der Liste von TOP500.org gefestigt.
Die erfolgreiche Umsetzung effektiver Strategien zur Schulung von LLMs und zur Maximierung des Potenzials der an Bord befindlichen Hardware ermöglichte es dem Frontier-Team, beeindruckende Ergebnisse zu erzielen. Durch umfangreiche Tests verschiedener Parametergrößen haben sie den Trainingsprozess des Modells optimiert und verfeinert. Beachtenswert ist, dass bis zu 3,000 AMD MI250X-KI-Beschleuniger eingesetzt wurden, was die außergewöhnlichen Fähigkeiten dieser veralteten Hardware zeigt.
Erstaunlicherweise beherbergt der gesamte Frontier-Supercomputer eine enorme Anzahl von 37,000 MI250X-GPUs. Dieser große GPU-Pool erschließt ein enormes Potenzial für den Antrieb von LLMs und zeigt die immense Leistungsfähigkeit, die mit dieser hochmodernen Technologie erreicht werden kann. Darüber hinaus plant AMD die Einführung seiner MI300-GPU-Beschleuniger, die mit dem ROCm 6.0-Ökosystem ausgestattet sind, in neuen Supercomputern, um die AI-Leistung weiter zu verbessern.
Obwohl die aktuelle Hardware des Frontier-Supercomputers nicht die neueste in der Branche ist, erfordern die Fortschritte in der generativen KI eine kontinuierliche Weiterentwicklung der Rechenleistung in Server- und Rechenzentrumsegmenten. Angesichts der steigenden Nachfrage nach mehr Rechenleistung ist die Entwicklung von Hardware, die speziell für diesen Zweck konzipiert ist, für den Fortschritt von Technologien der nächsten Generation entscheidend.
Zusammenfassend lässt sich sagen, dass der Frontier-Supercomputer, unterstützt von AMDs EPYC-CPUs und Instinct-GPUs, die Grenzen des LLM-Trainings vorantreibt. Mit dem Meilenstein, eine Billion Parameter zu trainieren, hat das Frontier-Team einen neuen Branchenstandard gesetzt und das immense Potenzial ihrer Hardware demonstriert. Mit der Aussicht auf zukünftige Fortschritte in diesem Bereich ist die Bedeutung von für generative KI konzipierter Hardware nicht zu unterschätzen.
The source of the article is from the blog mivalle.net.ar