フロンティアスーパーコンピュータは、世界的に有名な唯一のExascaleマシンであり、LLM（大規模言語モデル）の領域で画期的な進展を遂げています。AMDのEPYC CPUとInstinct GPUのパワーによって動作し、ハイパーパラメータのチューニングを通じて1兆のパラメータをトレーニングするという新たな業界基準を達成しています。
テネシー州オークリッジ国立研究所（ORNL）に位置するフロンティアスーパーコンピュータは、AMDの第3世代EPYC Trento CPUとInstinct MI250X GPUアクセラレータを特に採用して設計されました。869万9904コアを使用して1.194 Exaflop/sという驚異的な性能を誇り、TOP500.orgのリストにおいて最も効率的なスーパーコンピュータとしての地位を確立しました。
効果的な戦略の実装によって、フロンティアチームはLLMのトレーニングをうまく行い、搭載されたハードウェアのポテンシャルを最大限に引き出すことに成功しました。さまざまなパラメータサイズの広範なテストを通じて、モデルトレーニングのプロセスを最適化し微調整しました。特筆すべきは、最大3,000個のAMD MI250X AIアクセラレータを使用したことで、この比較的古いハードウェアの優れた能力を明らかにしました。
驚くべきことに、フロンティアスーパーコンピュータ全体には37,000個ものMI250X GPUが搭載されています。この膨大なGPUプールは、LLMのパワーを引き出すための莫大なポテンシャルを開放しており、最先端の技術を使用した驚異的なパフォーマンスを示しています。さらに、AMDはMI300 GPUアクセラレータを新しいスーパーコンピュータに搭載し、ROCm 6.0エコシステムを備えたAIパフォーマンスをさらに向上させる予定です。
フロンティアが現在使用しているハードウェアは業界で最新のものではありませんが、生成ベースのAIの進歩はサーバーやデータセンター部門の計算能力の継続的な進化を必要としています。増加する計算能力への需要が続く中、この目的に特化したハードウェアの開発は次世代技術の推進に不可欠です。
まとめると、AMDのEPYC CPUとInstinct GPUを搭載したフロンティアスーパーコンピュータは、LLMトレーニングの限界に挑戦しています。1兆のパラメータをトレーニングするという偉業を達成したフロンティアチームは、新たな業界基準を確立し、ハードウェアの膨大なポテンシャルを示しました。今後の進展に期待が寄せられるこの分野において、生成ベースのAI向けに設計されたハードウェアの重要性は過小評価できません。