Frontier 슈퍼컴퓨터는 세계에서 유일하게 운영 중인 엑사스케일 기계로 알려져 있으며, 대용량 언어 모델(LLM) 분야에서 획기적인 발전을 이루고 있습니다. AMD의 EPYC CPU와 Instinct GPU로 구동되는 Frontier 슈퍼컴퓨터는 하이퍼파라미터 튜닝을 통해 1조 개의 매개변수를 학습하는 새로운 산업 기준을 세우게 되었습니다.
미국 테네시주 오크리지 국립 연구소(ORNL)에 위치한 Frontier 슈퍼컴퓨터는 AMD의 3세대 EPYC Trento CPU와 Instinct MI250X GPU 가속기로 특별히 설계되었습니다. 8,699,904개의 코어를 사용하여 1.194 Exaflop/s의 놀라운 성능을 자랑하는 이 슈퍼컴퓨터는 TOP500.org 목록에 따르면 가장 효율적인 슈퍼컴퓨터로 자리잡았습니다.
효과적인 LLM 학습 전략의 성공적인 구현과 내장된 하드웨어의 잠재력을 극대화하기 위한 노력을 통해 Frontier 팀은 인상적인 결과를 이뤄냈습니다. 다양한 매개변수 크기에 대한 철저한 테스트를 통해 모델 학습 과정을 최적화하고 세밀하게 조정했습니다. 특히, 최신 기술은 아니지만 3,000개 AMD MI250X AI 가속기를 활용했는데, 이를 통해 이 상대적으로 오래된 하드웨어의 탁월한 성능을 확인할 수 있었습니다.
놀랍게도 Frontier 슈퍼컴퓨터 전체에는 37,000개의 MI250X GPU가 장착되어 있습니다. 이 방대한 GPU 풀은 LLMs에 대한 엄청난 성능을 발휘하며, 최첨단 기술을 사용하여 어마어마한 성과를 얻을 수 있음을 보여줍니다. 게다가 AMD는 ROCm 6.0 생태계가 탑재된 MI300 GPU 가속기를 새로운 슈퍼컴퓨터에 도입할 예정이며, AI 성능을 더욱 향상시킬 것입니다.
Frontier가 현재 사용하는 하드웨어가 최신 기술은 아니지만, 창조적 AI의 발전에 따라 서버와 데이터 센터 세그먼트의 컴퓨팅 파워는 지속적인 진화가 필요합니다. 증가하는 컴퓨팅 파워에 대한 수요가 계속해서 증가함에 따라 다음 세대 기술의 발전을 위해 이에 특화된 하드웨어의 개발은 중요합니다.
결론적으로, AMD의 EPYC CPU와 Instinct GPU를 지원하는 Frontier 슈퍼컴퓨터는 LLM 학습의 한계를 넓히고 있습니다. 1조 개의 매개변수를 학습하는 이러한 이룩으로 Frontier 팀은 업계에서 새로운 기준을 세우며, 자사 하드웨어의 거대한 잠재력을 보여주었습니다. 이 분야에서의 미래 발전이 약속되면서 창조적 AI에 특화된 하드웨어의 중요성은 언제나 간과되지 않아야 합니다.
The source of the article is from the blog maltemoney.com.br