인공지능 벤치마킹 조직 MLCommons은 최근 고성능 하드웨어의 속도와 응답 능력을 평가하는 포괄적인 테스트 및 결과물을 발표했습니다. 이러한 신규 추가된 벤치마킹은 AI 칩 및 시스템의 효율성을 측정하여 풍부한 데이터로 향상된 견고한 AI 모델로부터 응답을 생성합니다.
이러한 테스트 결과는 ChatGPT와 같은 AI 응용 프로그램이 사용자 쿼리에 응답을 제공하는 속도에 관한 중요한 통찰력을 제공합니다. Meta Platforms에서 개발된 Llama 2는 대형 언어 모델의 질문 및 답변 시나리오의 속도를 특히 평가하는 벤치마킹 중 하나로 700억 개의 매개변수를 자랑합니다.
MLCommons는 MLPerf라는 벤치마킹 도구를 도입했습니다. 이 신규 도입된 것은 텍스트에서 이미지 생성에 중점을 둬 Stability AI의 Stable Diffusion XL 모델을 활용합니다. Nvidia의 H100 칩이 장착된 서버는 Google의 Alphabet, Supermicro, Nvidia와 같은 회사에서 제조되어 텍스트에서 이미지 생성 벤치마킹 시 선두 주자로 나타났습니다. 반면에 다양한 서버 빌더는 Nvidia의 L40S 칩을 기반으로 설계한 디자인을 제출하여 이미지 생성 벤치마킹에서 경쟁력을 보였습니다.
서버 빌더인 Krai는 이미지 생성 벤치마킹에 퀄컴 AI 칩을 사용하는 디자인을 제출하며 적은 전력을 소비하면서도 Nvidia의 산업용 프로세서보다 더 효율적인 방식을 선보였습니다. 인텔도 Gaudi2 엑셀러레이터 칩을 강조하며 ‘탄탄한’ 결과를 얻었습니다.
AI 응용 프로그램을 배포하는 데 있어서 원시 성능은 중요한 요소이지만, 고급 AI 칩의 전력 소비는 산업에 있어 중요한 고민거리입니다. AI 기업들은 전력 소비를 최소화하면서 최적의 성능을 제공하는 칩을 개발하기 위해 노력하고 있습니다. 그 결과, MLCommons는 전력 소비를 측정하는 데 전용 벤치마킹 범주를 운영하고 있습니다.
이번 최신 벤치마킹 결과는 AI 하드웨어 제조업체 및 AI 응용 프로그램을 도입하려는 기업에 귀중한 정보를 제공합니다. 속도와 효율성을 강조함으로써 이러한 테스트는 AI 기술의 발전을 촉진하는 중요한 자원으로 작용합니다.
자주 묻는 질문:
Q: MLCommons에서 새롭게 도입된 벤치마킹은 무엇입니까?
A: MLCommons는 강력한 AI 모델로부터 응답을 생성하는 AI 칩 및 시스템의 속도와 효율성을 측정하는 벤치마킹과 텍스트에서 이미지 생성에 중점을 둔 벤치마킹을 소개했습니다.
Q: 벤치마킹에서 어떤 서버가 탁월한 성과를 보였습니까?
A: Google의 Alphabet, Supermicro 및 Nvidia 같은 기업에서 제조된 Nvidia의 H100 칩이 이미지 생성 벤치마킹에서 우수한 성능을 나타냈습니다.
Q: 대체 칩을 사용한 디자인이 유망한 결과를 보였습니까?
A: 네, Krai라는 서버 빌더는 이미지 생성 벤치마킹에 퀄컴 AI 칩을 사용한 디자인을 제출하여 상당한 에너지 효율성을 구현했습니다.
Q: 왜 전력 소비는 AI 기업들에게 중요한 고려 사항인가요?
A: 고급 AI 칩은 상당량의 전력을 소비하므로, AI 기업들은 전력 소비를 최소화하면서 성능을 최적화하기 위한 중요한 과제입니다.
Q: 이러한 벤치마킹이 AI 산업에 어떻게 도움이 되나요?
A: 이러한 벤치마킹 결과는 AI 하드웨어 제조업체 및 AI 응용 프로그램을 도입하려는 기업에 귀중한 통찰력을 제공하여 AI 기술의 발전과 발전을 촉진합니다.
MLCommons 및 해당 벤치마킹에 대한 자세한 내용은 공식 웹사이트 mlcommons.org를 참조하시기 바랍니다.
[동영상 보기](https://www.youtube.com/embed/GyllRd2E6fg)
The source of the article is from the blog dk1250.com