Supercomputerul Frontier, cunoscut ca fiind cel mai mare și singurul calculator Exascale în funcțiune din lume, înregistrează avansuri semnificative în domeniul modelelor de limbaj mari (LLM). Cu ajutorul procesoarelor EPYC și GPU-urilor Instinct de la AMD, supercomputerul Frontier a atins un nou standard în industrie, antrenând un trilion de parametri prin ajustarea hiperparametrilor.
Supercomputerul Frontier, amplasat în Oak Ridge National Laboratory (ORNL), Tennessee, SUA, a fost proiectat special cu procesoarele Trento EPYC de la AMD de a treia generație și cu acceleratoarele GPU Instinct MI250X. Cu o performanță impresionantă de 1,194 Exaflop/s utilizând 8,699,904 nuclee, acest supercomputer și-a consolidat poziția de cel mai eficient supercomputer, conform listei TOP500.org.
Implementarea cu succes a strategiilor eficiente pentru antrenarea LLM-urilor și maximizarea capacităților hardware-ului incorporat a permis echipei Frontier să obțină rezultate impresionante. Prin teste extinse ale diferitelor dimensiuni ale parametrilor, aceștia au optimizat și ajustat procesul de antrenare a modelelor. În mod semnificativ, au utilizat până la 3,000 de acceleratoare AI AMD MI250X, dezvăluind capacitățile excepționale ale acestui hardware relativ învechit.
Uimitor, întregul supercomputer Frontier este echipat cu nu mai puțin de 37,000 de GPU-uri MI250X. Această întreagă gamă de GPU-uri deblochează un potențial enorm în ceea ce privește alimentarea LLM-urilor, demonstrând performanța imensă ce poate fi atinsă cu această tehnologie de ultimă oră. În plus, AMD are în plan să introducă acceleratoarele GPU MI300, echipate cu ecosistemul ROCm 6.0, în noile supercomputere, sporind și mai mult performanța AI-ului.
Deși hardware-ul actual utilizat de Frontier nu este cel mai recent din industrie, evoluțiile realizate în domeniul inteligenței artificiale generative impun o evoluție continuă a puterii de calcul în segmentele serverelor și centrului de date. Pe măsură ce cererea de putere de calcul crescută continuă să se dezvolte, dezvoltarea de hardware special conceput în acest scop devine crucială pentru avansul tehnologiilor de ultimă generație.
În concluzie, supercomputerul Frontier, susținut de procesoarele EPYC și GPU-urile Instinct de la AMD, împinge limitele învățării automate a limbajului natural (LLM). Prin atingerea unui nivel de antrenare de un trilion de parametri, echipa Frontier a stabilit un nou standard în industrie și a demonstrat potențialul imens al hardware-ului lor. Cu promisiunea de avansuri viitoare în acest domeniu, importanța unui hardware special conceput pentru AI-ul generativ nu poate fi subestimată.
The source of the article is from the blog radardovalemg.com