Organizația de benchmarking în domeniul inteligenței artificiale, MLCommons, a publicat recent un set cuprinzător de teste și rezultate care evaluează viteza și reactivitatea hardware-ului de înaltă performanță în rularea aplicațiilor AI. Aceste noi benchmarkuri se concentrează pe măsurarea eficienței cipurilor și sistemelor AI în generarea de răspunsuri din modele AI robuste îmbogățite cu date extensive.
Rezultatele acestor teste oferă informații valoroase despre viteza cu care aplicațiile AI, precum ChatGPT, pot oferi răspunsuri la întrebările utilizatorilor. Unul dintre benchmarkurile, numit Llama 2, evaluează în mod specific viteza scenariilor întrebare-răspuns pentru modele de limbaj extinse. Dezvoltat de Meta Platforms, Llama 2 se mândrește cu impresionanții săi 70 de miliarde de parametri.
MLCommons a introdus, de asemenea, un alt instrument de benchmarking în cadrul suitei lor, numit MLPerf. Această nouă adăugare se concentrează pe generarea text-imagini și folosește modelul Stable Diffusion XL de la Stability AI. Atunci când au fost evaluate, serverele echipate cu cipurile H100 de la Nvidia, produse de companii renumite precum Alphabet de la Google, Supermicro și Nvidia însuși, au ieșit câștigătoare clare în ceea ce privește performanța brută. În contrast, diferiți constructori de servere au prezentat designuri bazate pe cipurile L40S de la Nvidia, care sunt mai puțin puternice, dar totuși și-au păstrat poziția în benchmarkul de generare a imaginilor.
Krai, un producător de servere, a ales o cale diferită prin prezentarea unui design care folosea un cip AI Qualcomm pentru benchmarkul de generare a imaginilor. Acest cip alternativ a consumat semnificativ mai puțină energie în comparație cu procesoarele de vârf de la Nvidia, demonstrând o abordare mai eficientă din punct de vedere energetic. Intel a prezentat, de asemenea, un design care includea cipurile sale accelerate Gaudi2, lăudând rezultatul ca fiind „solid”.
Deși performanța brută rămâne un factor crucial în implementarea aplicațiilor AI, consumul de energie al cipurilor AI avansate este o preocupare semnificativă pentru industrie. Companiile de AI depun eforturi pentru a dezvolta cipuri care oferă performanțe optime în timp ce minimizează consumul de energie. Prin urmare, MLCommons are o categorie separată de benchmarking dedicată măsurării consumului de energie.
Aceste rezultate de benchmarking oferă informații valoroase atât pentru producătorii de hardware AI, cât și pentru companiile care doresc să implementeze aplicații AI. Prin evidențierea atât a vitezei, cât și a eficienței, aceste teste servesc ca resursă vitală în promovarea avansului tehnologiei AI.
Întrebări Frecvente (FAQ):
The source of the article is from the blog scimag.news