ארגון לבחינת AI, MLCommons, פרסם לאחרונה מערכת נרחבת של בדיקות ותוצאות המבוססות על מהירות ותגובה של חומרה בעלת ביצועים גבוהים בהפעלת אפליקציות AI. הבדיקות החדשות מתמקדות במדידת יעילות של שבבי AI ומערכות ביצוע של דגמי AI חזקים שנעשים עשירים בתיאום נתונים בסיסיים.
תוצאות הבדיקות הללו סופקות תובנות יקרות במהירות שבה אפליקציות AI, דוגמת ChatGPT, יכולות לספק תגובות לשאילתות המשתמש. אחת הבדיקות, בשם Llama 2, מעריכה באופן מפורט את המהירות של סצנריוי שאלות ותשובות עבור דגמי שפה גדולים. שנפתח על ידי Meta Platforms, Llama 2 מתארגן על מופעלות של 70 מיליארד פרמטרים.
MLCommons הציגה גם כלי ניסוי נוסף במערכת שהם, ששמו MLPerf. הוספת זו מתמקדת בייצוג טקסט-לתמונה ומשתמשת בדגם Stable Diffusion XL של Stability AI. בהערכה שבוצעה, שרתים בעלי שבבי Nvidia H100, המיוצרים על ידי חברות ידועות כמו Google’s Alphabet, Supermicro ו-Nvidia עצמה, עלו כזוכים ברורים ביחס ליציבות בביצועים. לעומת זאת, יצרני שרתים שונים הגישו תכניות מבוססות על שבבים L40S של Nvidia, שאף עם היתרונות שלהם נגדירו אדירים בבדיקת יצירת תמונות.
חברת שרתים בשם Krai, קיצונית נתיבתיו, תכננה עיצוב המשתמש בשבב AI של Qualcomm למבחן יצירת התמונות. שבב החלופי הזה צרף באופן מובהק פחות עוצמת כוח בהשוואה לעובדה של שבבי Nvidia, מנציח גישה של צרכנות אנרגיה משמעותית. גם Intel הגישה תכנית עם שבבי התקן Gaudi2 שלה, שהתיימרה בתחום הניסויים כ-"סולידי".
בעוד ביצוע גולמי נותר פקטור חיוני בהעברת אפליקציות AI לפועל, צריכת האנרגיה של שבבי AI מתקנת עדיין ומשמעותית מובהקת עבור התעשייה. חברות AI מתמקדות בפיתוח שבבים שמציעים ביצועים אופטימליים תוך מינימום השתמטות כח. כתוצאה, MLCommons מכינה כתקטגוריה נפרדת לבדיקת צריכת הכח.
תוצאות ניסויים עדכניים אלו מספקות מידע יקר אף ליצרני חומרה של AI וחברות המתעניינות להטמיע אפליקציות AI. על ידי הדגשה על מהירות ויעילות, בדיקות אלו מהוות משאב חיוני לקידום הטכנולוגיה השיווע מנוקדת AI.
למידע נוסף על MLCommons והבדיקות שלהם, בקרו באתר הרשמי שלהם: mlcommons.org.
The source of the article is from the blog cheap-sound.com