שימוש מחדש באינטראקציה דיגיטלית עם AI יוצרת
המובילה בטכנולוגיית AI שמייצרת, מחדשת מה שאנו חושבים שאפשרי ומשנה את אינטראקציתנו עם התחום הדיגיטלי. מודלים גדולים של שפה (LLMs) כגון GPT משתלבים עמוק יותר בחיינו היומיומיים, חיילים דיונים חיוניים לגבי הקיום הביבלי על מנת לתמוך בשדרגים כאלה, מעוררים דיונים חיוניים לגבי יכולת הסבילות סביבתית.
המודלים הגדולים של שפה וקרן הפלג
לדוגמה, קחו את GPT-4 של OpenAI, האימון שלו דורש אנרגיה השווה לצריכת שנתית של כ-1,300 משקי בתים בארה"ב. שלב האימון הראשוני זה קובע פרמטרים לשימוש עתידי. אם כי שימוש יחיד ב-GPT-4 צורך בהרבה יותר אנרגיה מחיפוש של Google, דרישת האנרגיה המשמעותית מתמשכת של מעלות אפשרויות למידת המידע מתרכובות הנדרשות. בכל מקרה, ברוב המקרים, המודלים הגדולים יכולים לגרום לסיבות טובות לצריכת אנרגיה קיימת, כך אפשר לעלה את דורך יצירת האנרגיה הנוספת.
עליית המודלים הקטנים של שפה (SLM)
עם התפשטות השפע של GPT-3, חקשת המחקר מוקדשת ליעול מודלים כמו השל Meta Llama, ששוחרר בפברואר 2023, ביצג ביצועים ניכרים עם משקל נתונים קטן הרבה. עם רק 70 מיליארד פרמטרים, Llama 2 מצריך פחות אנרגיה ואפילו שותף השוואתי ל-Google ומראה כי, בהקשרים מסוימים, לבחירה של מודלים קומפקטיים יותר אין משמעות מוסרית לקידום התלבות.
כתב הדרך למודלים קטנים יעילים
המודלים הפתוחים של Meta והמאמצים המתמדים של OpenAI פתחו את כתב הדרך למודלים קטנים, כמו Orca של Microsoft, שפועל עם דרישות חישוב דומות לקונסולות המשחקים האחרונות, גם בעוד שהשימוש שלהם ב-7 מיליארד פרמטרים עשוי. מודלים אלו, עם דרישות אנרגיה נמוכות יותר, עשוים לפעול בקרוב על התקנים הניידים, משפרים פרטיות, השימושיות באזורים עם התחברות מוגבלת, וגישה שוויונית לטכנולוגיות AI מתקדמות.
מפתחי מעגלים מובילים, כמו Qualcomm ו-ARM, מצפים לשלב SLMs לתוך התקנים הניידים. שימוש הנוכחי של אפל במנוע הנוירלי מצביע על העבודה שהם עושים לשילוב של AI מחולקות במוצרים שלהם בשנים הקרובות. ההשקפה למודלי AI קומפקטיים ויעילי אנרגיה אלה היא שיא למעשה טכנולוגי גדול וצעד חשוב אל כיוון הסבילות. על ידי ייצור ביקוש אנרגיה לאימון ולתפעול של מודלים שפה, אנו יכולים לשלב את היתרונות של AI יוצרת ולוודא את רווחה של הכדור הארץ.
מודלים חכמים בAI ושביל המחשב המתמד
יעילות האנרגיה בAI קריטית להפחתת השפעתה הסבילית של טכנולוגיה. פיתוחים בAI הובילו ליצירת מודלים הדורשים מעט משאבי מחשב בכדי למשוך בייצוג חזק. היעודי הכפוי נמצא, שמערכות מידע, התומכות במחשבי AI, יוערכו כ1% מהשימוש הגלובלי בחשמל.
שאלות מרכזיות ותשובות
מדוע יעילות אנרגטית חשובה בAI?
יעילות האנרגיה חיונית להפחתת השפעתה הסבילית של AI, שימוש באימון ובהפעלה של מודלי AI עשויים לדרוש הרבה כדור כח חשמלי. מודלים יעילים עוזרים להפחית את הטיל פחמן ולהפוך את AI לנגיש יותר לסביבות אנרגייתיות מונעות.
אילו קידומים נעשים בAI לשפר יעילות טווח הכוח המיועד בAI יעשו:
תפיציפי הן הפיותפלת של מודלי שפה קטנים (SLMs), התארגנות אופטימינלית בלימיה אלגוריתמית של חישובי AI, וחידושים בחומרת העיצובית לAI כמו מעבדים מתמחים.
מהן האתגדיות שנאלו ביצירת מודלים AI יעילי אנרגיה?
אתגדיות כוללות את שמירת הביצוע ביםודלים גדולים בתגוז שטעות, בוודאות של גודל קטנה לא תנהיג לתוצאות לא נאות או לא אמינות, וההוצרכות להעלאה לפשוט את הטעות המשופרת של הטכנולוגיהאנגיית שקורעת.