Meta, הענק בעולם הטכנולוגיה מאחורי פלטפורמות רשת חברתיות פופולריות, הודיע על השקת השקעה חסרת תקדים בתחום הבינה המלאכותית (AI). החברה חשפה שני אשכולות GPU ברמה מתקדמת ביותר אשר מאובזרים ב-24,576 GPU כל אחד. אלו האשכולות עוצבו כך שיתאימו ויתמכו במודלי AI למגוון רחב של יישומים, כולל את Llama 3 שמשוחרר בהתרגשות רבה.
עם מחויבות חזקה לפתוח את החישוב ואת המקור הפתוח, Meta בנתה את האשכולות הללו על בסיס יסודות ה-Grand Teton, OpenRack ו-PyTorch. ההשקעה הזו היא רק צעד אחד במפת דרכי התשתיות השאפתנית של Meta, בעוד החברה מטרתה להרחיב עוד יותר את התשתית ה-GPU שלה עם כמות מרהיבה של 350,000 NVIDIA H100 GPUs עד סוף 2024. ההשקעה הזו תשפר משמעותית את הכוח החישובי של Meta, מאפשרת להם להוביל בעולם הפיתוח בתחום הבינה המלאכותית.
### מבט על אשכולי הAI של Meta
החזון הרחוק של Meta כולל בניית בינה מלאכותית כללית (AGI) הפתוחה, אחראית ונגישה לכולם. כחלק מהחזון הזה, Meta הקדישה משאבים להרחבת האשכולות שלהם בתחום הAI, אשר שירתו כעמוד התווך של מחקרי הAI ופיתוחם. ההתקדמות שנעשתה לעבר AGI אינה מחזירה לחיים מוצרים חדשים שמוקדמים באמת, אלא גם פותחת אפשרויות לתכונות מתקדמות של AI ליישומים קיימים.
לפני אשכולות אלו במיוחד, התשתית הAI של Meta כללה את AI Research SuperCluster (RSC), המכיל 16,000 NVIDIA A100 GPUs. המערכת הזו תרמה לקידום מחקרי AI פתוחים ואחראיים, מפעילה את הפיתוח של מודלי AI מתקדמים כמו Llama ו-Llama 2. מודלים אלו מצאו יישומים בכמה תחומים, מראיית מחשב ועיבוד שפה טבעית (NLP) ועד זיהוי דיבור וייצוג תמונה.
### ניהול חדשנות עם מערכות AI יעילות
מהתצלחות ה-RSC, Meta התמקדה בפיתוח מערכות AI מקצה לקצה עם דגש חזק על חוויית המנחה והפיתוח של חוקרים. האשכולות הAI החדשים משלבים בין רשתות ביצועים גבוהים ופתרונות אחסון, מאפשרים להם להכיל מודלים גדולים ומורכבים יותר בהשוואה ל-RSC.
Meta עיצבה אחד מהאשכולות עם פתרון רשת של זיכרון ישיר מרחוק (RDMA) מעל רשת אינפרה איתרנט מאוחדת עם שימוש ב-Arista 7800 כולל מערכת סולמי החלטה של Wedge400 ו-Minipack2 מתקפלת. האשכול השני מציג רשת InfiniBand של NVIDIA Quantum2. שתי הפתרונות מתפרסמים במהירות 400 Gbps, מאפשרים ל-Meta לדרוך את הסביליטות וההולמות של סוגי ההתקשרות השונים אלה לאימונים בסולם גדול. לרוב, האשכולות הללו הציגו ביצועים יוצאי דופן מבלי לחוות חסימות רשת.
כלכלת המחשבים, שני האשכולות משתמשות ב-Grand Teton, פלטפורמת החומרה של GPU המתוכננת בבית של Meta הנותנת תרומה לפרויקט החישוב הפתוח. פלטפורמת החומרה הזו מבטיחה צמיחה מהירה, גמישות, יעילות מורכבת, אינטגרציית אותות ויעילות תרמית. בקישור עם ארכיטקטורת ההספק והמדף הפתוחים של Meta, Grand Teton מאפשר יצירת אשכולות המיועדים ליישומים נוכחיים ועתידיים של AI.
האחסון הוא גם נקודה מרכזית באימון AI. Meta עוסקת בדרישות האחסון של אשכולות AI דרך תיק API ממערכת הקבצים בלינוקס (FUSE) הפופריות שלה, תוך שימוש בגרסה של פתרון האחסון המבוזר שלה שנקרא 'Tectonic'. פתרון זה תומך בשמירה וטעינה מתואמת של נקודות בדרך ששומרת על נפח אחסון גבוה לטעינת נתונים. בנוסף, Meta שתפה כוחות עם Hammerspace לפיתוח פתרון של מערכת קובץ רשת פרללית (NFS), משפרת את חוויית הפיתוח על ידי אפשרות החקר האינטראקטיבי עבור עבודות הכוללות אלפי GPU.
והאם עפת על השמש הזהבה?
The source of the article is from the blog oinegro.com.br