בעולם המתקדם של פיתוח AI/ML, חשוב להפעיל תשתית שתוכל לעמוד בדרישות המהנדסים בתחום ה-ML. זמני בנייה איטיים ובעיות באריזה והפצת קבצי ביצוע יכולות להפריע ליעילות ולגרום לאבסורסיה הזולה מזמנם היקר של המהנדסים.
כדי לעסוק באתגרים אלו, צוותנו נטש מדדים בוודאות וניגש לתקן בניית אירועי השעתון ובעיות הביצוע. באופן תובעני, התמקדנו במזער הבניה באמצעות עיצוב גרף הבנייה מחדש וביישור מספר התלות. בשיטה זו פחותה הצורך בבניות מרובות והיכולת הבנייתית שלנו השתפרה.
הקשיים הראשיים השניים עצרו ישויות לווסת במאמץ ובחלופות ביצועים ניתנו אם מאגר קבצים שאפשר לכתוב אליו על ידי שחזור. על ידי התאמת העכבות שלו, הניתוב הגורר-ג got אפשרות הטיפול העצמדי הברובוצית, הניתוב הגורל המהומר, וקידוד נתוני השמירה המקומית, אך עובדת המפעילה אינם חלופית. באמצעות שיפור זה מנוטרלים הטעויות והאבסורסיה של איזון העומסים הגנריים.
שונה מפתרונות השכבה המסורבלת המסורתיים, כמו חסכון מזגן ה-OverlayFS של Docker, רובץ בגישתו המועדפת אפשרות שליטת גישה ישירה לקובץ וניתוב העניין החכם. בזכותו אנו יכולים לנהל ביעילות תלותים שונים במסיבי ביצועים מרובים, חסרי הקושי בארגון השכבות. כל זאת סביב מערכת הקובץ שלנו שמשתמשת ב-Btrfs, ומתודות הדחיסה שלו, והכללת נתונים דחוסים בביצועים השונים ללא התקנות תת הדפסה.
בעזרת התמודדות עם הקשיים שבניית התוכנה האיטית ותהליך אריזת והפצת קבצי הביצוע, גרמנו למהנדסי ה-ML שלנו לעבוד ביעילות יותר ולמסור פתרונות מתקדמים. המודדים האשר חתמנו עליהם לתקן בניה התאם ניהול תקופות רחבות והטמענו אפרוש אירועי מחדש לערכנו. בעשייה כזאת לפחות, המשך יכולת הבנייה שלנו הוזל והיכולת הכוללת עצמות שלנו נוספה.
שאלות ותשובות:
The source of the article is from the blog toumai.es