در دنیای پرسرعت توسعه هوش مصنوعی/یادگیری ماشین، اهمیت دارد که زیرساختی داشته باشیم که بتواند با تقاضاهای مهندسان ML هماهنگی داشته باشد. زمان ساخت آهسته و ناسازگاری‌ها در بسته‌بندی و توزیع فایل‌های اجرایی باعث کاهش بهره‌وری و هدر رفتن زمان ارزشمند می‌شود.
برای مقابله با این چالش‌ها، تیم ما به تدابیری عملی برای مقابله با ساخت آهسته و ناسازگاری در بسته‌بندی مراجعه کردیم که منجر به کاهش قابل توجه هزینه‌های اضافی و افزایش کارایی شد.
به جای وابستگی به نسخه‌های قدیمی که نیاز به ساختمان‌دهی و پیوند‌دهی تکراری داشت، ما تمرکز خود را بر کمینه‌سازی ساخت فایل‌های اجرایی با ساده‌سازی نمودار ساخت و بهینه‌سازی تعداد وابستگی‌ها گذاشتیم. این روش به طور قابل توجهی نیاز به ساختمان‌دهی گسترده را کاهش داده و سرعت کلی ساخت را بهبود بخشید.
یکی از موانع اصلی دیگری که با آن مواجه شدیم، بسته‌بندی و توزیع فایل‌های اجرایی بود. برای مقابله با این چالش، ما یک رویکرد تدریجی با استفاده از سیستم فایل قابل آدرس‌دهی محتوا (CAF) پیاده‌سازی کردیم. با اتخاذ رویکردی متأثر از محتوای CAF، این سیستم قادر است از برون‌ریزی‌های تکراری فایل‌هایی که در حافظه ذخیره محتوا قابل آدرس‌دهی (CAS) قرار دارند، عبور کند. این علاوه بر کاهش زمان بسته‌بندی، منجر به کاهش بار در هنگام دسترسی به فایل‌های اجرایی بزرگ نیز می‌شود.
برای افزایش کارایی سیستم CAF، ما شبکه دمونی‌های کمکی را در اکثر میزبان‌های مرکز داده‌مان راه‌اندازی کردیم. این دمون وظیفه نگهداری حافظه‌های محلی، تشکیل یک شبکه همتا به همراه سایر نمونه‌های دمون و بهینه‌سازی ارتباط با محتوا را برعهده دارد. با استفاده از این شبکه، ما می‌توانیم محتوا را مستقیماً از دیگر نمونه‌ها دریافت کنیم و از این راه، زمان تأخیر و ظرفیت پهنای باند ذخیره‌سازی را کاهش دهیم.
بر خلاف روش‌های سطح مبتنی بر لایه، مانند OverlayFS Docker، رویکرد ما بر دسترسی مستقیم به فایل و مسیریابی هوشمند متمایز تمرکز دارد. این امکان را به ما می‌دهد تا بتوانیم به طور کارآمد با وابستگی‌های متنوع در اجرایی‌های مختلف مدیریت نماییم بدون پیچیدگی سازمان لایه. به علاوه، با استفاده از Btrfs به عنوان سیستم فایل ما، از قابلیت‌های فشرده‌سازی و قابلیت نوشتن داده‌های ذخیره سازی فشرده به صورت مستقیم در قسمت‌ها بهره‌برداری می‌کنیم.
با مقابله با چالش‌های ساخت آهسته و ناسازگاری بسته‌بندی و توزیع فایل‌های اجرایی، ما مهندسان ML خود را قادر به کارآمدتر کار کردن و ارائه راه حل‌های نوآورانه کرده‌ایم. تمرکز ما بر کاهش ساختمانی مجدد، بهینه‌سازی مدیریت وابستگی و پیاده‌سازی یک روش بسته‌بندی تدریجی، منجر به صرفه‌جویی قابل توجه در زمان و بهبود بهره‌وری در فرآیند توسعه AI/ML شده است.
قسمت سوالات متداول:
س: چه چالش‌هایی توسط تیم در توسعه AI/ML مواجه شدند؟
ج: چالش‌هایی که تیم مواجه شده بود شامل زمان ساخت آهسته، ناسازگاری در بسته‌بندی و توزیع فایل‌های اجرایی و پیچیدگی مدیریت وابستگی‌های متنوع در اجرایی‌های مختلف بود.
س: تیم چگونه با ساختمان آهسته مقابله کرد؟
ج: تیم با ساده‌سازی نمودار ساخت و بهینه‌سازی تعداد وابستگی‌ها، ساخت آهسته را کاهش داد که منجر به بهبود کلی سرعت ساخت شد.
س: تیم چگونه به بسته‌بندی و توزیع فایل‌های اجرایی رسید؟
ج: تیم یک رویکرد تدریجی با استفاده از سیستم فایل قابل آدرس‌دهی محتوا (CAF) پیاده‌سازی کرد که برون‌ریزی‌های تکراری فایل‌هایی که در حافظه ذخیره محتوا قابل آدرس‌دهی (CAS) قرار دارند، را کاهش می‌دهد. این روش به طور همزمان باعث کاهش زمان بسته‌بندی و کاهش هزینه هنگام دسترسی به فایل‌های اجرایی بزرگ می‌شود.
س: هدف از استقرار دمون CAS در میزبان‌های مرکز داده چیست؟
ج: دمون CAS مسئول نگهداری حافظه محلی، تشکیل یک شبکه همتا با دیگر نمونه‌های دمون و بهینه‌سازی ارتباط با محتوا می‌باشد. این امکان را فراهم می‌کند تا به طور مستقیم از دیگر نمونه‌ها محتوا را دریافت کرده و باعث کاهش زمان تاخیر و ظرفیت پهنای باند ذخیره‌سازی شود.
س: تیم چگونه وابستگی‌ها را بدون پیچیدگی سازمان لایه مدیریت می‌کند؟
ج: در مقابل روش‌های سنتی، تیم بر دسترسی مستقیم به فایل و مسیریابی هوشمندی متمایز تمرکز می‌کند. این رویکرد امکان مدیریت کارآمد وابستگی‌های متنوع در اجرایی‌های مختلف را بدون پیچیدگی سازمان لایه فراهم می‌کند.
س: تیم از چه فایل سیستمی استفاده می‌کند و چه مزایایی دارد؟
ج: تیم از Btrfs به عنوان فایل سیستم خود استفاده می‌کند که از قابلیت فشرده‌سازی و توانایی نوشتن داده‌های ذخیره‌سازی فشرده به صورت مستقیم در قسمت‌ها بهره‌برداری می‌کند. این قابلیت‌ها کارایی و قابلیت‌های ذخیره‌سازی را بهبود می‌بخشد.
The source of the article is from the blog maltemoney.com.br