У швидкозмінному світі розробки штучного інтелекту/машинного навчання критично важливо мати інфраструктуру, яка може відповідати вимогам інженерів з машинного навчання. Повільні часи компіляції та недоцільність у пакуванні та розподілі виконуваних файлів можуть гальмувати продуктивність та витрачати цінний час.
Щоб вирішити ці проблеми, наша команда вжила активних заходів, щоб впоратися зі повільною компіляцією та неефективністю у пакуванні, що привело до значного зменшення накладних витрат та поліпшення ефективності.
Замість того, щоб покладатися на застарілі версії, що вимагають повторної компіляції та зв’язку, ми сконцентрувалися на мінімізації зборок, спрощенні графа збирання та оптимізації підрахунку залежностей. Цей підхід значно зменшив потребу у величезних зборках та поліпшил загальну швидкість компіляції.
Ще одним великим викликом, з яким ми зіткнулися, було пакування та розподіл виконуваних файлів. Щоб подолати ці труднощі, ми впровадили інкрементний підхід, використовуючи файлову систему з адресуванням за вмістом (CAF). Використовуючи свідомий контентний підхід, CAF інтелектуально пропускає зайві завантаження файлів, які вже присутні в системі з адресуванням за вмістом (CAS). Це не тільки зменшує час упаковки, але і мінімізує накладні витрати при роботі з великими виконуваними файлами.
Для покращення ефективності системи CAF ми розгорнули демона CAS на більшості хостів нашого центру обробки даних. Цей демон відповідає за утримання локального кешу, організацію мережі з іншими екземплярами демона CAS та оптимізацію відправки вмісту. Завдяки цій мережі ми можемо безпосередньо отримувати контент з інших екземплярів, що зменшує латентність і потужність пропускання зберігання.
У відміну від традиційних рішень на основі шарів, таких як OverlayFS в Docker, наш підхід надає перевагу прямому доступу до файлів та розумному маршрутизації нахилів. Це дозволяє нам ефективно управляти різноманітними залежностями між кількома виконуваними файлами без складності організації шарів. Крім того, використовуючи Btrfs як файлову систему, ми користуємося його можливостями стиснення та здатністю записувати стислі дані зберігання безпосередньо на розширення.
Надаючи відповідь на виклики повільних збірок, неефективного пакування та розподілу виконуваних файлів, ми надали нашим інженерам з машинного навчання можливість працювати більш ефективно та поставити на ринок передові рішення. Наша увага до зменшення числа повторних збірок, оптимізації управління залежностями та впровадження інкрементного пакувального рішення призвела до значних зекономлень часу та поліпшення продуктивності в процесі розробки систем штучного інтелекту/машинного навчання.
Часто задавані питання:
П: Які проблеми стояли перед командою в розробці ШІ/МО?
В: До проблем, які стояли перед командою, належали повільні часи компіляції, недоцільність у пакуванні та розподілі виконуваних файлів та складності управління різноманітними залежностями між кількома виконуваними файлами.
П: Як команда впоралася з повільними компіляціями?
В: Команда зайнялася повільними компіляціями, спрощуючи граф збирання та оптимізуючи підрахунок залежностей, що зменшило потребу у повторних збирах та поліпшило загальну швидкість компіляції.
П: Як команда вирішувала проблему упаковки та розподілу виконуваних файлів?
В: Команда впровадила інкрементний підхід, використовуючи файлову систему з адресуванням за вмістом (CAF), яка розумно пропускає зайві завантаження файлів, що вже присутні у системі з адресуванням за вмістом (CAS). Це зменшує час упаковки та мінімізує накладні витрати при роботі з великими виконуваними файлами.
П: Яка мета має демон CAS, розгорнутий на хостах центру обробки даних?
В: Демон CAS відповідає за утримання локального кешу, організацію пір-до-піру мережі з іншими екземплярами демона CAS і оптимізацію отримання вмісту. Він дозволяє безпосередньо отримувати вміст з інших екземплярів, зменшуючи латентність і пропускну здатність зберігання.
П: Як команда керує залежностями без складності організації шарів?
В: Наш підхід відрізняється від традиційних рішень, і ми надаємо перевагу прямому доступу до файлів та розумній маршрутизації нахилів, а не рішенням на основі шарів, як OverlayFS в Docker. Цей підхід дозволяє нам ефективно управляти різноманітними залежностями між кількома виконуваними файлами.
П: Яку файлову систему використовує команда і які переваги вона надає?
В: Команда використовує Btrfs як свою файлову систему, яка надає можливості стиснення та можливість безпосередньо записувати стислі дані зберігання на розширення. Це покращує ефективність та можливості зберігання.
Визначення:
– ШІ/МО: Скорочення від Штучний Інтелект/Машинне Навчання, відноситься до розробки та застосування алгоритмів та моделей, що дозволяють комп’ютерам виконувати завдання без явних інструкцій.
– Інженери з машинного навчання: Відноситься до інженерів, спеціалізованих у машинному навчанні, які розробляють, реалізовують та оптимізують алгоритми та моделі машинного навчання.
– Перебудови: Процес відновлення або поновлення програмного забезпечення чи коду.
– Пакування: Процес підготовки програмного забезпечення для розподілу, пакетуючи його разом зі відповідними файлами та залежностями.
– Файлова система з адресуванням за вмістом (CAF): Файлова система, що ідентифіку
The source of the article is from the blog scimag.news