Vo svete rýchlo sa rozvíjajúceho strojového učenia a umelej inteligencie je nevyhnutné mať infraštruktúru, ktorá dokáže držať krok s požiadavkami inžinierov strojového učenia. Pomalé časy zostavovania a neefektívnosť pri balení a distribúcii vykonávacích súborov môžu brzdiť produktivitu a plytvať cenným časom.
Na riešenie týchto výziev sme sa naša tím aktívne pustil do boja proti pomalému zostavovaniu a neefektívnosti pri balení a dosiahli sme významné zníženie prebytku a zlepšenie efektivity.
Namiesto toho, aby sme sa spoliehali na zastarané revízie, ktoré vyžadujú opakované zostavovanie a prepojenie, zameriavali sme sa na minimalizáciu
znovuzostavovania pomocou zjednodušenia grafu zostavenia a optimalizácie počtu závislostí. Týmto prístupom sme výrazne znížili potrebu rozsiahleho zostavovania a zlepšili celkovú rýchlosť zostavovania.
Ďalšou veľkou prekážkou, ktorou sme sa museli vyrovnať, bolo balenie a distribúcia vykonávacích súborov. Na prekonanie tejto výzvy sme zaviedli postupný prístup pomocou Filesystemu s adresou obsahu (CAF). Tým, že sme prijali povedomý prístup k obsahu, CAF inteligentne preskočí zbytočné nahrávania súborov, ktoré už sú prítomné v CAS (content addressable storage). To nielenže znižuje čas balenia, ale aj minimalizuje režijné náklady pri práci s veľkými vykonávacími súbormi.
Aby sme zlepšili efektivitu systému CAF, nasadili sme CAS démona na väčšine hostiteľov našich dátových centier. Tento démon je zodpovedný za udržiavanie lokálnych vyrovnávacích pamätí, organizáciu peer-to-peer siete s inými inštanciami CAS démona a optimalizáciu sťahovania obsahu. Využitím tejto siete môžeme priamo sťahovať obsah z iných inštancií, čím sa znižuje latencia a kapacita šírky pásma úložiska.
Na rozdiel od tradičných vrstvových riešení, ako je napríklad Docker OverlayFS, naším prístupom je prioritizácia priameho prístupu k súborom a inteligentnému priradeniu presmerovania. Toto nám umožňuje efektívne spravovať rôzne závislosti medzi viacerými vykonateľnými súbormi bez zložitosti vrstvovej organizácie. Okrem toho využívame Btrfs ako náš súborový systém, čo nám prináša výhodu jeho schopnosti komprimácie a možnosti priamo zapisovať komprimované dáta úložiska do rozsahov.
Tým, že sme sa zaoberali výzvami spojenými s pomalým zostavovaním a neefektívnym balením a distribúciou vykonávacích súborov, sme umožnili našim inžinierom strojového učenia pracovať efektívnejšie a dodávať špičkové riešenia. Naša snaha o znižovanie počtu opakovaných zostavovaní, optimalizáciu správy závislostí a implementáciu postupného balenia priniesla v signifikantné časové úspory a zlepšenie produktivity v našom procese vývoja AI/ML.
Časté otázky:
Otázka: Aké výzvy čelil tím pri vývoji AI/ML?
Odpoveď: Tím čelil problémom s pomalým zostavovaním, neefektívnosťou pri balení a distribúcii vykonávacích súborov a komplexitou správy rôznych závislostí medzi viacerými vykonateľnými súbormi.
Otázka: Ako sa tím vysporiadal so pomalým zostavovaním?
Odpoveď: Tím sa vysporiadal so pomalým zostavovaním tak, že zjednodušil graf zostavenia a optimalizoval počet závislostí, čo znížilo potrebu rozsiahlych zostavovaní a zlepšilo celkovú rýchlosť zostavovania.
Otázka: Ako sa tím zaoberal balením a distribúciou vykonávacích súborov?
Odpoveď: Tím zaviedol postupné balenie pomocou Filesystemu s adresou obsahu (CAF), ktorý inteligentne preskakoval zbytočné nahrávania súborov prítomných v CAS (content addressable storage). Tým sa skrátil čas balenia a minimalizovali režijné náklady.
Otázka: Aký je účel CAS démona nasadeného v dátových centrách?
Odpoveď: CAS démon je zodpovedný za udržovanie lokálnych vyrovnávacích pamätí, organizáciu peer-to-peer siete s inými inštanciami CAS démona a optimalizáciu sťahovania obsahu. Um
The source of the article is from the blog publicsectortravel.org.uk