Greitai kintančiame mašininio mokymo/dirbtinio intelekto vystymo pasaulyje labai svarbu turėti infrastruktūrą, kuri galėtų atlaikyti mašininio mokymo inžinierių poreikius. Lėtos plėtros ir nesąmoningų vykdomų failų pakavimo ir paskirstymo metu galimi efektyvumo stokos ir vertingo laiko švaistymo atvejai.
Norėdami spręsti šiuos iššūkius, mūsų komanda ėmėsi proaktyvių priemonių, kad sumažintų lėtą plėtros procesą ir nesąmoningus failų pakavimo ir paskirstymo efektyvumo stokas, rezultatu pasiekiant reikšmingą viršutinės sistemos apkrovos sumažėjimą ir didinant efektyvumą.
Vietoj pasikliaunant senais pakeitimais, kuriems reikalingas pakartotinis statymas ir nuorodų suderinimas, mes sutelkėme dėmesį į minimalius statymus, peržiūrėdami statymo grafiką ir optimizuodami priklausomybių skaičių. Šis požiūris ženkliai sumažino poreikį atlikti išsamų statymą ir pagerino bendrą statymo greitį.
Kitas didelis iššūkis, su kuriuo susidūrėme, buvo vykdomųjų failų pakavimas ir paskirstymas. Norėdami įveikti šį iššūkį, įgyvendinome inkrementinį požiūrį naudodami turinio adresuojamą failų sistemą (CAF). Pritaikant turinio sąmoningą požiūrį, CAF intuityviai praleidžia pakartotinius failų įkėlimus, kurie jau yra turinio adresuojamoje saugykloje (CAS). Tai ne tik sumažina pakavimo laiką, bet ir mažina atsiuntimo sukrovimą, esant dideliems vykdomiems failams.
Norint pagerinti CAF sistemos efektyvumą, mes įdiegėme CAS demoną daugumai mūsų duomenų centro priemonių. Šis daemonas yra atsakingas už vietines talpyklas, organizuoja vienos su kitomis CAS demono paskirstymo priemones ir optimizuoja turinio gavimą. Išnaudojant šią tinklo struktūrą, galime tiesiogiai gauti turinį iš kitų pavyzdžių, sumažinant nuolatinės atminties ir saugyklos talpos užimtumą.
Skirtingai nei tradicinės sluoksniu pagrįstos sprendimai, pavyzdžiui, Dockeris su OverlayFS, mūsų požiūris prioritetą teikia tiesioginiam failų prieigai ir protingam afinitetų maršrutizavimui. Tai leidžia mums efektyviai valdyti įvairias priklausomybes tarp daugybės vykdomųjų failų be sudėtingos sluoksnių organizavimo schemos. Be to, naudodami „Btrfs” kaip mūsų failų sistemą, mes gauname naudos iš jos suspaudimo galimybių ir galimybės tiesiogiai įrašyti suspaustus saugojimo duomenis į išpėjimų.
Spręsdami lėto plėtros proceso ir neefektyvaus vykdomųjų failų pakavimo ir paskirstymo iššūkius, suteikėme mūsų mašininio mokymo inžinieriams galimybę dirbti efektyviau ir pristatyti aukšto lygio sprendimus. Mūsų dėmesys šiek tiek peratrūko statymo proceso mažinant, priklausomybių valdymo optimizavimui ir įdiegusiai inkrementaliai pakavimo sistemai, kas rezultavo reikšmingu laiko taupymu ir padidėjusia produktyvumu mašininio mokymo/dirbtinio intelekto vystymo procese.
Dažnai Užduodami Klauskimai:
K: Kokie iššūkiai kildavo komandai mašininio mokymo/dirbtinio intelekto srityje?
A: Komandai iškilę iššūkiai apėmė lėtą plėtros procesą, neefektyvius vykdomųjų failų pakavimo ir paskirstymo metodus bei vienoje sistemoje tvarkyti sudėtingas priklausomybes keliuose vykdomuosiuose failuose.
K: Kaip komanda susitvarkė su lėtu plėtros procesu?
A: Komanda sumažino lėto plėtros laiką, peržiūrėdama plėtros grafiką ir optimizuodama priklausomybių skaičių, kuris sumažino poreikį išsamiam plėtros procesui ir pagerino bendrą plėtros greitį.
K: Kaip komanda susidorėjo su vykdomųjų failų pakavimu ir paskirstymu?
A: Komanda įgyvendino inkrementinį požiūrį, naudodama turinio adresuojamą failų sistemą (CAF), kuri intuityviai praleido pakartotinai įkeliamus failus, esančius turinio adresuojamoje saugykloje (CAS). Tai sumažino pakavimo laiką ir atsiuntimo sukrovimą.
K: Kokiu tikslu duomenų centro priemonėse buvo įdiegtas CAS demonas?
A: CAS demonas yra atsakingas už vietines talpyklas, organizuoja vienos su kitomis CAS demono paskirstymo priemones ir optimizuoja turinio gavimą. Tai leidžia tiesiogiai gauti turinį iš kitų pavyzdžių, sumažinant atsilikimo laiką ir saugyklos talpos užimtumą.
K: Kaip komanda tvarko priklausomybes be kompleksinės sluoksnių organizavimo schemos?
A: Skirtingai nei tradiciniai sprendimai, komanda tiesiogiai prieina prie failų ir inteligentiai nukreipia priklausomybes, pirmenybę teikdama tiesioginiam failų prieigai ir protingam afinitetų maršrutizavimui, o ne sluoksniu pagrįstiems sprendimams kaip Dockerio OverlayFS. Šiuo būdu efektyviai tvarkomi įvairūs priklausomybių klausimai tarp daugybės vykdomųjų failų.
K: Kokia failų sistema komanda naudoja ir kokios naudos ji teikia?
A: Komanda naudoja „Btrfs” kaip savo failų sistemą, kuri suteikia suspaudimo galimybes ir galimybę tiesiogiai įrašyti suspaustus saugojimo duomenis į išplečiamuosius skirsnius. Tai pagerina efektyvumą ir saugojimo talpyklų galimybes.
Apibrėžimai:
– IA/MM: Tarptautinės Aviacijos/Mašininio Mokymo apibrėžimas, apie algoritmus ir modelius, leidžiantis kompiuteriams atlikti užduotis be aiškaus nurodymo.
– MM inžinieriai: Kompiuterijos specialistai, specializuoti mašininio mokymo srityje, kurie kūriai, įgyvendina ir optimizuoja MM algoritmus ir modelius.
– Perstatymai: Programinės įrangos ar kodų atkūrimo procesas.
– Pakavimas: Programinės įrangos pasirengimas paskirstymui, iš anksto susidėliojant failus ir priklausomybes.
– Turinio adresuojamoji failų sistema (CAF): Failų sistema, kuri identifikuoja failus pagal jų turinį, o ne pagal vietą ar pavadinimą, tai leidžia efektyviai saugoti ir ieškoti duomenis.
– Turinio adresuojama saugykla (CAS): Saugojimo sistema, kurioje turinys identifikuojamas naudojant unikalius identifikatorius, palengvinantis dublikavimą ir efektyvų duomenų gavimą.
– Priklausomybė: Programinės įrangos komponentas ar biblioteka, nuo kurios priklauso kitas programinės įrangos veikimas.
– Atsilikimas (Latency): Laiko delsimas, pradedant užklausą ir gaudant atsakymą.
– Talpa (Bandwidth): Didžiausia duomenų perdavimo greitis tam tikroje kelyje ar tinklo struktūroje.
– Btrfs: Kopijavimo rašymo failų sistema, skirta „Linux” operacinei sistemai, kuri suteikia funkcijas kaip nuotraukų kūrimas, poaplankiai, suspaudimas ir išplečiamumas.
The source of the article is from the blog scimag.news