Kiiretempolises tehisintellekti/masinõppe arenduses on oluline omada infrastruktuuri, mis suudaks vastu tulla masinõppe inseneride nõudmistele. Aeglased ehitusajad ja pakendamise ning levitamise failide ebatõhusus võivad takistada tootlikkust ja raisata väärtuslikku aega.
Nendele väljakutsetele vastamiseks võttis meie meeskond ette proaktiivseid meetmeid aeglase ehituse ja pakendamise probleemide lahendamiseks, mis viisid olulise ülekoormuse vähendamiseni ja tõhususe suurenemiseni.
Selle asemel, et tugineda vananenud lähtekoodi versioonidele, mis nõuavad korduvat ülesehitamist ja seostamist, keskendusime ülesehituse graafiku optimeerimisele ja sõltuvuste arvu vähendamisele. See lähenemisviis vähendas oluliselt vajadust põhjaliku ümberstruktureerimise järele ning parandas kogu ehituskiirust.
Teine suur takistus oli failide pakendamine ja levitamine. Selle väljakutse ületamiseks rakendasime järkjärgulist lähenemist, kasutades sisu-põhist failisüsteemi (CAF). Sisu-põhine lähenemine võimaldab CAF-il vahele jätta korduvaid failide üleslaadimisi, mis on juba sisu-põhises salvestamiskohas (CAS) olemas. See vähendab mitte ainult pakendamise aega, vaid vähendab ka suurte täitmisfailidega tegelemisel kaaslülituse ülekoormust.
CAF-süsteemi tõhususe suurendamiseks paigutasime enamikule meie andmekeskuse hostidest CAF-daemoni. See daemon vastutab kohalike vahemälude säilitamise, peer-to-peer-võrgu korraldamise teiste CAF-daemoni eksemplaridega ning sisu hankimise optimeerimise eest. Selle võrgu kasutamine võimaldab meil saada sisu otse teistest eksemplaridest, vähendades viivitust ja salvestusribalaiust.
Erinevalt traditsioonilistest kihil põhinevatest lahendustest, nagu Dockeri OverlayFS, meie lähenemine eelistab otsest faili juurdepääsu ja nutikat suunamist. See võimaldab meil tõhusalt haldada erinevaid sõltuvusi mitme täitmisfaili osas ilma kihilise korralduse keerukuseta. Lisaks kasutame oma failisüsteemina Btrfs-i, mis pakub tihendamise võimalusi ja võimekust kirjutada tihendatud salvestusandmeid otse lõikudesse.
Aeglase ehituse, ebatõhusa failide pakendamise ja levitamise väljakutsetega tegelemise kaudu oleme võimaldanud meie masinõppe inseneridel töötada tõhusamalt ja pakkuda tipptasemel lahendusi. Meie fookus ülesehituste vähendamisel, sõltuvuste haldamise optimeerimisel ja järkjärgulise pakendamise lahenduse rakendamisel on toonud kaasa märkimisväärse ajakulu kokkuhoiu ja suurenenud tootlikkuse meie tehisintellekti/masinõppe arendusprotsessis.
Korduma Kippuvad Küsimused:
K: Millised olid AI/ML arenduse meeskonna väljakutsed?
V: Meeskonna väljakutsed hõlmasid aeglaseid ehitusaegu, pakendamise ja levitamise failide ebamõistlikkust ning keerukust mitmete täitmisfailide erinevate sõltuvuste haldamisel.
K: Kuidas meeskond aeglasi ehitusi lahendas?
V: Meeskond lahendas aeglased ehitused, optimeerides ehitusgraafikut ja sõltuvuste arvu, mis vähendas vajadust põhjaliku ümberstruktureerimise järele ja parandas kogu ehituskiirust.
K: Kuidas meeskond lahendas failide pakkendamise ja levitamise?
V: Meeskond rakendas järkjärgulist lähenemist, kasutades sisu-põhine failisüsteemi (CAF), mis vahele jätab korduvad failide üleslaadimised, mis on juba olemas sisu-põhises salvestuskohas (CAS). See vähendab pakendamise aega ja minimeerib hankimise ülekoormust.
K: Mis on datakeskusesse paigaldatud CAS-daemoni eesmärk?
V: CAS-daemon vastutab kohalike vahemälude säilitamise, peer-to-peer-võrgu korraldamise teiste CAS-daemoni eksemplaridega ja sisu hankimise optimeerimise eest. See võimaldab otseteid sisu hankimiseks muudest eksemplaridest, vähendades viivitust ja salvestusribalaiust.
K: Kuidas meeskond hallab sõltuvusi ilma kihilise korralduse keerukuseta?
V: Erinevalt traditsioonilistest lahendustest eelistab meeskond otsest faili juurdepääsu ja nutikat suunamist kihil põhinevate lahenduste asemel, nagu Dockeri OverlayFS. See lähenemine võimaldab tõhusat mitmete täitmisfailide erinevate sõltuvuste haldamist.
K: Millist failisüsteemi kasutab meeskond ja milliseid eeliseid see pakub?
V: Meeskond kasutab oma failisüsteemina Btrfs-i, mis pakub tihendamise võimekust ja võimalust kirjutada tihendatud salvestusandmeid otse lõikudesse. See tõhustab efektiivistust ja salvestusvõimekusi.
Mõisted:
– AI/ML: Lühend tähendab “Artificial Intelligence/Machine Learning” (tehisintellekt/masinõppe), mis viitab algoritmide ja mudelite arendamisele ning rakendamisele, mis võimaldavad arvutitel ülesandeid täita ilma eksplitsiitsete juhiste puudumiseta.
– Masinõppe insenerid: Viitab inseneridele, kes on spetsialiseerunud masinõppele ja arendavad, rakendavad ja optimeerivad masinõppe algoritme ja mudeleid.
– Ümberehitused: Tarkvara või koodi ümberkonstrueerimise protsess.
– Pakendamine: Tarkvara ettevalmistamise protsess levitamiseks, pakkides selle vastavate failide ja sõltuvustega.
– Sisu-põhine failisüsteem (CAF): Failisüsteem, mis tuvastab faile nende sisu, mitte asukoha või nime põhjal ning võimaldab tõhusat salvestamist ja taastamist.
– Sisu-põhine salvestus (CAS): Salvestussüsteem, kus sisule viidatakse ja see tuvastatakse unikaalsete identifikaatorite abil, võimaldades tõhusat dubleerimise vähendamist ja andmete tõhusa hankimise.
– Sõltuvus: Tarkvarakomponent või raamatukogu, millele muu tarkvara toetub korrektseks töötamiseks.
– Viideviivitus: Ajaline viivitus päringu algatamise ja vastuse saamise vahel.
– Ribalaius: Maksimaalne andmete edastuskiirus teatud teekonnal või võrgus.
– Btrfs: Linuxi jaoks mõeldud kopeeriva-ja-kirjutava lahendusena pakutav failisüsteem, mis pakub funktsioone nagu pildistamine, alamhulgate, tihendamine ja skaleeritavus.
Seotud lingid:
– Hajutatud reaktiivne programmeerimine
– Amazoni masinõpe
– Tõhus hajutatud masinõpe: ühe sõlme vaatenurk
The source of the article is from the blog xn--campiahoy-p6a.es