Ātrā tempā mainīgajā mašīnmācības un mākslīgā intelekta attīstības pasaulē ir būtiski, lai infrastruktūra spētu līdzi tās pieprasījumiem. Lēnas veidošanas laiki un neefektīvas paku un izpildes failu sadalīšanas process var kavēt produktivitāti un izšķiest dārgu laiku.
Lai risinātu šīs izaicinājumus, mūsu komanda veica pasākumus, lai novērstu lēnas veidošanas un paku neefektivitātes problēmas, kas noveda pie ievērojama izmaksu samazinājuma un efektivitātes uzlabojuma rezultātiem.
Tā vietā, lai balstītos uz veciem pārskatiem, kas prasa atkārtotu veidošanu un saistīšanu, mēs koncentrējāmies uz pārbūvēm, vienkāršojot būvniecības grafiku un optimizējot atkarību skaitu. Šis pieeja ievērojami samazināja nepieciešamību pēc plašākas pārbūves un uzlaboja kopējo veidošanas ātrumu.
Vēl viena nozīmīga problēma, ar kuru saskārāmies, bija izpildes failu paku un sadalīšanas process. Lai pārvarētu šo izaicinājumu, mēs ieviesām inkrementālu pieeju, izmantojot Satura adresējamo failu sistēmu (CAF). Pielāgojoties saturam, CAF gudri izlaiž dublētas augšupielādes, ja faili jau ir esoši saturam adresējamajā krātuvē (CAS). Tas ne tikai samazina pakuvei piešķirto laiku, bet arī samazina iegūšanas laiku, kad ir jāsaskaras ar lieliem izpildes failiem.
Lai uzlabotu CAF sistēmas efektivitāti, mēs izvietojām CAF dēmonu lielākajā daļā mūsu datu centra resursu. Šis dēmons ir atbildīgs par vietējo kešatmiņu uzturēšanu, savstarpējās saziņas tīkla organizēšanu ar citiem CAF dēmonu piemēriem un satura iegūšanas optimizēšanu. Izmantojot šo tīklu, mēs varam tieši iegūt saturu no citiem piemēriem, kas samazina aizkave un krātuvju joslplūsmas jaudu.
Atšķirībā no tradicionāliem slāņu risinājumiem, piemēram, Docker kasēm OverlayFS, mūsu pieeja prioritizē tiešu piekļuvi failiem un gudru pielaidi maršrutēšanai. Tas mums ļauj efektīvi pārvaldīt dažādas atkarības vairāku izpildes failu kontekstā bez slāņu organizācijas sarežģītības. Turklāt, izmantojot Btrfs kā mūsu failu sistēmu, mēs iegūstam tās saspiešanas iespējas un spēju tieši rakstīt saspiešanas datu uzstādījumus.
Adresējot lēno veidošanu un neefektīvu izpildes failu pakavēšanu un sadali, mēs esam ļāvuši mūsu mašīnmācības inženieriem darboties efektīvāk un sniegt jaunākās tehnoloģijas balstītas risinājumus. Mūsu koncentrācija uz pārbūvi samazināšanu, atkarību pārvaldības optimizēšanu un inkrementālas pakavēšanas risinājuma ieviešanu ir novedusi pie ievērojama laika ietaupījuma un uzlabotas produktivitātes mašīnmācības un mākslīgā intelekta attīstības procesā.
Biežāk uzdoti jautājumi:
J: Ar ko saskārās komanda mašīnmācības un mākslīgā intelekta attīstībā?
A: Komanda saskārās ar lēnām veidošanām, neefektīvu izpildes failu pakavēšanu un sadali, kā arī dažādo atkarību pārvaldības sarežģītību vairāku izpildes failu kontekstā.
J: Kā komanda risināja lēnu veidošanu?
A: Komanda risināja lēno veidošanu, vienkāršojot būvniecības grafiku un optimizējot atkarību skaitu, kas samazināja nepieciešamību pēc plašākas pārbūves un uzlaboja kopējo veidošanas ātrumu.
J: Kā komanda risināja izpildes failu pakavēšanu un sadali?
A: Komanda ieviesa inkrementālu pieeju, izmantojot Satura adresējamo failu sistēmu (CAF), kas gudri izlaiž dublētas augšupielādes, ja faili jau ir esoši saturam adresējamajā krātuvē (CAS). Tas samazina pakavēšanas laiku un minimizē iegūšanas izmakas.
J: Kāda ir CAS dēmona uzdevums, kas ir izvietots datu centros?
A: CAS dēmons ir atbildīgs par vietējo kešatmiņu uzturēšanu, savstarpējā tīkla organizēšanu ar citiem CAS dēmonu piemēriem un satura iegūšanas optimizēšanu. Tas ļauj tieši iegūt saturu no citiem piemēriem, samazinot aizkavi un krātuvju joslplūsmas jaudu.
J: Kā komanda pārvalda atkarības bez slāņu organizācijas sarežģītības?
A: Atšķirībā no tradicionālajiem risinājumiem, komanda prioritizē tiešu failu piekļuvi un gudu pielaidi maršrutēšanai, nevis slāņu risinājumus, piemēram, Docker kasēm OverlayFS. Šī pieeja ļauj efektīvi pārvaldīt dažādas atkarības vairāku izpildes failu kontekstā.
J: Kādu failu sistēmu izmanto komanda un kādas priekšrocības tā piedāvā?
A: Komanda izmanto Btrfs kā savu failu sistēmu, kas nodrošina saspiešanas iespējas un spēju tieši rakstīt saspiešanas datu uzstādījumus. Tas uzlabo efektivitāti un uzglabāšanas spējas.
Definīcijas:
– AI/ML: Nozīmē Mākslīgā intelekta/Mašīnmācība un attiecas uz algoritmu un modeļu attīstību un pielietošanu, kas ļauj datoriem veikt uzdevumus bez skaidriem norādījumiem.
– Mašīnmācības inženieri: Atsaucas uz inženieriem, kuri ir specializējušies Mašīnmācībā, un kas izstrādā, ievieš un optimizē mašīnmācības algoritmus un modeļus.
– Pārbūves: Programmatūras vai koda atkārtota atjaunošana vai pārbūve.
– Pakošana: Programmatūras sagatavošanas process izplatīšanai, iekļaujot to kopā ar attiecīgām failu un atkarību kopām.
– Satura adresējamā failu sistēma (CAF): Failu sistēma, kas identificē failus atbilstoši to saturam, nevis atrašanās vietai vai nosaukumam, ļaujot efektīvu glabāšanu un izgūšanu.
– Satura adresējamā krātuve (CAS): Krātuve, kas izmanto un atsaucas uz saturu, izmantojot unikālus identifikatorus, kas vienkāršo dati atkārtotas glabāšanas izmaksas un nodrošina efektīvu datu izgūšanu.
– Atkarība: Programmatūras komponents vai bibliotēka, no kuras cita programmatūra atkarīga, lai darbotos pareizi.
– Aizture: Laika aizkave starp pieprasījuma sākumu un atbildes saņemšanu.
– Joslplūsma: Maksimālais datu pārsūtīšanas ātrums konkrētā ceļā vai tīklā.
– Btrfs: Linux operētājsistēmas kopiju izveides failsistēma, kas nodrošina iespējas kā attēla izveide, apakšdatnes, saspiešana un mērogojamība.
Saistītie saites:
– Izplatītā reaktīvā programmēšana
– Amazon Mašīnmācība
– Efektīva izkliedēta mašīnmācība: vienas mezgla perspektīva
[iedarbināt]https://www.youtube.com/embed/8Dph6ki1TJc[/embed]
The source of the article is from the blog meltyfan.es