I den hurtigtudviklende verden af AI/ML-udvikling er det afgørende at have en infrastruktur, der kan følge med kravene fra ML-ingeniører. Langsomme opbygningstider og ineffektivitet i pakning og distribution af udførelsesfiler kan hindre produktiviteten og spilde værdifuld tid.
For at imødegå disse udfordringer tog vores team proaktive skridt til at løse langsom opbygning og ineffektivitet i pakning, hvilket resulterede i en betydelig reduktion af unødig arbejdsbyrde og forbedret effektivitet.
I stedet for at stole på forældede revisioner, der kræver gentagne opbygninger og linkninger, fokuserede vi på at minimere ombygninger ved at strømline opbygningsgrafen og optimere afhængighedstællingerne. Denne tilgang reducerede markant behovet for omfattende ombygninger og forbedrede den samlede opbygningstid.
Et andet stort hinder, vi stod over for, var pakning og distribution af udførelsesfiler. For at overvinde denne udfordring implementerede vi en inkrementel tilgang ved hjælp af Content Addressable Filesystem (CAF). Ved at vedtage en indholdsbevidst tilgang springer CAF intelligent over unødvendige overførsler af filer, der allerede er til stede i det indholdsafhængige lager (CAS). Dette reducerer ikke kun pakketiden, men minimerer også hentningsarbejde, når der arbejdes med store udførelsesfiler.
For at forbedre effektiviteten af CAF-systemet implementerede vi en CAS-dæmon på størstedelen af vores datacenter-værter. Denne dæmon er ansvarlig for at opretholde lokale caches, organisere et peer-to-peer-netværk med andre CAS-dæmon-instanser og optimere indholdshentning. Ved at udnytte dette netværk kan vi direkte hente indhold fra andre instanser og derved reducere ventetid og behovet for opbevaringsbåndbreddekapacitet.
I modsætning til traditionelle lagbaserede løsninger, som f.eks. Docker’s OverlayFS, prioriterer vores tilgang direkte filadgang og intelligent affinitetsrouting. Dette gør det muligt for os at håndtere forskellige afhængigheder på tværs af flere udførelsesfiler effektivt uden kompleksiteten ved lagorganisering. Derudover gør vi brug af Btrfs som vores filsystem og drager fordel af dets komprimeringsevner og evne til at skrive komprimerede lagringsdata direkte til udstrækninger.
Ved at tackle udfordringerne med langsomme opbygninger og ineffektiv pakning og distribution af udførelsesfiler har vi givet vores ML-ingeniører mulighed for at arbejde mere effektivt og levere topmoderne løsninger. Vores fokus på at reducere ombygninger, optimere afhængighedshåndtering og implementere en inkrementel pakningsløsning har resulteret i betydelige tidsbesparelser og forbedret produktivitet i vores AI/ML-udviklingsproces.
FAQ-sektion:
Sp: Hvad var udfordringerne, som teamet stod over for i AI/ML-udvikling?
Sv: Udfordringerne, som teamet stod over for, inkluderede langsomme opbygningstider, ineffektivitet i pakning og distribution af udførelsesfiler samt kompleksiteten ved at håndtere forskellige afhængigheder på tværs af flere udførelsesfiler.
Sp: Hvordan løste teamet problemet med langsomme opbygninger?
Sv: Teamet håndterede langsomme opbygninger ved at strømline opbygningsgrafen og optimere afhængighedstællingerne, hvilket reducerede behovet for omfattende ombygninger og forbedrede den samlede opbygningstid.
Sp: Hvordan tackler teamet pakning og distribution af udførelsesfiler?
Sv: Teamet implementerede en inkrementel tilgang ved at bruge Content Addressable Filesystem (CAF), som intelligent springer over unødvendige overførsler af filer, der allerede findes i det indholdsafhængige lager (CAS). Dette reducerer pakketiden og minimerer hentningsarbejdet.
Sp: Hvad er formålet med CAS-dæmonen implementeret på datacenter-værterne?
Sv: CAS-dæmonen er ansvarlig for at opretholde lokale caches, organisere et peer-to-peer-netværk med andre CAS-dæmon-instanser og optimere indholdshentning. Den tillader direkte hentning af indhold fra andre instanser, hvilket reducerer ventetid og behovet for opbevaringsbåndbreddekapacitet.
Sp: Hvordan håndterer teamet afhængigheder uden kompleksiteten ved lagorganisering?
Sv: I modsætning til traditionelle løsninger prioriterer teamet direkte filadgang og intelligent affinitetsrouting i stedet for lagbaserede løsninger som Docker’s OverlayFS. Denne tilgang gør det muligt at håndtere forskellige afhængigheder på tværs af flere udførelsesfiler effektivt.
Sp: Hvad er filsystemet, som teamet bruger, og hvilke fordele tilbyder det?
Sv: Teamet bruger Btrfs som deres filsystem, der tilbyder komprimeringsevner og evnen til at skrive komprimerede lagringsdata direkte til udstrækninger. Dette forbedrer effektiviteten og lagringskapaciteten.
Definitioner:
– AI/ML: Står for kunstig intelligens/maskinlæring og henviser til udvikling og anvendelse af algoritmer og modeller, der tillader computere at udføre opgaver uden eksplicitte instruktioner.
– ML-ingeniører: Henviser til ingeniører, der er specialiseret i maskinlæring og udvikler, implementerer og optimerer ML-algoritmer og modeller.
– Ombygninger: Processen med at genskabe eller ombygge softwaren eller koden.
– Pakning: Processen med at forberede softwaren til distribution ved at pakke den sammen med relevante filer og afhængigheder.
– Content Addressable Filesystem (CAF): Et filsystem, der identificerer filer baseret på deres indhold i stedet for deres placering eller navn, hvilket muliggør effektiv lagring og hentning.
– Content Addressable Storage (CAS): Et lagersystem, hvor indhold refereres og identificeres ved hjælp af unikke identifikatorer, der letter duplikering og effektiv hentning af data.
– Afhængighed: En softwarekomponent eller et bibliotek, som en anden software er afhængig af for at kunne køre korrekt.
– Ventetid: Tidsforsinkelsen mellem initiering af en anmodning og modtagelse af et svar.
– Båndbredde: Den maksimale hastighed for dataoverførsel på en given sti eller i et netværk.
– Btrfs: Et copy-on-write-filsystem til Linux, der giver funktioner som snapshotting, subvolumener, komprimering og skalering.
Relaterede links:
– Distributed Reactive Programming
– Amazon Machine Learning
– Effektiv distribueret maskinlæring: Enkelt nodes perspektiv
The source of the article is from the blog aovotice.cz