In der schnelllebigen Welt der KI/ML-Entwicklung ist es entscheidend, eine Infrastruktur zu haben, die den Anforderungen von ML-Ingenieuren gerecht wird. Langsame Build-Zeiten und Ineffizienzen bei der Verpackung und Verteilung von Ausführungsdateien können die Produktivität beeinträchtigen und wertvolle Zeit verschwenden.
Um diese Herausforderungen anzugehen, hat unser Team proaktive Maßnahmen ergriffen, um langsame Builds und ineffiziente Verpackungen gezielt anzugehen, was zu einer erheblichen Reduzierung des Overheads und einer verbesserten Effizienz geführt hat.
Anstelle veralteter Versionen, die wiederholt neu aufgebaut und verknüpft werden müssen, konzentrierten wir uns auf die Minimierung von Neuaufbauten durch Vereinfachung des Build-Graphen und Optimierung der Abhängigkeitszahlen. Dieser Ansatz reduzierte deutlich den Bedarf an umfangreichen Neuaufbauten und verbesserte die gesamte Build-Geschwindigkeit.
Eine weitere große Hürde bestand in der Verpackung und Verteilung von ausführbaren Dateien. Um diese Herausforderung zu bewältigen, haben wir einen inkrementellen Ansatz verwendet, bei dem das Content Addressable Filesystem (CAF) zum Einsatz kommt. Durch die Annahme eines inhaltsbewussten Ansatzes überspringt CAF intelligent redundante Uploads von bereits in den Content-Adressierbaren Speicher (CAS) hochgeladenen Dateien. Dies reduziert nicht nur die Verpackungszeit, sondern minimiert auch den Overhead beim Umgang mit großen ausführbaren Dateien.
Um die Effizienz des CAF-Systems zu verbessern, haben wir einen CAS-Daemon auf den meisten unserer Rechenzentrumshosts implementiert. Dieser Daemon ist dafür verantwortlich, lokale Caches zu verwalten, ein Peer-to-Peer-Netzwerk mit anderen CAS-Daemon-Instanzen zu organisieren und den Inhalt abzurufen zu optimieren. Durch die Nutzung dieses Netzwerks können wir den Inhalt direkt von anderen Instanzen abrufen, was die Latenzzeit und die Speicher-Bandbreitenkapazität reduziert.
Im Gegensatz zu traditionellen lagenbasierten Lösungen wie Docker’s OverlayFS priorisiert unser Ansatz den direkten Dateizugriff und intelligente Zielauswahl. Dies ermöglicht uns eine effiziente Verwaltung von verschiedenen Abhängigkeiten über mehrere ausführbare Dateien hinweg, ohne die Komplexität der Schichtorganisation. Zusätzlich nutzen wir Btrfs als unser Dateisystem und profitieren von seinen Komprimierungsfähigkeiten sowie der Möglichkeit, komprimierte Speicherdaten direkt in die Blöcke zu schreiben.
Durch die Lösung der Herausforderungen langsamer Builds und ineffizienter Verpackung und Verteilung von ausführbaren Dateien haben wir unseren ML-Ingenieuren ermöglicht, effizienter zu arbeiten und innovative Lösungen zu liefern. Unsere Schwerpunkte bei der Reduzierung von Neuaufbauten, der Optimierung der Abhängigkeitsverwaltung und der Implementierung einer inkrementellen Verpackungslösung haben zu erheblichen Zeitersparnissen und einer verbesserten Produktivität in unserem AI/ML-Entwicklungsprozess geführt.
FAQ Abschnitt:
F: Mit welchen Herausforderungen sah sich das Team in der AI/ML-Entwicklung konfrontiert?
A: Das Team sah sich Herausforderungen wie langsamen Build-Zeiten, Ineffizienzen bei der Verpackung und Verteilung von Ausführungsdateien und der Komplexität der Verwaltung von verschiedenen Abhängigkeiten über mehrere ausführbare Dateien hinweg gegenüber.
F: Wie hat das Team langsame Builds angegangen?
A: Das Team hat langsame Builds angegangen, indem es den Build-Graphen optimiert hat und die Abhängigkeitszahlen optimiert, was den Bedarf an umfangreichen Neuaufbauten reduziert und die gesamte Build-Geschwindigkeit verbessert hat.
F: Wie hat das Team das Verpacken und Verteilen von ausführbaren Dateien angegangen?
A: Das Team hat einen inkrementellen Ansatz unter Verwendung des Content Addressable Filesystems (CAF) implementiert, das redundante Uploads von Dateien, die bereits im Content-Adressierbaren Speicher (CAS) vorhanden sind, intelligent überspringt. Dadurch wird die Verpackungszeit reduziert und der Overhead beim Umgang mit großen ausführbaren Dateien minimiert.
F: Was ist der Zweck des CAS-Daemons, der auf den Rechenzentrumshosts eingesetzt wird?
A: Der CAS-Daemon ist dafür verantwortlich, lokale Caches zu verwalten, ein Peer-to-Peer-Netzwerk mit anderen CAS-Daemon-Instanzen zu organisieren und den Inhalt abzurufen zu optimieren. Dadurch wird der Inhalt direkt von anderen Instanzen abgerufen, was die Latenzzeit und die Speicher-Bandbreitenkapazität reduziert.
F: Wie verwaltet das Team Abhängigkeiten, ohne die Komplexität der Schichtorganisation?
A: Im Gegensatz zu traditionellen Lösungen priorisiert das Team den direkten Dateizugriff und intelligente Zielauswahl anstelle von lagenbasierten Lösungen wie Docker’s OverlayFS. Dies ermöglicht eine effiziente Verwaltung von verschiedenen Abhängigkeiten über mehrere ausführbare Dateien hinweg.
F: Welches Dateisystem verwendet das Team und welche Vorteile bietet es?
A: Das Team verwendet Btrfs als Dateisystem, das Komprimierungsfähigkeiten bietet und die Möglichkeit bietet, komprimierte Speicherdaten direkt in die Blöcke zu schreiben. Dadurch wird die Effizienz und Speicherfähigkeit verbessert.
Definitionen:
– KI/ML: Steht für Künstliche Intelligenz/Maschinelles Lernen und bezieht sich auf die Entwicklung und Anwendung von Algorithmen und Modellen, die es Computern ermöglichen, Aufgaben ohne explizite Anweisungen auszuführen.
– ML-Ingenieure: Bezeichnet Ingenieure, die auf maschinelles Lernen spezialisiert sind und ML-Algorithmen und -Modelle entwickeln, implementieren und optimieren.
– Neuaufbauten: Der Prozess der Rekonstruktion oder des Neuaufbaus von Software oder Code.
– Verpackung: Der Prozess der Vorbereitung von Software für die Verteilung durch Bündelung mit relevanten Dateien und Abhängigkeiten.
– Content Addressable Filesystem (CAF): Ein Dateisystem, das Dateien anhand ihres Inhalts anstelle ihres Speicherorts oder Namens identifiziert, was eine effiziente Speicherung und Abruf ermöglicht.
– Content Addressable Storage (CAS): Ein Speichersystem, bei dem der Inhalt mit eindeutigen Identifikatoren referenziert und identifiziert wird, was deduplizierung und effizientes Datenabrufen ermöglicht.
– Abhängigkeit: Eine Softwarekomponente oder -bibliothek, von der eine andere Software abhängig ist, um ordnungsgemäß ausgeführt zu werden.
– Latenzzeit: Die Zeitverzögerung zwischen dem Starten einer Anfrage und dem Empfang einer Antwort.
– Bandbreite: Die maximal mögliche Datenübertragungsrate über einen bestimmten Pfad oder ein Netzwerk.
– Btrfs: Ein Copy-on-Write-Dateisystem für Linux, das Funktionen wie Snapshots, Unterdateisysteme, Komprimierung und Skalierbarkeit bietet.
Verwandte Links:
– Distributed Reactive Programming
– Amazon Machine Learning
– Effizientes verteiltes maschinelles Lernen: Eine Perspektive von einem einzelnen Knoten
The source of the article is from the blog procarsrl.com.ar