في عالم التطوير السريع للتعلم الآلي والذكاء الاصطناعي، من الضروري أن يكون لديك بنية تحتية يمكنها مواكبة مطالب مهندسي التعلم الآلي. يمكن أن تعوق الأوقات البطيئة لعملية البناء والفاقدة للكفاءة في تجميع وتوزيع ملفات التنفيذ الإنتاجية الإبداعية وتهدر الوقت الثمين.
لمواجهة هذه التحديات، اتخذ فريقنا تدابير استباقية لمعالجة بناء بطيء وفاقد للكفاءة في التعبئة وتوزيع ملفات التنفيذ، مما أدى إلى تقليل كبير في التكلفة العامة وتحسين الكفاءة.
بدلاً من الاعتماد على المراجعات القديمة التي تتطلب بناء وربط متكرر، ركزنا على تقليل بناء التطبيق بتبسيط الرسم البياني للبناء وتحسين عدد الاعتمادات. هذا النهج قلل بشكل كبير من الحاجة إلى بناء مخطط واسع وعزز سرعة البناء العامة.
كان آخر عقبة رئيسية واجهناها هي تغليف وتوزيع ملفات التنفيذ. للتغلب على هذا التحدي، قمنا بتنفيذ نهج تدريجي باستخدام نظام ملفات قابل للعنونة بالمحتوى (CAF). عن طريق اعتماد نهج يفهم المحتوى، يتجاوز CAF بذكاء إعادة تحميل الملفات المكررة التي توجد بالفعل في التخزين القابل للعنونة (CAS). يقلل هذا التسهيل ليس فقط من وقت التعبئة، ولكنه يقلل أيضًا من العملية الزائدة لاستدعاء الملفات عند التعامل مع برامج تنفيذ ضخمة.
لتعزيز كفاءة نظام CAF، قمنا بنشر برنامج CAS في معظم مضيفي مراكز البيانات لدينا. يتحمل هذا البرنامج المسؤولية عن الحفاظ على ذاكرة التخزين المؤقت المحلية، وتنظيم شبكة من نظرات سوسير على خوادم CAF الأخرى، وتحسين استرداد المحتوى. من خلال الاستفادة من هذه الشبكة، يمكننا استدعاء المحتوى مباشرةً من النسخ الأخرى، مما يقلل من وقت الانتظار وقدرة نقل التخزين.
على عكس الحلول التقليدية المبنية على الطبقات مثل OverlayFS في دوكر، يعطي نهجنا الأولوية للوصول المباشر إلى الملفات والتوجيه التكيفي. يتيح لنا ذلك إدارة التبعيات المتنوعة عبر البرامج التنفيذية المتعددة دون تعقيد تنظيم الطبقات. بالإضافة إلى ذلك، باستخدام Btrfs كنظام ملفات، نستفيد من قدرته على الضغط وقدرته على كتابة بيانات التخزين المضغوطة مباشرة إلى المجالات.
من خلال معالجة تحديات بناء بطيء وتوزيع وتعبئة غير كفء للملفات التنفيذية، قمنا بتمكين مهندسي التعلم الآلي لدينا من العمل بكفاءة أكبر وتقديم حلول مبتكرة. تركزت جهودنا على تقليل إعادة البناء، وتحسين إدارة التبعيات، وتنفيذ حل تعبئة تدريجي، مما أدى إلى توفير الوقت بشكل كبير وتحسين الإنتاجية في عملية التطوير لدينا في مجال التعلم الآلي والذكاء الاصطناعي.
قطع الأسئلة الشائعة:
س: ما هي التحديات التي واجهها الفريق في تطوير التعلم الآلي والذكاء الاصطناعي؟
ج: تتمثل التحديات التي واجهها الفريق في أوقات البناء البطيئة، وفقدان الكفاءة في تعبئة وتوزيع ملفات التنفيذ، وتعقيد إدارة التبعيات المتنوعة عبر برامج تنفيذ متعددة.
س: كيف يعالج الفريق بناء بطيء؟
ج: يعالج الفريق بناء بطيء عن طريق تبسيط الرسم البياني لعملية البناء وتحسين عدد التبعيات، مما يقلل من حاجة إعادة البناء المكثفة ويحسن سرعة البناء العامة.
س: كيف يتعامل الفريق مع تعبئة وتوزيع ملفات التنفيذ؟
ج: ينفذ الفريق نهجًا تدريجيًا باستخدام نظام ملفات قابل للعنونة بالمحتوى يسمى CAF، حيث يتخطى CAF بذكاء عمليات التحميل المكررة للملفات الموجودة بالفعل في التخزين القابل للعنونة. وهذا يقلل من وقت التعبئة ويقلل من عملية استدعاء الملفات الزائدة عند التعامل مع برامج تنفيذ ضخمة.
س: ما هو الغرض من برنامج CAS الذي تم نشره في مضيفي مراكز البيانات؟
ج: يتحمل برنامج CAS المسؤولية عن الحفاظ على ذاكرة التخزين المؤقت المحلية وتنظيم شبكة نظراء مع نسخ أخرى من CAS وتحسين استرداد المحتوى. يتيح استدعاء المحتوى مباشرة من النسخ الأخرى، مما يقلل من وقت الانتظار وقدرة نقل التخزين.
س: كيف يدير الفريق التبعيات بدون تعقيد تنظيم الطبقات؟
ج: على عكس الحلول التقليدية، يعطي الفريق الأولوية للوصول المباشر إلى الملفات والتوجيه التكيفي بدلاً من الحلول المبنية على الطبقات مثل OverlayFS في دوكر. يتيح هذا النهج إدارة تبعيات متنوعة بكفاءة عبر برامج تنفيذ متعددة.
س: ما هو نظام الملفات الذي يستخدمه الفريق وما هي المزايا التي يوفرها؟
ج: يستخدم الفريق Btrfs كنظام ملفات، والذي يوفر قدرات ضغط وقدرته على كتابة بيانات التخزين المضغوطة مباشرةً إلى المجالات. وهذا يعزز الكفاءة وقدرات التخزين.
التعاريف:
– التعلم الآلي/الذكاء الاصطناعي: يشير إلى تطوير وتطبيق الخوارزميات والنماذج التي تسمح للكمبيوترات بأداء المهام بدون تعليمات صريحة.
– مهندسي التعلم الآلي: يشير إلى المهندسين المتخصصين في التعلم الآلي الذين يطورون وينفذون ويحسنون خوارزميات ونماذج التعلم الآلي.
– إعادة البناء: عملية إعادة بناء البرامج أو الشفرة.
– التعبئة: عملية إعداد البرامج للتوزيع عن طريق حزمها مع الملفات والتبعيات المتعلقة.
– نظام الملفات القابل للعنونة بالمحتوى (CAF): نظام ملفات يحدد الملفات بناءً على محتواها بدلاً من موقعها أو اسمها، مما يسمح بتخزين فعال واسترداد البيانات.
– التخزين القابل للعنونة بالمحتوى (CAS): نظام تخزين يرجع
The source of the article is from the blog newyorkpostgazette.com