في ورقة بحث حديثة ، قام مهندسو الحاسوب في مختبر أورايدج الوطني بتفصيل تدريب ناجح لنموذج لغوي كبير (LLM) على جهاز الكمبيوتر العملاق Frontier. واللافت هو أنهم حققوا نتائج مبهرة باستخدام فقط جزء صغير من وحدات المعالجة الرسومية المتاحة. وهذا يثير تساؤلات حول كفاءة أداء التدريب عبر بيئات الأجهزة المختلفة.
استخدم الفريق 3,072 من بطاقات Radeon Instinct GPUs المتواجدة على Frontier والتدريب قاموا بها لـ LLM يحتوي على تريليون بارامتر. واجهوا تحديات تتعلق بالكمية الهائلة من الذاكرة المطلوبة لنموذج كبير من هذا الحجم ، مما يستدعي استخدام عدة بطاقات رسومية MI250X. ومع ذلك ، هذا ادى لحدوث مشكلة في التوازي التي يتعين معالجتها للاستفادة الكاملة من مصادر الوحدات المعالجة الرسومية الإضافية بكفاءة.
من خلال تكرار استخدام الإطارات مثل Megatron-DeepSpeed و FSDP ، أعاد الباحثون تهيئة برنامج التدريب لتحقيق أداء مثلى على الكمبيوتر العملاق Frontier. وكانت النتائج مذهلة ، بنسبة كفاءة مقيدة ضعيفة تصل إلى 100٪ ونسبة كفاءة مقيدة قوية تتراوح بين 87-89٪. تقيس مقياس كفاءة التوازي القوي القدرة على زيادة عدد المعالجات دون تغيير حجم العمل.
تسلط ورقة البحث أيضًا الضوء على الاختلافات بين بيئات أجهزة NVIDIA و AMD و Intel. يتم إجراء معظم التعلم الآلي بهذا الحجم داخل بيئة CUDA التابعة لـ NVIDIA ، مما يجعل حلول AMD و Intel غير متطورة بالمقارنة. تسلم الورقة على ضرورة مزيد من استكشاف كفاءة التدريب الفعال على وحدات معالجة الرسوميات AMD وطبيعة ROCm المتباينة.
حتى الآن ، يظل Frontier أسرع كمبيوتر فائق السرعة بتقنية AMD بأكملها ، تليها Aurora التي تعتمد على تقنية Intel. ومع ذلك ، تم استخدام نصف فقط من Aurora لعملية تقديم النتائج التحسينية حتى الآن. تزود بطاقات NVIDIA GPUs ثالث أسرع كمبيوتر فائق السرعة ، Eagle. للمحافظة على التنافسية ، يجب على AMD و Intel السعي لمواكبة حلول برامج NVIDIA.
إن هذا البحث لا يلقي الضوء فقط على تدريب نماذج لغوية كبيرة بشكل ناجح على أجهزة الكمبيوتر العملاقة ، بل أنه يؤكد أيضًا على أهمية تطوير كفاءة أداء التدريب عبر بيئات أجهزة الكمبيوتر المختلفة. ستعزز متابعة طرق التدريب المحسنة نمو حلول AMD و Intel في مجال التعلم الآلي.
The source of the article is from the blog windowsvistamagazine.es