تم تقديم إطار عمل جديد يُسمى “SecFormer” لمعالجة تحدي حفظ الخصوصية في استنتاج اللغة الكبيرة المعتمدة على تنسيق التحويل. أثار الاعتماد المتزايد على نماذج اللغة الكبيرة المستضافة على السحابة مخاوف الخصوصية، خاصةً عندما يتورط البيانات الحساسة. ظهرت حوسبة أطراف متعددة بأمان (SMPC) كحل للحفاظ على خصوصية بيانات الاستنتاج ومعلمات النموذج. ومع ذلك، يؤدي تطبيق SMPC على استنتاج نماذج التحويل في كثير من الأحيان إلى تأثيرات أداء كبيرة.
يتبع SecFormer نهجًا مختلفًا لتحسين التوازن بين الأداء والكفاءة في استنتاج الخصوصية. بدلاً من استبدال العمليات غير الخطية ببدائل مناسبة لـ SMPC، يركز على تعزيز تصميم النموذج. يتم استبدال العمليات التي تتطلب جهدًا متكلفًا ببدائل مبتكرة، مثل خوارزمية GeLU للحفاظ على الخصوصية بناءً على البولينومات المجزأة، وخوارزميات فعالة للحفاظ على الخصوصية للتناسق الطبقي والتراخيص الناعمة.
تم تقييم فعالية الإطار باستخدام مجموعة البيانات القياسية GLUE مع نماذج التحويل مثل BERTBASE و BERTLARGE. تفوق SecFormer على النهج المتقدم فيما يتعلق بالأداء والكفاءة، بتحسين متوسط بنسبة 5.6٪ و 24.2٪ على التوالي. أظهرت المقارنات مع الإطارات الحالية القائمة على تصميم النموذج وتحسين بروتوكول SMPC أن SecFormer حقق زيادة سرعة 3.4 و 3.2 مرات في استنتاج الخصوصية مع الحفاظ على مستويات أداء مماثلة.
يقدم SecFormer حلا موثوقًا وفعالًا لتعزيز نماذج اللغة الكبيرة مع ضمان معايير صارمة للخصوصية. من خلال تحسين التوازن بين الأداء والكفاءة من خلال تعزيز تصميم النموذج، يعد SecFormer بحلول لمخاوف الخصوصية المرتبطة بالاعتماد المتزايد على نماذج اللغة الكبيرة المستضافة على السحابة. مع نهجها المبتكر والنتائج الواعدة، يحمل SecFormer إمكانات كبيرة لمستقبل استنتاج الخصوصية في المناظر اللغوية المعقدة.
The source of the article is from the blog jomfruland.net