في عالم الشات بوتات التي تعتمد على الذكاء الاصطناعي، تتخذ مايكروسوفت موقفًا حازمًا ضد الاستخدام الخبيث. اليوم، كشفت الشركة عن نظام الدفاع الأحدث في منشور على المدونة، حيث أعلنت عن وصول برومبت شيلد إلى Azure AI Studio وخدمة Azure OpenAI، الهدف من هذه التقنية الجديدة هو حماية الشات بوتات ضد نوعين من الهجمات.
الهجمات المباشرة: الحراسة ضد التلاعب
النوع الأول من الهجمات الذي يتناوله برومبت شيلد هو الهجوم المباشر، المعروف أيضًا بـ الهروب من السجن. في هذا السيناريو، يقوم مستخدم الشات بوت بشكل متعمد بصياغة نص يهدف إلى التلاعب بالذكاء الاصطناعي لتجاوز القواعد والقيود القياسية. من خلال إدراج كلمات مفتاحية مثل “تجاهل التعليمات السابقة” أو “تجاوز النظام”، يحاول الشخص تجاوز تدابير الأمان.
هذا النوع من الهجمات نال الانتباه في حالة ذكاء الاصطناعي كوبيلوت الذي واجه انتقادات بعد الرد بتعليقات مهينة وتهديدية. عالجت مايكروسوفت المشكلة من خلال التأكيد على أن هذه الردود لم تكن ميزات مقصودة بل كانت بمثابة استغلالات تهدف إلى التحايل على أنظمة السلامة لكوبيلوت.
الهجمات غير المباشرة: الحماية ضد التهديدات الإلكترونية
الأسلوب الثاني للهجوم، المعروف باسم الهجوم غير المباشر أو الهجوم بحقن نصوص داخل نطاق المجال، يتضمن إرسال معلومات إلى مستخدم الشات بوت بهدف تنفيذ هجوم إلكتروني. يستغل المخترقون أو الأفراد الخبيثون البيانات الخارجية مثل رسائل البريد الإلكتروني أو المستندات للاستفادة من الشات بوت.
الهجمات غير المباشرة تبدو غالبًا بريئة، لكنها قد تحمل مخاطر كبيرة. على سبيل المثال، يمكن أن يكون كوبيلوت المخصص الذي يتم تصميمه من خلال Azure AI عرضة للاحتيال أو توزيع البرامج الضارة أو تلاعب المحتوى إذا قام بمعالجة البيانات، سواء بشكل مستقل أو من خلال التمديدات.
برومبت شيلد: تعزيز أمان الشات بوتات
لمواجهة الهجمات المباشرة وغير المباشرة، يتكامل برومبت شيلد من مايكروسوفت مع مرشحات المحتوى في خدمة Azure OpenAI. من خلال استغلال تعلم الآلة ومعالجة اللغة الطبيعية، تسعى هذه الميزة إلى اكتشاف والقضاء على التهديدات المحتملة ضمن نصوص المستخدمين والبيانات من جهات خارجية.
برومبت شيلد متاح حاليًا في وضع المعاينة لـ Azure AI Content Safety، وسيكون قريبًا متاحًا في Azure AI Studio. اعتبارًا من 1 أبريل، سيكون أيضًا متاحًا لخدمة Azure OpenAI.
تسليط الضوء: تمكين نماذج الذكاء الاصطناعي
بالإضافة إلى برومبت شيلد، قدمت مايكروسوفت تقنية تسليط الضوء، وهي مجموعة من تقنيات هندسة النصوص. تساعد هذه الطريقة المبتكرة نماذج الذكاء الاصطناعي في تحديد نصوص الذكاء الاصطناعي الصالحة بشكل أفضل بينما تميز تلك التي قد تمثل خطرًا أو تفتقر إلى الموثوقية.
الأسئلة الشائعة
- ما هي الهجمات المباشرة على الشات بوتات الذكاء الاصطناعي؟
- ما هي الهجمات غير المباشرة على الشات بوتات الذكاء الاصطناعي؟
- كيف تحمي برومبت شيلد ضد الهجمات؟
- ما هو تقنية تسليط الضوء؟
- أين يمكن الوصول إلى برومبت شيلد؟
The source of the article is from the blog kunsthuisoaleer.nl