تقود فرق الأمان الحمراء AI التابعة لشركة Microsoft ثورة في استراتيجيات فرق الأحمر من خلال استغلال قوة التشغيل التلقائي للذكاء الاصطناعي. على عكس النهج التقليدي لفرق الأحمر، الذي يركز على تقييم مخاطر الأمان في البرامج التقليدية أو أنظمة الذكاء الاصطناعي، يتضمن تقييم فرق الأحمر لأنظمة الذكاء الاصطناعي التّوليدية تقييمًا للاثنين معًا، مخاطر الأمان والذكاء الاصطناعي المسؤول. يُمهد هذا النهج المبتكر الطريق لممارسات فعّالة وشاملة لفرق الأحمر أكثر فعالية.
أحد التحديات الرئيسية في فرق الأحمر لأنظمة الذكاء الاصطناعي التوليدية هو طبيعة الاحتمالية لهذه الأنظمة. على عكس الأنظمة البرمجية القديمة حيث يؤدي تكرار نفس مسار الهجوم إلى نتائج مشابهة، تظهر أنظمة الذكاء الاصطناعي التوليدية مستوى عالٍ من الاعتبارية. وهذا يعني أن نفس الإدخال يمكن أن ينتج نتائج متنوعة وغير متوقعة. للتغلب على هذا التحدي, طورت فرق الأمان الحمراء AI التابعة لشركة Microsoft إطارًا يسمى PyRIT، الذي يقوم بتلقائية الأنشطة المتكررة ويوفر للمحترفين في مجال الأمان الأدوات الأساسية لتحديد الضعف المحتمل والتحقيق فيها بعناية.
تتنوع هندسة أنظمة الذكاء الاصطناعي التوليدية بشكل كبير، من التطبيقات المستقلة إلى التكاملات في التطبيقات الحالية، وعبر مختلف الوسائط مثل النصوص والصوتيات والصور ومقاطع الفيديو. تثير هذه التنوعات تحدٍ كبيرًا لاختبار فرق الأحمر يدويًا. تسلِم فرق الأمان الحمراء AI التابعة لشركة Microsoft بأهمية وضرورة منهجيات التقييم الفعالة وسهلة الاستخدام للتعامل مع هذه التعقيدات.
للتعامل مع هذه التحديات، أطلقت Microsoft مجموعة أدوات جديدة مصممة خصيصًا لفرق الأحمر لأنظمة الذكاء الاصطناعي التوليدية. تستفيد هذه المجموعة من خبرة فريق الأمان الحمراء AI بالإضافة إلى موارد من مختلف الأقسام في Microsoft، مثل مكتب الذكاء الاصطناعي المسؤول ومركز العدالة في Microsoft Research. من خلال دمج المعرفة البشرية مع التشغيل التلقائي للذكاء الاصطناعي، تمكن هذه المجموعة من الأدوات المحترفين في مجال الأمان من اكتشاف ومواجهة المخاطر بشكل أكثر فاعلية في أنظمة الذكاء الاصطناعي التوليدية.
في الختام، تقود فرق الأمان الحمراء AI التابعة لشركة Microsoft في طليعة تحويل استراتيجيات فرق الأحمر مع التشغيل التلقائي للذكاء الاصطناعي. نهجهم المبتكر، جنبًا إلى جنب مع تطوير PyRIT والمجموعة الأدوات الجديدة، يضع معيارًا جديدًا في تقييم مخاطر الأمان والذكاء الاصطناعي المسؤول في أنظمة الذكاء الاصطناعي التوليدية. من خلال هذا العمل الرائد، تساعد Microsoft الشركات والمنظمات على الابتكار بشكل أخلاقي مع الذكاء الاصطناعي، مع الحفاظ على الحماية من التهديدات المحتملة.
The source of the article is from the blog radardovalemg.com