في الآونة الأخيرة، اكتشف باحثو HiddenLayer نقاط ضعف أمنية في نموذج Gemini الكبير للغات التابع لشركة غوغل. تحمل هذه النقاط الضعف القدرة على تعريض تعليمات النظام، وتوليد محتوى ضار، وتمكين هجمات الحقن غير المباشر. على الرغم من تأثير هذه المشاكل على العملاء الذين يستخدمون Gemini Advanced مع Google Workspace والشركات التي تستخدم واجهة برمجة التطبيقات LLM، إلا أنه من الضروري التأكيد على ضرورة تطبيق الممارسات الآمنة في تقنية الذكاء الاصطناعي.
إحدى النقاط الضعف تتعلق بتجاوز حواجز الحماية لتسريب تعليمات النظام. توفر هذه التعليمات توجيهات أساسية لـ LLM، مما يساعد في توليد ردود مناسبة. من خلال طلب من النموذج إخراج تعليماته “الأساسية” في كتلة markdown، يمكن للمهاجمين استغلال هذه النقطة الضعف. تشدد نسخة Microsoft عن هندسة التعليمات LLM على دور السياق في توليد ردود أكثر فائدة.
تنبثق نقطة ضعف أخرى من عرض النماذج لهجمات المرادفات، مما يقوض الدفاعات الأمنية وقيود المحتوى. باستخدام تقنيات “crafty jailbreaking”، يمكن للمهاجمين تلاعب نماذج Gemini لتوليد معلومات خاطئة عن مواضيع مثل الانتخابات أو إخراج معلومات خطيرة وغير قانونية. يمكن تحقيق ذلك عن طريق طلب من النموذج الدخول في حالة خيالية.
تكمن تالت نقطة ضعف في إمكانية بوتقة نموذج LLM تسرب المعلومات من خلال تعليمات النظام. من خلال إدخال رموز غير شائعة متكررة، يمكن خداع LLM للإيمان بأنه يجب عليه الرد، مما يؤدي إلى إخراج رسالة تأكيد تتضمن عادة المعلومات المقدمة في التعليمات.
اكتشف الباحثون أيضًا اختبارًا يتضمن Gemini Advanced ومستند Google ضمنصيغ خاص مرتبط بـ LLM من خلال تمديد Google Workspace. عن طريق تجاوز تعليمات النموذج، يمكن للمهاجم السيطرة على تفاعلات المستخدم مع النموذج، مما يمكن أن يؤدي إلى إجراءات خبيثة.
على الرغم من هذه النقاط الضعف، فإنه من الضروري الاعتراف بأنها ليست فريدة من نموذج Gemini LLM لغوغل، بل يمكن وجدها في نماذج لغات أخرى عبر الصناعة. وهذا يبرز الحاجة للاختبار الشامل لاكتشاف وتقليل الهجمات التي تستغل الدعوات، واستخراج البيانات، وتلاعب النماذج، وأمثلة الخصومة، وتلويث البيانات، والتسرب.
تقر غوغل بأهمية التعامل مع هذه المسائل. تجري الشركة تمارين الفريق الأحمر وتدرب باستمرار نماذجها للدفاع ضد حقن الدعوة، والكسر، والسلوكيات الخصمية الأخرى. بالإضافة إلى ذلك، هناك تدابير توضع لمنع الردود الضارة أو المضللة، مع إجراء تحسينات مستمرة.
لحماية المستخدمين من المخاطر المحتملة، تقوم غوغل بتنفيذ قيود على الردود على استفسارات تتعلق بالانتخابات. تهدف هذه الخطوة الاحترازية إلى منع انتشار المعلومات الخاطئة بخصوص المرشحين، والأحزاب السياسية، ونتائج الانتخابات، ومعلومات التصويت، وحملة المكتب البارزة.
اكتشاف هذه النقاط الضعف يعتبر تذكيرًا بالتحديات الأمنية المتطورة باستمرار في تقنية الذكاء الاصطناعي. من الضروري على الباحثين والمطورين والمنظمات تحديد تقييمات الأمان، وتنفيذ الحمايات، والبقاء يقظين لضمان الاستخدام الآمن والمسؤول لنماذج اللغة.
الأسئلة الشائعة
يعد جيميني LLM نموذج لغة قوي صممته غوغل لتوليد ردود مفيدة بناءً على تعليمات النظام. إنه يستفيد من خوارزميات متقدمة لفهم وتوليد محتوى اللغة الطبيعية.
تشير هجمات المرادفات إلى التقنيات التي يستخدمها المهاجمون لاستغلال الضعف عن طريق الاستفادة من مرادفات أو أشكال بديلة للكلمات، مما يجاوز الدفاعات الأمنية والقيود.
يمكن أن يؤدي حقن التعليمات إلى توليد ردود ضارة أو مضللة من قبل نماذج اللغة عن طريق تلاعب التعليمات أو السياق المقدم إلى النموذج.
تعمل غوغل بنشاط على تعزيز دفاعات نماذجها اللغوية ضد حقن التعليمات والكسر والسلوكيات الخصمية الأخرى. كما أنها تنفذ الحمايات لمنع الردود الضارة أو المضللة.
لا، ليست هذه النقاط الضعف فريدة من نموذج Gemini LLM الخاص بـ غوغل. يمكن العثور عليها في نماذج لغات أخرى عبر الصناعة، مما يؤكد على ضرورة الاختبار الأمني الشامل واتخاذ التدابير الوقائية.
المصادر
The source of the article is from the blog revistatenerife.com