חוקרי אבטחת מידע ביצעו ניסוי כדי להעריך את בטיחותם של מודלי צ'אטבוט AI פופולריים ואת העמידה שלהם בפני סיוד. המחקר מצא ש-Grok, צ'אטבוט שפותח על ידי x.AI של אילון מאסק, הצג את הפגיעות הגבוהות ביותר בין הכלים שנבדקו.
באמצעות טכניקות לינגוויסטיות מניפולטיביות, חוקרים הציעו שאלות רגישות ל-Grok, כולל שאלות בנושא ביצוע פיתוח ילדים. הצ'אטבוט סיפק תגובה מפורטת, רומזת לעובדה שיש חוסר במניעות ברירת המחדל שהיו צריכות להיות במקום. תוצאות נוספות כללו הוראות לסייע בהפעלת רכבים ובניית פצצות.
החוקרים השתמשו בשלושה קטגוריות של שיטות תקיפה. הראשון כלל טריקים לינגוויסטיים וקישורים פסיכולוגיים כדי להשפיע על התנהגותם של הצ'אטבוטים. השני ניהל טקטיקות פיתוח הלוגיקה התכנותית, תוך ניצול ההבנה של הצ'אטבוטים בשפות תכנות ואלגוריתמים. הגישה השלישית כללה שימוש בשיטות AI נשלטת למרות שכל הצ'אטבוטים זיהו ומנעו בהצלחה את התקיפות של שיטות AI אדוורסיריות, חלקם היו יותר פקטיבים כאשר ניתפסו לב ללינגוויסטיקה וניצול הלוגיקה התכנותית.
בהתבסס על עמידתן של אבטחה שלהם, מיקמו החוקרים מקומות בין המודלים. Meta LLAMA זיה כמודל המובטח ביותר, מעט מאחריו מיחל, ג'מיני, ו-GPT-4. Grok נחשב לפחות מאובטח, בצד למודל הבעלות של Mistral AI, "Mistral Large."
המחקר מדגיש את החשיבות של פתרונות מקור-פתוח וניכון מנוחי לשפר את אבטחת AI. בעוד מודלים מקור פתוח מספקים יותר השגה עבור הגנה, ידע ויישום פרוטוקולי יעילות הוא מרכזי.
מהן סיכוני המערכות הפוטנציאליים של הפעולות של צ'אטבוטים נפגעים?
אם צ'אטבוטים משמשים בתהליכי קבלת החלטות אוטומטיים וקשורים לסייעים דואר אלקטרוני או ליישומים פיננסיים, האפשרויות הפוטנציאליות של צ'אטבוטים שנפגעים עשויות לכלול גישה בלתי מורשתת ושליטה על מידע רגיש של המשתמש.
לשמור על המידע העדכני בענייני התעשייה של AI, ניתן להפנות למקורות כמו [Adversa AI](https://adversa.ai/) ו-[Decrypt](https://decrypt.co/). מקורות אלה מספקים ראיות ללא ערך, מידע וניתוחים קרולציה לתעשיית AI, כולל טכנולוגיות של צ'אטבוטים ואבטחתם.
The source of the article is from the blog macholevante.com