בתחום המחברים האוטומטיים המבוססים על AI, מייקרוסופט משתמשת בכוחה כדי למנוע השתמשות רעה. היום, החברה חשפה את מערכת ההגנה האחרונה שלה בכתבה בבלוג, רוממת את החגים המהוללת שלה ששם לַ Prompt Shields לצד Azure AI Studio ו- Azure OpenAI Service שלה. המטרה של טכנולוגיית זו החדשה היא להגן מפני שני סוגי התקיפות שמתמודדים עם מחברי AI.
**תוקפים ישים: מגנים נגד הפקרה**
הסוג הראשון של תקיפה שהַ Prompt Shields מתמודדים איתו הוא התקפה ישירה, שנקראת לעיתים תקפת ברוך. בתרחילה זו, משתמש במחבר מייצר בכוונה תּוֹקֵפ על מנת לשפר את הAI להתעלם ממדיניות הידיעה וההגבלות שלה. על ידי כלים או מילים כמו "התעלם מההוראות הקודמות" או "התעלם מהתפלגות המערכת," הגורם מנסה לעקוב אחרי נושאי אבטחה.
סוג זה של התקפה קיבל תשומת לב במקרה של Copilot AI של מייקרוסופט, שנתקל בביקורת אחרי תגובות מְעוּלוֹת ואיומות. מיקרוסופט טיפלה בנושא על ידי מדגישה כי התגובות הללו לא היו תכונות כוונתיות אלא במקום ניצולים המכווים את מערכות הביטחון של Copilot.
**תקיפות בעקיפות: הגנה נגד איומי סייבר**
שיטת התקיפה השנייה, שנודעת כתקיפה בעקיפות או התקפת הזרקת הוראת תחום, כוללת שליחת מידע למשתמש מחברות עם כוונת ביצוע התקפת סייבר. האוהדים או אנשים רעים נוצלים נתונים חיצוניים כמו דואר אלקטרוני או מסמכים כדי לנצל את המחבר.
תקיפות בעקיפות מרגיעות עלולות להראות כרגילות, אך הן יכולות לכלול סיכונים ניכרים. לדוגמה, מחבר מותאם אישית שנמצא באמצעות Azure AI עשוי להיות פגיע להונאה, להפצה של תוכנות זדונות או להתפלגות תוכן אם הוא מעבד מידע, באופן עצמאי או דרך תוספות.
**טמע קוסמיים: מחזק אבטחת מחברי צ'אט**
על מנת להתמודד עם תקיפות ישימות והשפעות, Prompt Shields של מייקרוסופט משתלב עם מסנני התוכן ב-Azure OpenAI Service. על ידי עשי בימור ועיבוד שפה טבעית, תכונה זו מחפשת לזהות ולבטל את האיומים האפשריים בתוך פרומטים משתמש ונתוני צד שלישי.
Prompt Shields זמין כיום במצב תצוגה מוקדם לבטיחות תוכן של Azure AI, וזה יהיה זמין בקרוב ב-Azure AI Studio. מ-1 באפריל, הוא יהיה זמין גם עבור Azure OpenAI Service.
בנוסף ל- Prompt Shields, מייקרוסופט הציגה קסנון, משפחה של טכניקות הנדרשות במחברים עבור AI. שיטה חדשנית זו מסייעת למודלי AI לזהות באופן טוב יותר פרומטים תקפים כשהיא מבחינה בין אלו שעשוים סיכון או חסרי אמינות.
שאלות נפוצות
1. מהם תקיפות ישימות על מחברי AI?
תקיפות ישימות מעורבות בהדרכה שבה פועלים מחברי AI באמצעות הפקות שמדידות אותם על המדיניות הסטנדרטית וההגבלות שלהם.
2. מהן תקיפות בעקיפות על מחברי AI?
תקיפות בעקיפות מתרחשות כאשר האוהדים או הנמלטים הרועים משתמשים בנתונים חיצוניים כדי לנצל מחברי צ'אט ולבצע תקיפות סייבר.
3. איך Prompt Shields מגן נגד התקפות?
Prompt Shields משלב עם מסנני התוכן ב-Azure OpenAI Service, מנצל עבודת למידה מלאכותית ועיבוד טבעי של שפה כדי לזהות ולבטל איומים פוטנציאליים.
4. מה זה קסנון?
קסנון הוא אוסף של טכניקות הנדרשות במחברים שהציע מייקרוסופט כדי לסייע למודלי AI להבחין בפרומטים אמינים מאלו שעשויים לגרום לסיכון.
5. איפה ניתן לגשת ל- Prompt Shields?
Prompt Shields זמין כיום במצב תצוגה מוקדם לבטיחות תוכן של Azure AI. בקרוב הוא יהיה זמין ב-Azure AI Studio ויהיה זמין ל-Azure OpenAI Service החל מ-1 באפריל.
למידע נוסף אודות מחברי AI והטכנולוגיה שמייקרוסופט מחזיקה, בקר בבלוג המוביל בAI. בבלוג נתנו לכם עדכונים וראיונות מהעולם שלב ממחקר אוטומטי, כולל התקדמות, יישומים ואתגרים.
אם יש לך שאלות על תקיפות ישימות על מחברי AI, תקיפות בקרה, כיצד Prompt Shields מגן מפני התקפות, או מה זה קסנון עושה, בדוק את חלק השאלות הנפוצות למטה:
The source of the article is from the blog elektrischnederland.nl