ככל שהתחום של הבינה המלאכותית (AI) ממשיך להתקדם, מפתחים ומדעני נתונים מוטרדים ברצון להבין, לבנות, ולשחרר מוצרי AI. אך, לצד התרגשות והתקדמות, חשוב ביותר לא להתעלם מהנושא הקריטי של הגנה, כולל בעיקר מניעת תקיפות על זרימת הספק.
פרויקטי AI לעתים קרובות משתמשים בשימוש במודלים שונים, ספריות, אלגוריתמים, כלים מובנים מראש, וחבילות. בעוד שמשאבים אלו מציעים הזדמנויות ענקיות לניסיון וחדשנות, הם גם גורמים לפוטנציאל סיכוני ביטחון. רכיבי קוד המקור ממאגרי מידע ציבורי עשויים להכיל פתחים נסתרים או סתירים שמעבירים נתונים. בנוסף, מודלים וסטי נתונים מובנים מראש עשויים להיות מוזנים, גורמים לתופעות לא צפויות ולהתנהגות לא ראויה ביישומים.
אחת הסתם אפלה היא שמספר מודלי AI עצמם עשויים להכיל תוכנות זדוניות, שניתן להפעיל במידה ותכני מודלים אלו לא יוחסכו בצורה מאובטחת. אף תוסף פופולרי כמו ChatGPT נתקל בביקורת מול ביטחונם. התקיפות על זרימת הספק, שפשעו לעולם פיתוח התוכנה, מתרחשות גם בתחום של AI. אינטגרציה של ספריות, מודלים, או סטי נתונים שנפגעו אל מערכות AI עשויים להביא לתוצאות חמורות כגון תחנות עבודה פגומות, פריצות לרשתות תאגידיות, סיווג של נתונים שגוי וסכנה למשתמשים.
אינטרסה של AI ואבטחה
תוך הכרה בצורך לטפל בתקיפויות אלו, חברות מתחילות באבטחת מידע וAI עולות, בעיקר בדגש על התמודדות עם אתגרי האבטחה בפיתוח AI. אך, אין זאת רק חברות חדשות, נגישות לשחקנים מוכרים בשוק העסקי הם מתבחרים ומתמקדים ביישום מידע אבטחה. אימות פרויקטי למידה מלכותית מבחינת יצירתיות, הערכת בטיחותם, וביצוע בדיקות דרושות מתקנים בלתי נפרדים מתהליך הפיתוח.
לפי טום בונר, סגן הנשיא למחקר ב- HiddenLayer, הרבים מפרויקטי AI בתחום למדה מתמטית חסרי בקטן מעניין ליקויי אבטחה. מהיצירה, פרויקטי AI צמחו, חקירות נוטות להתמקד בבעיות מתמטיות ולהפעיל את התוצאות באופן לא מאובטח או ללא בדיקות אבטחה מתאימות.
בונר מדגיש את דחיפתו לטיפול מיידי במזהים אבטחתיים בנתונים של מערכות AI: "פתאום נראה דעית אמיתית במתחיל התקפה, ופתאום כל מי שחופשה להיכנס לשוק הרצוני להבין, הם כולם הולכים לא לבחור את כלי התוכנה הנפוצים הגידלו מהאקדמיה והנה, הם פועלים מלאים בפתיחות, מלאים בחורים."
הפונקציות בזרימת הספק ב- AI
כדי לאמץ את הסיכונים בזרימת הספק הזאת, פונקנרים לביטחון ה- AI עולים לפני פתאום אחיזה לתוקף מחפשים לנצל נחלים. תקיקות כגון typosquatting מתמשכות להונות מפתחים לשימוש בעותקים זדוניים של ספריות חוקיות. כתוצאה, מערכות נתונים רגישים ואישורים תאגידיים עשויים להיגנבו, שרתים הפועלים קוד פגום יכול להתאות, ועוד ועוד.
דן McInerney, מנחה בביטחון ב- Protect AI, מדגיש את חשיבותו של לאבטח זרימת הספק בעיצוב מודל ה- AI: "אם תחשוב על מרכז פאי של כיצד תהיה פגיעתך כשאתה פותח מחלקת AI בחברה או בקרן, קטע זעיר של פאי זה יזכור תקיפות של קלטת המודל, שהיא מה שכל אחד מדבר עליו. וחתיך גדול של פאי יהיה לתקוף את זרימת הספק – הכלים שאתה משתמש לבנות את המודל עצמו."
הצורך בשקיפון והגנה
על מנת להמחיש את הסיכונים האפשריים, ה- HiddenLayer זיהו לאחרונה חשש אבטחותי בשירות מקוון שסופק על ידי Hugging Face, פלטפורמה מובילה למודלי AI. הבעיה הייתה בהמרת מודלים מתבנית Pickle לתבנית Safetensors היותר מאובטחת. HiddenLayer גילתה כי פגמים בתהליך ההמרה אפשרו פעולת קוד שיכולה לפגוע בנתוני משתמשים ומאגרי מידע.
כדאי למפתחים ולארגונים להכיר את התפקיד החשוב של הביטחון ולתת עדיפות לצעדים לשמירה על פרויקטי ה- AI שלהם. החלת הגנות בזרימת תוכנה לפיתוח מערכות למידה היא חיונית להבטיח את תקיפותם ואת הגנתם של היישומי AI.
שאלות נפוצות (שאלות)
The source of the article is from the blog crasel.tk