Дослідники з HiddenLayer нещодавно виявили вразливості безпеки у великій мовній моделі Gemini (LLM) від Google. Ці вразливості можуть призвести до витоку системних промптів, генерації шкідливого контенту та можливості опосередкованих атак ін’єкції. Хоча проблеми впливають як на користувачів, які використовують Gemini Advanced у Google Workspace, так і на компанії, що використовують API LLM, важливо підкреслити потребу у безпеці в технології штучного інтелекту.
Одна з вразливостей полягає в обхіді захисних бар’єрів для витоку системних промптів. Ці промпти надають важливі інструкції LLM, допомагаючи генерувати відповідні реакції. Запитуючи модель вивести свої “фундаментальні інструкції” у блоку markdown, зловмисники можуть використати цю вразливість. Документація Microsoft щодо інженерії промптів LLM підкреслює важливість контексту в генерації більш корисних реакцій.
Інша вразливість походить від уразливості моделей до синонімічних атак, які підіривають захисні механізми та обмеження контенту. Використовуючи техніки “кмітливого джейлбрейку”, зловмисники можуть маніпулювати моделями Gemini для генерації дезінформації щодо таких тем, як вибори, або виведення потенційно небезпечної та незаконної інформації. Це можливо, запитавши модель ввести фіктивний стан.
Третя вразливість полягає в можливості LLM протікати інформацію через системний промпт. Подавши повторювані незвичайні токени, LLM може бути обманута вірити, що вона повинна відповісти, що призводить до виведення повідомлення підтвердження, яке зазвичай містить інформацію, надану у промпті.
Дослідники також виявили тест, пов’язаний з Gemini Advanced і спеціально створеним документом Google, пов’язаним з LLM за допомогою розширення Google Workspace. Перевершивши інструкції моделі, зловмисник може отримати контроль над взаємодією користувача з моделлю, що може призвести до зловживань.
Незважаючи на ці вразливості, важливо визнати, що вони не є унікальними для Gemini LLM від Google і можуть бути знайдені в інших мовних моделях у всій галузі. Це підкреслює потребу у ретельному тестуванні для виявлення та зменшення атак на промпти, витоку даних, маніпулювання моделлю, ворожильних прикладів, отруєння даних і екстракції.
Google визнає важливість вирішення цих питань. Компанія проводить червоні вправи та постійно тренує свої моделі для захисту від ін’єкцій промптів, джейлбрейкінгу та інших ворожильних поведінок. Крім того, прийняті заходи для уникнення шкідливих або вводячих в оману відповідей з подальшими поліпшеннями.
Для захисту користувачів від потенційних ризиків Google реалізує обмеження відповідей на запитання, пов’язані з виборами. Цей превентивний підхід спрямований на запобігання поширенню недостовірної інформації щодо кандидатів, політичних партій, результатів виборів, виборчої інформації та видатних посадовців.
Виявлення цих вразливостей слугує нагадуванням про постійно зростаючі виклики безпеки в технології штучного інтелекту. Важливо, щоб дослідники, розробники та організації пріоритизували оцінку безпеки, впроваджували заходи захисту та залишалися бджолами, щоб забезпечити безпечне та відповідальне використання мовних моделей.
ЧаПП (Часто задавані питання)
The source of the article is from the blog scimag.news