Új sebezhetőségeket fedeztek fel a HiddenLayer kutatói a Google Gemini nagy nyelvi modelljében (LLM). Ezek a sebezhetőségek potenciálisan kitárhatják a rendszer utasításait, káros tartalmakat hozhatnak létre, és lehetővé tehetik az közvetett injektálási támadásokat. Bár ezek a problémák érintik a Gemini Advanced-et használó fogyasztókat a Google Workspace-el, valamint a vállalatokat, akik az LLM API-t használják, fontos kiemelni az AI technológiában való biztonságos gyakorlatok fontosságát.
Egyik sebezhetőség arra irányul, hogy megkerülje a biztonsági korlátokat, hogy kiszivárogtassa a rendszer utasításait. Ezek az utasítások alapvető útmutatásokat nyújtanak az LLM-nek, segítve a megfelelő válaszok előállítását. A támadók kihasználhatják ezt a sebezhetőséget, ha arra kérik a modellt, hogy a „megtalált alaputasításokat” adjon ki egy markdown blokkban. A Microsoft dokumentációja az LLM utasításainak mérnökségéről hangsúlyozza a kontextus szerepét a hasznosabb válaszok előállításában.
Másik sebezhetőség a modell azon hajlama, hogy szinonima támadásoknak legyen kitéve, ami alááshatja a biztonsági védelmet és a tartalmi korlátozásokat. Az „ügyes jailbreaking” technikákkal a támadók manipulálhatják a Gemini modelleket, hogy félrevezető információkat generáljanak például a választásokról vagy potenciálisan veszélyes és illegális információkat hozzanak létre. Ez elérhető lehet azáltal, hogy a modellt fiktív állapotba léptetik.
Harmadik sebezhetőség a LLM általános információk kiszivárgása a rendszeres utasítások révén. Rendszeres nem szokványos tokenek begépelésével az LLM-t be lehet csapni, hogy higgye, válaszolnia kell, és így visszaad egy megerősítő üzenetet, ami általában tartalmazza az utasításban megadott információkat.
A kutatók olyan tesztet is felfedeztek, ahol a Gemini Advanced és egy speciálisan elkészített Google dokumentumot kapcsoltak össze az LLM-mel a Google Workspace bővítményén keresztül. Az utasítások felülbírálásával a támadó ellenőrzést szerezhet egy felhasználó interakciói felett a modelllel, ami lehetőséget teremthet rosszindulatú intézkedésekre.
Annak ellenére, hogy ezek a sebezhetőségek fennállnak, fontos felismerni, hogy nem egyedülállóak a Google Gemini LLM esetében, és más iparági nyelvi modellekben is megtalálhatók. Ez hangsúlyozza a szigorú tesztelés szükségességét a támadások észleléséhez és megszüntetéséhez, az utasítások megjelenítése elkerüléséhez, az adatok manipulálásához, a modellmanipulációhoz, a támadó példákhoz, az adatmérgezéshez és az adatkiáramláshoz.
A Google elismeri azon fontosságát, hogy megoldja ezeket a kérdéseket. A cég piros-csapat-gyakorlatokat végez és folyamatosan képezi a modelleket az utasításinjekció, a jailbreaking és más ellenétes viselkedések elleni védekezés érdekében. Emellett intézkedések vannak érvényben a káros vagy félrevezető válaszok megakadályozására, folyamatos javításokkal.
Annak érdekében, hogy felhasználóit megvédje a potenciális veszélyektől, a Google korlátozásokat vezet be a válaszokra a választási témákra vonatkozóan. Ez a proaktív megközelítés a félrevezető információk terjedésének megakadályozására irányul a jelöltekkel, politikai pártokkal, választási eredményekkel, szavazási információkkal és jelentős tisztségviselőkkel kapcsolatban.
Ezen sebezhetőségek felfedezése emlékeztet minket az AI technológiában folyamatosan változó biztonsági kihívásokra. Fontos, hogy a kutatók, fejlesztők és szervezetek prioritásként kezeljék a biztonsági értékeléseket, megvalósítsák a védelmi rendszereket, és éberen figyeljenek annak érdekében, hogy biztonságosan és felelősségteljesen használják a nyelvi modelleket.
GYIK
The source of the article is from the blog motopaddock.nl