Výskumníci z HiddenLayer nedávno identifikovali bezpečnostné zraniteľnosti vo veľkom jazykovom modeli Gemini od Googlu (LLM). Tieto zraniteľnosti majú potenciál odhaliť systémové inštrukcie, generovať škodlivý obsah a umožniť nepriame útoky cez vstrekovanie. Aj keď tieto problémy ovplyvňujú nielen spotrebiteľov, ktorí používajú pokročilý Gemini s Google Workspace, ale aj spoločnosti využívajúce LLM API, je dôležité zdôrazniť potrebu bezpečných postupov v oblasti AI.
Jedna zraniteľnosť spočíva v obchádzaní bezpečnostných ochranárskych pravidiel na únik systémových inštrukcií. Tieto inštrukcie sú nevyhnutné pre LLM a pomáhajú pri generovaní vhodných odpovedí. Útočníci môžu využiť túto zraniteľnosť požiadavkou modelu na výstup jeho „základných inštrukcií“ v bloku markdown. Dokumentácia Microsoftu k inžinierii promptov LLM zdôrazňuje úlohu kontextu pri generovaní užitočnejších odpovedí.
Ďalšia zraniteľnosť vyplýva zo zraniteľnosti modelov voči synonymickým útokom, podkopávajúc bezpečnostné obrany a obmedzenia obsahu. Použitím techník „šikovného jailbreakingu“ môžu útočníci manipulovať modely Gemini tak, aby generovali dezinformácie o témach ako voľby alebo výstup potenciálne nebezpečných a nelegálnych informácií. Toto je možné dosiahnuť tým, že modelu je poskytnutý fiktívny stav.
Tretia zraniteľnosť spočíva v možnosti LLM uniknúť informácie prostredníctvom systémových promptov. Vložením opakovaných neobvyklých tokenov môže byť LLM oklamaný do toho, že by mal reagovať, čo má za následok výstup potvrdzovacej správy, ktorá zvyčajne obsahuje informácie poskytnuté v prompte.
Výskumníci tiež objavili test zahŕňajúci pokročilý Gemini a špeciálne vytvorený dokument Google prepojený s LLM prostredníctvom rozšírenia Google Workspace. Útočník môže premostiť inštrukcie modelu a získať kontrolu nad interakciami používateľa s modelom, čo môže viesť k malicióznym akciám.
Napriek týmto zraniteľnostiam je dôležité uznať, že nie sú jedinečné pre Googleho Gemini LLM a môžu byť nájdené v iných jazykových modeloch v priemysle. Tým sa zdôrazňuje potreba dôkladného testovania na odhalenie a zmiernenie útokov prostredníctvom promptov, extrakcie dát, manipulácie modelov, adversárnych príkladov, otravy dát a exfiltračných techník.
Google si uvedomuje význam riešenia týchto problémov. Spoločnosť vykonáva cvičné útoky a neustále trénuje svoje modely na obranu proti vstrekovaniu promptov, jailbreakingu a iným adversárnym správaniam. Okrem toho sú prijaté opatrenia na zabránenie škodlivým alebo zavádzajúcim reakciám, k pričom sa neustále robia vylepšenia.
Na ochranu používateľov pred potenciálnymi rizikami Google implementuje obmedzenia na odpovede na otázky súvisiace s voľbami. Tento preventívny prístup má za cieľ zabrániť šíreniu nepravdivých informácií o kandidátoch, politických stranách, výsledkoch volieb, informáciách o hlasovaní a významných úradníkoch.
Objavenie týchto zraniteľností slúži ako pripomienka stále sa meniacim bezpečnostným výzvam v oblasti technológie AI. Je dôležité, aby výskumníci, vývojári a organizácie priorizovali bezpečnostné posudky, implementovali ochranné opatrenia a zostali ostražití, aby zabezpečili bezpečné a zodpovedné používanie jazykových modelov.
FAQ
The source of the article is from the blog myshopsguide.com