HiddenLayeri teadlased on hiljuti tuvastanud turvariskid Google’i Gemini suures keelemudelis (LLM). Need haavatavused võivad paljastada süsteemikäsklusi, tekitada kahjulikku sisu ja võimaldada kaudseid süstimisrünnakuid. Kuigi need probleemid mõjutavad nii tarbijaid, kes kasutavad Google Workspace’iga Gemini Advancedit, kui ka ettevõtteid, kes kasutavad LLM API-d, on oluline rõhutada vajadust turvaliste tavade järele AI-tehnoloogias.
Üks haavatavus hõlmab turvapiirdevormide ümbersõitmist süsteemikäskude lekkeks. Need käskud annavad olulisi juhiseid LLM-le, aitamaks luua asjakohaseid vastuseid. Mudelilt nõutades väljundit oma “alusjuhistes” märkeruudus, saavad ründajad seda haavatavust ära kasutada. Microsofti dokumentatsioon LLM-i käskude insenerimise kohta rõhutab konteksti rolli, et luua kasulikumaid vastuseid.
Teine haavatavus tuleneb mudelite vastuvõtlikkusest sünonüümide rünnakutele, alahinnates turvakaitsmeid ja sisupiiranguid. Kasutades “nutikaid jailbreaking” tehnikaid, saavad ründajad manipuleerida Gemini mudeleid genereerimaks valeinfot teemadel nagu valimised või potentsiaalselt ohtlikku ja ebaseaduslikku infot. Seda saab teha mudelilt küsimusega minnes fiktiivsesse olekusse.
Kolmas haavatavus seisneb LLM-i võimalikus infolekkeks süsteemikäsu kaudu. Korduvate ebaharilike märksõnade sisestamisega saab LLM petta uskuma, et see peaks vastama, tulemuseks kinnitussõnum, mis sisaldab tavaliselt käskudes antud infot.
Teadlased on avastanud ka eksperimendi Gemini Advancedi ja eriliselt loodud Google’i dokumendi vahel, mis on ühendatud LLM-iga Google Workspace’i laienduse kaudu. Mudeli juhiste ülekirjutamisega saab ründaja kontrolli kasutaja suhtlemise üle mudeliga, mis võib viia pahatahtlike tegevusteni.
Vaadates neid haavatavusi, on oluline märkida, et need ei ole ainulaadsed Google’i Gemini LLM-ile, vaid neid võib leida ka teistes keelemudelites kogu tööstuses. See rõhutab vajadust põhjaliku testimise järele, et avastada ja leevendada käsu rünnakuid, andmeväljavõtmist, mudeli manipuleerimist, vaenulike näidete, andmete mürgitamist ja väljavoolu.
Google tunnistab nende probleemide lahendamise tähtsust. Ettevõte teostab punase meeskonna treeninguid ja koolitab pidevalt oma mudeleid kaitsmaks end käsu süstimise, jailbreakingu ja muude vaenulike käitumiste eest. Lisaks on võetud meetmeid kahjulike või eksitavate vastuste ennetamiseks ning pidevalt tehakse parendusi.
Kasutajate kaitsmiseks võimalike riskide eest rakendab Google piiranguid vastustele seoses valimisega seotud päringutega. See proaktiivne lähenemine eesmärgiga takistada eksitava info levikut kandidaatide, poliitiliste parteide, valimistulemuste, hääletamisinfo ja tuntud ametikandjate kohta.
Need haavatavuste avastused on meeldetuletus pidevalt arenevatest turvaväljakutsetest AI-tehnoloogias. On oluline, et teadlased, arendajad ja organisatsioonid annaksid prioriteedi turbehindamistele, rakendaksid turvameetmeid ja jälgiksid pidevalt keelemudelite turvalist ja vastutustundlikku kasutamist.
KKK
The source of the article is from the blog qhubo.com.ni