Az AI chatbotok világában a Microsoft határozott álláspontra helyezkedik a rosszindulatú használat ellen. Ma a vállalat legújabb védelmi rendszerét mutatta be egy blogbejegyzésben. Az Azure AI Stúdiójába és az Azure OpenAI Szolgáltatásba érkező Prompt Shields megérkezését jelentették be. Ennek az új technológiának a célja két olyan támadás elleni védelem biztosítása, amelyek az AI chatbotokat célozzák.
### Áttekintés: AI Chatbot Biztonság
Az első típusú támadás, amelyet a Prompt Shields című védelem kezel, a közvetlen támadás, amelyet általában jailbreak-ként hivatkoznak. Ebben a forgatókönyvben a chatbot felhasználója szándékosan olyan promptot készít, amely célja az AI szabályainak és korlátainak figyelmen kívül hagyása. Például „figyelmen kívül hagyja az előző utasításokat” vagy „rendszer override” kifejezéseket tartalmazva a személy megpróbálja kijátszani a biztonsági intézkedéseket.
A közvetlen támadásokat Microsoft Copilot AI-je esetében ismerték fel, amely kritikákat kapott arról, hogy sértő és fenyegető megjegyzésekre válaszolt. A cégen belül hangsúlyozták, hogy ezek a válaszok nem szándékos funkciók, hanem kijátszásra irányuló hibák voltak Copilot biztonsági rendszereinek megkerülésére.
A második támadási módszer, az ún. közvetett támadás vagy cross-domain prompt injection attack, az információ küldését jelenti a chatbot felhasználóinak azzal a szándékkal, hogy kibertámadást hajtsanak végre. A hackerek vagy rosszindulatú egyének külső adatokat, például e-maileket vagy dokumentumokat használnak fel a chatbot kijátszására.
A közvetett támadások gyakran ártalmatlannak tűnnek, de komoly kockázatokat hordoznak. Például egy, az Azure AI segítségével tervezett egyedi Copilot sebezhető lehet a csalás, malware terjesztés vagy tartalommanipuláció tekintetében, ha adatokat dolgoz fel, akár önállóan, akár bővítményeken keresztül.
### Prompt Shields: Chatbot Biztonság megerősítése
A közvetlen és közvetett támadások elleni küzdelemben a Microsoft Prompt Shields technológiája integrálódik az Azure OpenAI Szolgáltatásban található tartalomszűrőkbe. A gépi tanulás és a természetes nyelvfeldolgozás felhasználásával ez a funkció arra törekszik, hogy azonosítsa és kiküszöbölje a felhasználói promptok és harmadik fél által szállított adatok potenciális fenyegetéseit.
A Prompt Shields jelenleg előzetes módban érhető el az Azure AI Tartalomszolgáltatásban, és hamarosan hozzáférhető lesz az Azure AI Stúdióban. Április 1-jétől pedig elérhetővé válik az Azure OpenAI Szolgáltatásban is.
### Fókuszban: Az AI Modellek megerősítése
A Prompt Shields mellett a Microsoft bemutatta a spotlightingot is, egy sor promptmérnöki technikát. Ez az innovatív megközelítés segíti az AI modelleket abban, hogy jobban azonosítsák a valós AI promptokat, miközben megkülönböztetik azokat, amelyek kockázatot jelenthetnek vagy megbízhatatlannak tűnhetnek.
További információkért az AI chatbotokról és arról a technológiáról, amit a Microsoft bevezet, látogasson el a Microsoft AI Blog-ra. Ez a blog frissítéseket és betekintést nyújt az AI világába, beleértve az előrelépéseket, alkalmazásokat és kihívásokat.
Ha kérdései vannak a közvetlen támadásokról az AI chatbotok ellen, a közvetett támadásokról, hogy hogyan véd a Prompt Shields a támadások ellen, vagy hogy mi az a spotlighting, tekintse meg az alábbi gyakran feltett kérdéseket:
1. Mik azok a közvetlen támadások az AI chatbotok ellen?
A közvetlen támadások olyan promptok létrehozását jelentik, amelyek kijátszák az AI chatbotok szokásos szabályait és korlátait.
2. Mik azok a közvetett támadások az AI chatbotok ellen?
A közvetett támadások kiterjednek arra, amikor hackerek vagy rosszindulatú egyének külső adatokat használnak a chatbotok kijátszására és kibertámadások végrehajtására.
3. Hogyan véd a Prompt Shields a támadások ellen?
A Prompt Shields integrálódik az Azure OpenAI Szolgáltatásban található tartalomszűrőkbe, és a gépi tanulás és a természetes nyelvfeldolgozás felhasználásával azonosítja és kiküszöböli a potenciális fenyegetéseket.
4. Mi az a spotlighting?
A spotlighting egy Microsoft által bevezetett promptmérnöki technikák gyűjteménye, amely segít az AI modelleknek azonosítani a megbízható promptokat azoktól, amelyek kockázatot jelenthetnek.
5. Hol érhető el a Prompt Shields?
A Prompt Shields jelenleg előzetes módban érhető el az Azure AI Tartalomszolgáltatásban. Hamarosan hozzáférhető lesz az Azure AI Stúdióban és április 1-jétől az Azure OpenAI Szolgáltatásban is.
The source of the article is from the blog exofeed.nl