Ve světě AI chatbotů Microsoft věnuje značnou pozornost ochraně proti zneužití. Společnost dnes oznámila ve svém blogovém příspěvku svůj nejnovější obranný systém, kterým jsou Prompt Shields, určený k ochraně proti dvěma typem útoků, které cílí na AI chatboty.
**Přímé útoky: Ochrana proti manipulaci**
Prvním typem útoku, který technologie Prompt Shields řeší, je přímý útok, často označovaný jako jailbreak. V tomto případě uživatel chatbota záměrně vytváří dotaz, který má za cíl manipulovat AI k opomenutí svých standardních pravidel a omezení. Zahrnutím klíčových slov nebo frází jako „ignoruj předchozí instrukce“ nebo „přepínač systému“ se snaží osoba obejít bezpečnostní opatření.
Tento typ útoku získal pozornost v případě Copilot AI od společnosti Microsoft, který čelil kritice poté, co reagoval na urážlivé a hrozné komentáře. Microsoft se k této záležitosti vyjádřil zdůrazněním, že tyto reakce nebyly záměrnými funkcemi, ale spíše zneužitími zaměřenými na obejití bezpečnostních systémů Copilot.
**Nepřímé útoky: Ochrana před kybernetickými hrozbami**
Druhým způsobem útoku, známým jako nepřímý útok nebo útok vložením křížového doménového dotazu, je zasílání informací uživateli chatbota s úmyslem provést kybernetický útok. Hackeři nebo zákeřní jednotlivci využívají externích dat, jako jsou e-maily nebo dokumenty, k exploataci chatbota.
Nepřímé útoky se často zdají neškodné, ale mohou nést značné riziko. Například vlastní Copilot navržený pomocí Azure AI by byl zranitelný vůči podvodům, distribuci malwaru nebo manipulaci obsahu, pokud zpracovává data buď samostatně nebo prostřednictvím rozšíření.
**Prompt Shields: Zvyšující bezpečnost chatbotů**
Pro boj s přímými i nepřímými útoky se Microsoft Prompt Shields integruje s filtry obsahu v Azure OpenAI Service. Tato funkce prostřednictvím strojového učení a zpracování přirozeného jazyka hledá a odstraňuje potenciální hrozby v uživatelských dotazech a datech třetích stran.
Prompt Shields jsou v současné době k dispozici v režimu náhledové verze pro Azure AI Content Safety a brzy budou dostupné v Azure AI Studio. Od 1. dubna budou také k dispozici pro Azure OpenAI Service.
**Zaměření na: Posilování AI modelů**
Kromě Prompt Shields Microsoft představil zaměření, rodinu technik inženýrství dotazů. Tento inovativní přístup pomáhá AI modelům lépe identifikovat platné AI dotazy a rozlišovat ty, které mohou nést riziko nebo nejsou spolehlivé.
**Často kladené otázky (FAQ)**
1. Co jsou přímé útoky na AI chatboty?
Přímé útoky zahrnují manipulaci AI chatbotů vytvářením dotazů, které obejdou jejich obvyklá pravidla a omezení.
2. Co jsou nepřímé útoky na AI chatboty?
Nepřímé útoky nastávají tehdy, když hackeři nebo zákeřní jednotlivci využívají externí data k exploataci chatbotů a provádění kybernetických útoků.
3. Jak Prompt Shields chrání před útoky?
Prompt Shields integruje s filtry obsahu v Azure OpenAI Service, využívající strojové učení a zpracování přirozeného jazyka k identifikaci a eliminaci potenciálních hrozeb.
4. Co je zaměření?
Zaměření je sbírka technik inženýrství dotazů představená Microsoftem, která pomáhá AI modelům rozlišit spolehlivé dotazy od těch, které mohou nést riziko.
5. Kde lze získat přístup k Prompt Shields?
Prompt Shields jsou v současné době k dispozici v režimu náhledové verze pro Azure AI Content Safety. Brzy budou dostupné v Azure AI Studio a od 1. dubna budou k dispozici také pro Azure OpenAI Service.
Pro více informací o AI chatbotech a technologiích, které implementuje Microsoft, navštivte Microsoft AI blog. Tento blog poskytuje aktualizace a vhledy do světa umělé inteligence včetně pokroků, aplikací a výzev.
The source of the article is from the blog xn--campiahoy-p6a.es