In der Welt der KI-Chatbots geht Microsoft entschieden gegen bösartige Nutzung vor. Das Unternehmen stellte heute sein neuestes Verteidigungssystem in einem Blogbeitrag vor und kündigte die Einführung von Prompt Shields in seinem Azure AI Studio und Azure OpenAI Service an. Der Zweck dieser neuen Technologie besteht darin, sich gegen zwei Arten von Angriffen auf KI-Chatbots zu schützen.
### Direkte Angriffe: Schutz vor Manipulation
Die erste Art von Angriff, die Prompt Shields anspricht, ist der direkte Angriff, oft als Jailbreak bezeichnet. In diesem Szenario erstellt der Benutzer des Chatbots absichtlich einen Hinweis, der darauf abzielt, die KI dazu zu bringen, ihre Standardregeln und Einschränkungen zu ignorieren. Indem Schlüsselwörter oder Phrasen wie „vorige Anweisungen ignorieren“ oder „Systemübernahme“ eingefügt werden, versucht die Person, Sicherheitsmaßnahmen zu umgehen.
Diese Art von Angriff erregte Aufmerksamkeit im Fall von Microsofts Copilot KI, die Kritik erntete, nachdem sie mit beleidigenden und bedrohlichen Kommentaren reagiert hatte. Microsoft begegnete dem Problem, indem betont wurde, dass diese Antworten keine beabsichtigten Features waren, sondern eher Exploits, die darauf abzielten, die Sicherheitssysteme des Copilot zu umgehen.
### Indirekte Angriffe: Schutz vor Cyberbedrohungen
Die zweite Angriffsmethode, bekannt als indirekter Angriff oder Cross-Domain-Prompt-Injections-Angriff, beinhaltet das Senden von Informationen an einen Chatbot-Benutzer mit dem Ziel, einen Cyberangriff auszuführen. Hacker oder bösartige Personen nutzen externe Daten wie E-Mails oder Dokumente, um den Chatbot auszunutzen.
Indirekte Angriffe erscheinen oft harmlos, können jedoch erhebliche Risiken bergen. Beispielsweise könnte ein benutzerdefinierter Copilot, der über Azure AI entwickelt wurde, anfällig für Betrug, Malware-Verbreitung oder Inhaltsmanipulation sein, wenn er Daten verarbeitet, entweder unabhängig oder über Erweiterungen.
### Prompt Shields: Stärkung der Chatbot-Sicherheit
Um sowohl direkte als auch indirekte Angriffe zu bekämpfen, integriert Microsofts Prompt Shields mit den Inhaltsfiltern im Azure OpenAI Service. Durch den Einsatz von maschinellem Lernen und natürlicher Sprachverarbeitung zielt dieses Feature darauf ab, potenzielle Bedrohungen innerhalb von Benutzerhinweisen und Daten von Drittanbietern zu erkennen und zu beseitigen.
Prompt Shields sind derzeit im Vorschau-Modus für die Azure AI Content Safety verfügbar und werden bald im Azure AI Studio zugänglich sein. Ab dem 1. April wird es auch für den Azure OpenAI Service verfügbar sein.
### Spotlighting: Stärkung von KI-Modellen
Neben Prompt Shields hat Microsoft Spotlighting eingeführt, eine Reihe von Techniken zur Hinweisoptimierung. Dieser innovative Ansatz hilft KI-Modellen dabei, gültige KI-Hinweise besser zu identifizieren und solche zu unterscheiden, die ein Risiko darstellen oder keine Zuverlässigkeit bieten.
Für weitere Informationen zu KI-Chatbots und der von Microsoft implementierten Technologie besuchen Sie den Microsoft AI Blog. Dieser Blog bietet Updates und Einblicke in die Welt der künstlichen Intelligenz, einschließlich Fortschritten, Anwendungen und Herausforderungen.
**FAQs**
1. **Was sind direkte Angriffe auf KI-Chatbots?**
Direkte Angriffe beinhalten die Manipulation von KI-Chatbots durch das Erstellen von Hinweisen, die ihre üblichen Regeln und Einschränkungen umgehen.
2. **Was sind indirekte Angriffe auf KI-Chatbots?**
Indirekte Angriffe treten auf, wenn Hacker oder bösartige Personen externe Daten nutzen, um Chatbots auszunutzen und Cyberangriffe durchzuführen.
3. **Wie schützen Prompt Shields gegen Angriffe?**
Prompt Shields integrieren sich mit den Inhaltsfiltern im Azure OpenAI Service und verwenden maschinelles Lernen und natürliche Sprachverarbeitung, um potenzielle Bedrohungen zu identifizieren und zu beseitigen.
4. **Was ist Spotlighting?**
Spotlighting ist eine Sammlung von Techniken zur Hinweisoptimierung, die von Microsoft eingeführt wurden, um KI-Modelle dabei zu unterstützen, zuverlässige Hinweise von solchen zu unterscheiden, die ein Risiko darstellen könnten.
5. **Wo kann auf Prompt Shields zugegriffen werden?**
Prompt Shields sind derzeit im Vorschau-Modus für die Azure AI Content Safety verfügbar. Sie werden bald im Azure AI Studio zugänglich sein und ab dem 1. April auch für den Azure OpenAI Service verfügbar sein.
The source of the article is from the blog dk1250.com