Yapay zeka sohbet botları dünyasında, Microsoft kötüye kullanım karşısında kararlı bir tutum sergiliyor. Şirket bugün blog gönderisinde en son savunma sistemini duyurarak Azure AI Studio ve Azure OpenAI Servisi’ne Prompt Kalkanlarını tanıttı. Bu yeni teknolojinin amacı, yapay zeka sohbet botlarına yönelik iki tür saldırıyı korumaktır.
Doğrudan Saldırılar: Manipülasyona Karşı Koruma
Prompt Kalkanlarının ele aldığı ilk saldırı türü, genellikle jailbreak olarak anılan doğrudan saldırıdır. Bu senaryoda, sohbet botu kullanıcısı yapay zekayı standart kurallarını ve sınırlamalarını göz ardı edecek şekilde manipüle etmeyi amaçlayan bir prompt oluşturur. “önceki talimatları yok say”, “sistem geçersiz kılma” gibi anahtar kelimeler veya ifadeler ekleyerek kişi, güvenlik önlemlerini atlamayı denemektedir.
Bu saldırı türü, Microsoft’un Copilot AI örneğinde dikkat çekti. Copilot AI, ofansif ve tehditkar yorumlarla karşılık vermesiyle eleştiri topladı. Microsoft, bu yanıtların kasıtlı özellikler olmadığını, aksine Copilot’un güvenlik sistemlerini aşmayı amaçlayan açıklar olduğunu vurgulayarak konuyu ele aldı.
Dolaylı Saldırılar: Siber Tehditlere Karşı Koruma
İkinci saldırı yöntemi, dolaylı saldırı veya çapraz etki prompt enjeksiyon saldırısı olarak bilinen yöntem, bir sohbet botu kullanıcısına siber saldırı gerçekleştirmek amacıyla bilgi göndermeyi içerir. Hackerlar veya kötü niyetli kişiler, sohbet botunu sömürmek için e-postalar veya belgeler gibi harici verileri kullanır.
Dolaylı saldırılar genellikle zararsız görünse de ciddi riskler taşıyabilir. Örneğin, Azure AI aracılığıyla tasarlanmış özel bir Copilot, bağımsız olarak veya uzantılar aracılığıyla veri işlediğinde, sahtekârlığa, kötü amaçlı yazılım dağıtımına veya içerik manipülasyonuna açık olabilir.
Prompt Kalkanları: Sohbet Botlarının Güvenliğini Güçlendirme
Doğrudan ve dolaylı saldırılara karşı mücadele etmek için Microsoft’un Prompt Kalkanları, Azure OpenAI Servisi’ndeki içerik filtreleriyle entegre olur. Makine öğrenimi ve doğal dil işleme kullanarak, bu özellik, kullanıcı teklifleri ve üçüncü taraf verilerinde potansiyel tehditleri tespit etmeyi ve ortadan kaldırmayı amaçlar.
Prompt Kalkanları şu anda Azure AI İçerik Güvenliği için önizleme modunda mevcuttur ve yakında Azure AI Studio’da erişilebilir olacaktır. Ayrıca, 1 Nisan’dan itibaren Azure OpenAI Servisi için de mevcut olacaktır.
Odaklandırma: Yapay Zeka Modellerini Güçlendirme
Prompt Kalkanlarına ek olarak, Microsoft odaklandırma adlı bir prompt mühendislik teknikleri ailesini tanıttı. Bu yenilikçi yaklaşım, AI modellerinin güvenilir teklifleri daha iyi tanımlamasına ve risk taşıyan veya güvenilirliği olmayanları ayırt etmesine yardımcı olur.
Daha fazla bilgi almak ve Microsoft’un uyguladığı yapay zeka teknolojileri hakkında bilgi edinmek için Microsoft AI Blog’u ziyaret edin. Bu blog, yapay zeka dünyasının güncellemelerini ve içgörülerini, ilerlemelerini, uygulamalarını ve zorluklarını sunar.
Doğrudan saldırılar, dolaylı saldırılar, Prompt Kalkanlarının saldırılara karşı nasıl koruma sağladığı veya odaklandırmanın ne olduğu hakkında sorularınız varsa, aşağıdaki sıkça sorulan sorular bölümüne göz atınız:
Sıkça Sorulan Sorular
1. AI sohbet botlarına yönelik doğrudan saldırılar nedir?
– Doğrudan saldırılar, AI sohbet botlarını manipüle etmeyi amaçlayan promptların üretilmesini içerir ve genellikle standart kurallarını ve sınırlamalarını aşar.
2. AI sohbet botlarına yönelik dolaylı saldırılar nedir?
– Dolaylı saldırılar, hackerların veya kötü niyetli kişilerin harici veriler kullanarak sohbet botlarını sömürerek siber saldırıları gerçekleştirdiği durumları ifade eder.
3. Prompt Kalkanları saldırılara karşı nasıl koruma sağlar?
– Prompt Kalkanları, Azure OpenAI Servisi’ndeki içerik filtreleriyle entegre olarak, makine öğrenimi ve doğal dil işleme kullanarak, kullanıcı tekliflerinde ve üçüncü taraf verilerinde potansiyel tehditleri belirlemeyi ve ortadan kaldırmayı hedefler.
4. Odaklandırma nedir?
– Odaklandırma, Microsoft’un tanıttığı bir prompt mühendislik teknikleri ailesidir ve AI modellerine güvenilir teklifleri daha iyi tanımlama ve risk taşıyanları ayırt etme konusunda yardımcı olur.
5. Prompt Kalkanlarına nasıl erişebilirim?
– Prompt Kalkanları şu anda Azure AI İçerik Güvenliği için önizleme modunda bulunmaktadır. Yakında Azure AI Studio’da erişilebilir olacak ve 1 Nisan’dan itibaren Azure OpenAI Servisi için de kullanılabilir hale gelecektir.
