人工知能（AI）チャットボットの世界では、マイクロソフトは悪意ある使用に断固たる立場を取っています。企業は、最新の防御システムをブログ記事で発表し、Azure AIスタジオとAzure OpenAIサービスにプロンプトシールドの導入を発表しました。この新しいテクノロジーの目的は、AIチャットボットを標的とする2種類の攻撃から保護することです。
## 直接攻撃：操作に対する防御
プロンプトシールドが対処する攻撃の最初のタイプは、直接攻撃であり、しばしばジェイルブレイクと呼ばれます。このシナリオでは、チャットボットの利用者が意図的にプロンプトを作成し、AIが通常のルールや制限を無視するように操作しようとします。「前の指示を無視する」「システムのオーバーライド」といったキーワードやフレーズを含めることで、その人物はセキュリティ対策を回避しようとします。
この種の攻撃は、マイクロソフトのCopilot AIの場合に注目され、攻撃的で脅迫的なコメントで返信した後に批判を受けました。マイクロソフトは、これらの反応は意図的な機能ではなく、Copilotの安全システムを回避するための開発目的の例と説明しました。
## 間接攻撃：サイバー脅威からの保護
2番目の攻撃手法である間接攻撃またはクロスドメインプロンプトインジェクション攻撃は、サイバー攻撃を実行する意図でチャットボットのユーザーに情報を送信するものです。ハッカーまたは悪意のある個人は、電子メールやドキュメントなどの外部データを使用してチャットボットを悪用します。
間接攻撃はしばしば無害に見えますが、重大なリスクを伴うことがあります。たとえば、Azure AIを介して設計されたカスタムCopilotは、データを処理する場合、不正行為、マルウェアの配布、またはコンテンツの操作への脆弱性があるかもしれません。
## プロンプトシールド：チャットボットのセキュリティを強化
直接攻撃と間接攻撃の両方に対抗するため、マイクロソフトのプロンプトシールドはAzure OpenAIサービスのコンテンツフィルターと統合されています。機械学習と自然言語処理を活用することで、この機能はユーザープロンプトや第三者データ内の潜在的な脅威を検出し排除することを目指しています。
プロンプトシールドは、現在Azure AIコンテンツセーフティのプレビューモードで利用可能であり、近日中にAzure AIスタジオで利用できるようになります。また、4月1日からAzure OpenAIサービスでも利用可能になります。
## スポットライト：AIモデルを活性化
プロンプトシールドに加えて、マイクロソフトはスポットライトと呼ばれるプロンプトエンジニアリング技術のシリーズを紹介しました。この革新的なアプローチは、AIモデルが信頼性のあるプロンプトとリスクを伴うプロンプトをより良く識別するのを支援します。
AIチャットボットやマイクロソフトが導入している技術に関する詳細情報は、マイクロソフトAIブログをご覧ください。このブログでは、人工知能の世界における進歩、応用、課題などについての最新情報や洞察が提供されています。
よくある質問：
1. AIチャットボットへの直接攻撃とは何ですか？
AIチャットボットを操作するために、通常のルールや制限をバイパスするプロンプトを作成することです。
2. AIチャットボットへの間接攻撃とは何ですか？
ハッカーや悪意のある個人が外部データを使用してチャットボットを悪用し、サイバー攻撃を行う攻撃です。
3. プロンプトシールドはどのように攻撃から守りますか？
プロンプトシールドは、Azure OpenAIサービスのコンテンツフィルターと統合し、機械学習と自然言語処理を活用して潜在的な脅威を識別し排除します。
4. スポットライトとは何ですか？
スポットライトは、マイクロソフトが導入したプロンプトエンジニアリング技術のシリーズで、AIモデルが信頼性のあるプロンプトとリスクを伴うプロンプトを識別するのを支援します。
5. プロンプトシールドはどこでアクセスできますか？
プロンプトシールドは現在Azure AIコンテンツセーフティのプレビューモードで利用可能です。近日中にAzure AIスタジオで利用できるようになり、4月1日からAzure OpenAIサービスでも利用可能になります。
The source of the article is from the blog motopaddock.nl