در دنیای گفت‌وگوهای هوش مصنوعی (AI)، شرکت مایکروسافت یک قدم محکم در برابر استفاده ناسالم قرار دارد. امروز، شرکت آخرین سیستم دفاعی خود را در یک پست بلاگ معرفی کرد و ورود جلوه‌های Prompt برای Azure AI Studio و سرویس OpenAI Azure را اعلام کرد. هدف از این فناوری جدید، حفاظت در برابر دو نوع حملاتی است که به گفت‌وگوهای هوش مصنوعی می‌افتد.
### حملات مستقیم: مقابله با انحراف
نوع اول حمله‌هایی که جلوه‌های Prompt آن را به خود می‌گیرد، حمله مستقیم است که اغلب به عنوان جلوه‌ی زندان یاد می‌شود. در این سناریو، کاربر گفت‌وگو به صورت قصدی یک جلوه را ایجاد می‌کند که هدف آن انحراف از قوانین و محدودیت‌های استاندارد هوش مصنوعی است. با شامل کلمات کلیدی یا عباراتی مانند “نادیده گرفتن دستورات قبلی” یا “غلبه بر سیستم”، شخص سعی می‌کند از تدابیر امنیتی گذر کند.
این نوع حمله در مورد Copilot AI مایکروسافت توجه بسیاری به خود جلب کرد که پس از پاسخ دادن با نظرات توهین‌آمیز و تهدیدآمیز مواجه شد. مایکروسافت با تأکید بر این نکته که این پاسخ‌ها ویژگی‌های عمدی نبودند بلکه از جاه‌طلبی‌هایی برای انحراف از سیستم‌های ایمنی Copilot بودند، به این مسئله پرداخت.
### حملات غیرمستقیم: حفاظت در برابر تهدیدات سایبری
روش دوم حمله، به نام حمله غیرمستقیم و یا حمله تزریق جلوه برد دامنه، شامل ارسال اطلاعات به کاربر گفت‌وگو با هدف اجرای یک حمله سایبری است. هکرها یا افراد مخرب از داده‌های خارجی مانند ایمیل‌ها یا اسناد برای بهره‌برداری از گفت‌وگوهای هوش مصنوعی استفاده می‌کنند.
حملات غیرمستقیم به نظر معصوم می‌آیند، اما می‌توانند مخاطرات قابل توجهی داشته باشند. به عنوان مثال، یک Copilot سفارشی طراحی شده از طریق Azure AI ممکن است در معرض خطر کلاهبرداری، توزیع مالوئی یا دستکاری محتوا باشد اگر اطلاعات را پردازش کند، به صورت مستقل یا از طریق افزونه‌ها.
### جلوه‌های Prompt: تقویت ایمنی گفت‌وگوگرهای هوش مصنوعی
به منظور مقابله با هر دو نوع حملات مستقیم و غیرمستقیم، جلوه‌های Prompt مایکروسافت با فیلترهای محتوا در سرویس OpenAI Azure یکپارچه می‌شود. با بهره‌گیری از یادگیری ماشین و پردازش زبان طبیعی، این ویژگی سعی دارد تهدیدات بالقوه را در دستورات کاربر و داده‌های شخص ثالث شناسایی و از بین برود.
جلوه‌های Prompt در حال حاضر در حالت پیش‌نمایش برای ایمنی محتوای AI Azure در دسترس است و به زودی در Azure AI Studio قابل دسترسی خواهد بود. از 1 آوریل، نیز برای سرویس OpenAI Azure در دسترس است.
### روشن سازی: تقویت مدل‌های هوش مصنوعی
علاوه بر جلوه‌های Prompt، مایکروسافت روشن‌آفرینی را معرفی کرده است، یک خانواده از تکنیک‌های مهندسی جلوه. این رویکرد نوآورانه به مدل‌های هوش مصنوعی کمک می‌کند تا دستورات AI معتبر را بهتر شناسایی کنند در حالی‌که آن‌هایی که ممکن است خطر ایجاد کنند یا به‌جا نباشد را تشخیص دهند.
اگر سوالاتی درباره حملات مستقیم بر روی گفت‌وگوگرهای هوش مصنوعی، حملات غیرمستقیم، چگونگی پوشش دادن جلوه‌های Prompt در مقابل حملات یا چیستی روشن‌آفرینی دارید، به بخش پرسش‌های متداول زیر مراجعه کنید:
1. حملات مستقیم بر روی گفت‌وگوگرهای هوش مصنوعی چیست؟
حملات مستقیم شامل انحراف از قوانین و محدودیت‌های گفت‌وگوگرهای هوش مصنوعی با ایجاد دستوراتی است.
2. حملات غیرمستقیم بر روی گفت‌وگوگرهای هوش مصنوعی چیست؟
حملات غیرمستقیم هنگامی رخ می‌دهند که هکرها یا افراد مخرب از داده‌های خارجی برای بهره‌برداری از گفت‌وگوگرها استفاده کنند و حملات سایبری انجام دهند.
3. چگونه جلوه‌های Prompt در مقابل حملات محافظت می‌کند؟
جلوه‌های Prompt با فیلترهای محتوا در سرویس OpenAI Azure یکپارچه می‌شود و با بهره‌گیری از یادگیری ماشین و پردازش زبان طبیعی، تهدیدات بالقوه را شناسایی و از بین می‌برد.
4. روشن‌آفرینی چیست؟
روشن‌آفرینی مجموعه‌ای از تکنیک‌های مهندسی جلوه معرفی شده توسط مایکروسافت است که به مدل‌های هوش مصنوعی در تشخیص دستورات معتبر AI کمک می‌کنند، در حالی‌که آن‌هایی که ممکن است خطر ایجاد کنند یا به‌جا نباشد را تمایز می‌دهند.
5. کجا می‌توان به جلوه‌های Prompt دسترسی داشت؟
جلوه‌های Prompt در حال حاضر در حالت پیش‌نمایش برای ایمنی محتوای AI Azure در دسترس است. به زودی در Azure AI Studio قابل دسترسی خواهد بود و از 1 آوریل برای سرویس OpenAI Azure در دسترس خواهد بود.
برای کسب اطلاعات بیشتر درباره گفت‌وگوگرهای هوش مصنوعی و تکنولوژی‌هایی که مایکروسافت در حال اجرا آنها است، به بلاگ AI مایکروسافت مراجعه کنید. این بلاگ به روزرسانی‌ها و بینش‌هایی درباره جهان هوش مصنوعی ارائه می‌دهد، شامل پیشرفت‌ها، کاربردها و چالش‌ها.
The source of the article is from the blog combopop.com.br