Команда красной команды Microsoft возглавляет революцию в стратегиях красной команды, используя силу автоматизации ИИ. В отличие от традиционных подходов к красной команде, которые фокусируются на оценке рисков безопасности в классических программах или системах искусственного интеллекта, включение красной команды в генеративные ИИ-системы предполагает оценку как безопасности, так и рисков ответственного использования ИИ одновременно. Этот новаторский подход прокладывает путь для более всесторонних и эффективных практик красной команды.
Один из ключевых вызовов включения красной команды в генеративные ИИ-системы заключается в вероятностном характере этих систем. В отличие от старых программных систем, где повторное использование того же пути атаки давало бы похожие результаты, генеративные ИИ-системы обладают высоким уровнем недетерминизма. Это означает, что одинаковые входные данные могут давать разнообразные и неожиданные результаты. Для преодоления этого вызова команда красной команды Microsoft разработала фреймворк под названием PyRIT, который автоматизирует повторяющиеся действия и предоставляет профессионалам по безопасности необходимые инструменты для выявления потенциальных уязвимостей и их детального исследования.
Архитектура генеративных ИИ-систем сильно различается, от автономных приложений до интеграций в существующие приложения, а также по разным модальностям, таким как текст, аудио, фотографии и видео. Это разнообразие представляет существенный вызов для ручной проверки красной команды. Команда красной команды Microsoft признает необходимость эффективных и упрощенных методик оценки для решения этих сложностей.
Для решения этих вызовов Microsoft разработал новый набор инструментов, специально предназначенный для работы с генеративными ИИ-системами в красной команде. Этот набор инструментов использует опыт команды красной команды по ИИ, а также ресурсы из различных подразделений Microsoft, таких как Офис по ответственному использованию ИИ и Центр справедливости в Microsoft Research. Комбинируя человеческое предметное знание с ИИ-автоматизацией, этот набор инструментов делает профессионалам по безопасности возможным более эффективно выявлять и устранять риски в генеративных ИИ-системах.
В заключение, команда красной команды Microsoft стоит во главе революции стратегий красной команды с помощью ИИ-автоматизации. Их инновационный подход, вместе с разработкой PyRIT и новым набором инструментов, устанавливает новый стандарт для оценки рисков безопасности и ответственного использования ИИ в генеративных ИИ-системах. Благодаря этой революционной работе, Microsoft помогает бизнесу и организациям этично инновировать с использованием ИИ, обеспечивая защиту от потенциальных угроз.
The source of the article is from the blog yanoticias.es