Ученые Массачусетского технологического института разработали передовую технику машинного обучения, которая улучшает тестирование безопасности искусственного интеллекта, особенно в моделях языка, используемых в современных чат-ботах. Новый подход отходит от традиционных усилий «команды Красных» и основан на стратегии, вызывающей любопытство для получения более широкого спектра токсичных ответов от искусственного интеллекта.
Обычно команды Красных из людей создавали задания, призванные вызвать небезопасное или неуместное содержание, которые затем использовались для обучения чат-ботов избегать таких разговоров. Однако успех этого метода зависел от способности тестеров предвидеть все возможные вредоносные запросы, что становилось все более сложной задачей с увеличением потенциала языка.
Исследователи МИТ из лаборатории невероятного искусственного интеллекта и MIT-IBM Watson AI Lab решают эту проблему, обучив модель языка команды Красных автономно создавать разнообразные задания. За счет внедрения любопытства в модель, она теперь ищет новые фразы, которые могут вызвать токсичные ответы от тестируемого искусственного интеллекта. Эти новые задания приводят к ответам, которые могли бы быть упущены тестерами-людьми, значительно повышая полноту тестирования безопасности.
Это решение машинного обучения доказало свою эффективность, превзойдя другие автоматизированные методы и даже тестеров-людей в создании уникальных и более опасных ответов от искусственного интеллекта, даже тех, которые были защищены экспертами. Быстрое развитие среды искусственного интеллекта требует таких же динамичных мер безопасности, потребность в которых решает данный подход МИТ.
Последствия этого инновационного подхода выходят за пределы простых интеракций чат-ботов и отражают переход к автоматизированным, эффективным процессам обеспечения качества. Предотвращение генерации нежелательного содержания искусственным интеллектом является ключевым для поддержания этических стандартов и безопасности пользователей в цифровую эпоху, и любопытство-ориентированная модель команды Красных МИТ на передовой этих усилий. Исследовательские результаты будут представлены на предстоящей Международной конференции по представлениям обучения, намекая на будущее, где способность искусственного интеллекта причинять вред может быть подавлена более всесторонне и эффективно, чем когда-либо ранее.
Текущие рыночные тенденции:
Тенденция к увеличению сложности и возможностей в моделях искусственного интеллекта подчеркивает необходимость надежного тестирования безопасности. Поскольку компании, такие как OpenAI, Google и другие, инвестируют значительные средства в исследования и разработку искусственного интеллекта, возрастает спрос на методы, обеспечивающие безопасное внедрение искусственного интеллекта. Искусные методы тестирования безопасности искусственного интеллекта, включая разработанный МИТ, являются частью общей тенденции повышения доверия к искусственному интеллекту.
Прогнозы:
Поскольку искусственный интеллект продолжает проникать в различные сектора, ожидается значительное расширение рынка тестирования безопасности искусственного интеллекта. Вероятно, будет акцентироваться внимание на разработке алгоритмов, способных автономно обнаруживать и уменьшать риски в поведении искусственного интеллекта. Упор на прозрачность и ответственность в системах искусственного интеллекта, особенно в чувствительных приложениях, таких как здравоохранение, автономные транспортные средства и финансы, вероятно, стимулирует развитие технологий тестирования безопасности.
Основные проблемы и противоречия:
Одной из основных проблем в тестировании безопасности искусственного интеллекта является непрерывное развитие и адаптация интеллектуального интеллекта. Поскольку искусственные интеллектуальные системы становятся все более сложными, генерируют все более тонкие и менее предсказуемые ответы, тестирование безопасности становится все более сложным. Кроме того, существует спор вокруг баланса между инновациями и регулированием, так как некоторые считают, что чрезмерно строгие меры безопасности могут подавить технологический прогресс. Также продолжается дискуссия о том, что такое этические рамки и что считается вредным или неуместным содержанием в выводах искусственного интеллекта, что варьируется в зависимости от контекста и культурных норм.
Самые важные вопросы:
1. В чем отличие этого нового подхода к тестированию безопасности искусственного интеллекта от традиционных методов и почему он необходим?
2. Какие могут быть потенциальные последствия для отраслей, которые сильно зависят от систем искусственного интеллекта?
3. Как этот метод способствует общему доверию и безопасности при применении систем искусственного интеллекта?
Преимущества:
Разработанный МИТ метод тестирования безопасности обеспечивает несколько преимуществ:
— Полное тестирование: Путем автоматического создания заданий система может обнаруживать потенциально токсичные ответы, которые были бы пропущены усилиями людей.
— Эффективность: Он ускоряет процесс тестирования безопасности, так как может работать непрерывно без ограничений, связанных с человеческими тестерами.
— Масштабируемость: С увеличением сложности моделей искусственного интеллекта этот метод может масштабироваться более гибко по сравнению с ручным тестированием.
Недостатки:
— Возможное переобучение: Существует риск переобучения искусственного интеллекта на избегание определенных вредоносных ответов, выявленных тестирующим искусственным интеллектом, что может пропустить другие формы небезопасного содержания.
— Непреднамеренные последствия: Модели тестирования могут ненамеренно порождать вредное содержание в результате исследования, основанного на любопытстве.
— Интенсивность ресурсов: Расширенные методы тестирования безопасности могут потребовать значительных вычислительных ресурсов, что может ограничить их применение до организаций с значительными ресурсами.
Для тех, кто интересуется дополнительной информацией о безопасности и стандартах искусственного интеллекта, связанные исследования можно найти через основную страницу МИТ. Еще одной связанной сущностью со сильным фокусом на исследования искусственного интеллекта и его промышленные последствия является IBM, которая сотрудничает в различных проектах по искусственному интеллекту.