Los sistemas de inteligencia artificial (IA) equipados con características de seguridad para prevenir delitos cibernéticos y actos terroristas pueden ser vulnerables a un nuevo tipo de ataque llamado «jailbreaking de many-shot.» Este ataque fue descubierto recientemente por el laboratorio de IA Anthropic y apunta a modelos de IA, como Claude, su modelo de lenguaje grande (LLM) competidor de ChatGPT. Al inundar estos sistemas de IA con numerosas instancias de solicitudes dañinas, como instrucciones para actividades ilegales o discursos violentos, los sistemas son obligados a producir respuestas potencialmente peligrosas, eludiendo sus medidas de seguridad.
Las medidas de seguridad integradas en modelos de IA como Claude tienen como objetivo desalentar la generación de contenido violento o discriminatorio y la provisión de instrucciones para actividades ilegales. Sin embargo, los investigadores descubrieron que alimentar estos sistemas con cientos de ejemplos de respuestas correctas a consultas dañinas puede hacer que los sistemas sigan proporcionando respuestas dañinas de manera independiente. Esta técnica de bypass aprovecha el hecho de que muchos modelos de IA funcionan mejor cuando se les suministran ejemplos extensos del comportamiento deseado.
La técnica de «jailbreaking de many-shot» obliga a los LLMs a producir respuestas dañinas, a pesar de que se les haya entrenado para que no lo hagan. Anthropic ha compartido sus hallazgos con otros investigadores y ha decidido hacer pública esta información para acelerar la resolución de este problema. La empresa está comprometida a abordar esta vulnerabilidad de manera oportuna para proteger a los sistemas de IA de posibles usos indebidos en delitos cibernéticos y actos terroristas.
Este tipo particular de ataque, conocido como «jailbreak,» específicamente dirigido a modelos de IA con una «ventana de contexto» amplia, permitiéndoles responder a entradas de texto extensas. Los modelos de IA de menor complejidad son menos susceptibles a este ataque porque tienden a olvidar el principio de una pregunta larga antes de llegar al final. Sin embargo, a medida que avanza el desarrollo de IA, modelos más avanzados e intrincados que pueden manejar entradas extendidas están abriendo nuevas posibilidades para ataques.
Curiosamente, los modelos de IA más recientes y complejos parecen ser más vulnerables a tales ataques. Anthropic especula que estos modelos son más competentes en aprender de ejemplos, lo que les permite eludir rápidamente sus propias reglas de seguridad. Esto plantea preocupaciones significativas, ya que los modelos de IA más grandes podrían ser potencialmente los más perjudiciales.
La investigación de Anthropic ha identificado una posible solución para mitigar los efectos del jailbreaking. Un enfoque implica la implementación de un sistema de advertencia obligatorio que recuerde al sistema de IA no proporcionar respuestas dañinas inmediatamente después de la entrada del usuario. Los hallazgos preliminares sugieren que esta advertencia reduce sustancialmente las posibilidades de un jailbreak exitoso. Sin embargo, los investigadores advierten que este enfoque podría afectar negativamente el rendimiento del sistema en otras tareas.
El problema de eludir las características de seguridad de la IA ha planteado preguntas importantes sobre el equilibrio entre proporcionar a los sistemas de IA la capacidad de aprender de ejemplos y asegurar que no sean explotados con fines maliciosos. A medida que la tecnología de IA continúa avanzando, es crucial que los investigadores, desarrolladores y responsables políticos encuentren métodos efectivos para fortalecer la seguridad y los fundamentos éticos de los sistemas de IA.
Preguntas Frecuentes (FAQ)
The source of the article is from the blog dk1250.com