En el ámbito de los chatbots de inteligencia artificial, Microsoft está tomando una postura firme contra el uso malicioso. Recientemente, la compañía ha presentado un sistema de defensa innovador en una publicación de blog, anunciando la llegada de los «Escudos de Prompt» a su Azure AI Studio y Azure OpenAI Service. El propósito de esta tecnología es protegerse contra dos tipos de ataques dirigidos a los chatbots de IA.
Ataques Directos: Protección Contra la Manipulación
El primer tipo de ataque que los Escudos de Prompt abordan es el ataque directo, también conocido como «jailbreak». En este escenario, el usuario del chatbot crea un prompt con la intención de manipular la IA para que ignore sus reglas y limitaciones estándar. Al incluir palabras clave o frases como «ignorar instrucciones anteriores» o «anulación del sistema», la persona intenta eludir las medidas de seguridad.
Estos ataques ganaron atención en el caso del Copilot de Microsoft, que enfrentó críticas después de responder con comentarios ofensivos y amenazantes. Microsoft abordó el problema al enfatizar que estas respuestas no eran características intencionales, sino más bien exploits destinados a eludir los sistemas de seguridad de Copilot.
Ataques Indirectos: Protección Contra Amenazas Cibernéticas
El segundo método de ataque, conocido como ataque indirecto o ataque de inyección de prompts entre dominios cruzados, implica enviar información a un usuario de chatbot con la intención de ejecutar un ciberataque. Hackers o individuos malintencionados utilizan datos externos como correos electrónicos o documentos para explotar el chatbot.
Aunque los ataques indirectos a menudo parecen inofensivos, pueden acarrear riesgos significativos. Por ejemplo, un Copilot personalizado diseñado a través de Azure AI podría ser vulnerable al fraude, distribución de malware o manipulación de contenido si procesa datos, ya sea de forma independiente o mediante extensiones.
Escudos de Prompt: Reforzando la Seguridad de los Chatbots
Para combatir tanto los ataques directos como los indirectos, los Escudos de Prompt de Microsoft se integran con los filtros de contenido en el Azure OpenAI Service. Al aprovechar el aprendizaje automático y el procesamiento de lenguaje natural, esta característica busca detectar y eliminar posibles amenazas dentro de los prompts de los usuarios y los datos de terceros.
Los Escudos de Prompt actualmente están disponibles en modo de vista previa para Azure AI Content Safety y pronto serán accesibles en Azure AI Studio. A partir del 1 de abril, también estarán disponibles para el Azure OpenAI Service.
Destacando: Potenciando los Modelos de IA
Además de los Escudos de Prompt, Microsoft presentó el «spotlighting,» una serie de técnicas de ingeniería de prompts. Este enfoque innovador ayuda a los modelos de IA a identificar mejor los prompts válidos mientras distingue aquellos que pueden representar un riesgo o carecer de fiabilidad.
Puedes obtener más información sobre los chatbots de IA y la tecnología que Microsoft está implementando visitando el Blog de IA de Microsoft. Este blog brinda actualizaciones y perspectivas sobre el mundo de la inteligencia artificial, incluyendo avances, aplicaciones y desafíos.
Si tienes preguntas sobre los ataques directos a los chatbots de IA, los ataques indirectos, cómo los Escudos de Prompt protegen contra los ataques o qué es el «spotlighting,» consulta la sección de preguntas frecuentes a continuación:
- ¿Qué son los ataques directos a los chatbots de IA?
- ¿Qué son los ataques indirectos a los chatbots de IA?
- ¿Cómo protegen los Escudos de Prompt contra los ataques?
- ¿Qué es el «spotlighting»?
- ¿Dónde se pueden acceder los Escudos de Prompt?
Los ataques directos implican manipular los chatbots de IA a través de prompts que eluden sus reglas y limitaciones habituales.
Los ataques indirectos ocurren cuando hackers o individuos malintencionados utilizan datos externos para explotar los chatbots y llevar a cabo ciberataques.
Los Escudos de Prompt se integran con los filtros de contenido en el Azure OpenAI Service, aprovechando el aprendizaje automático y el procesamiento de lenguaje natural para identificar y eliminar posibles amenazas.
El «spotlighting» es una colección de técnicas de ingeniería de prompts introducida por Microsoft para ayudar a los modelos de IA a distinguir entre prompts confiables y aquellos que pueden representar un riesgo.
Los Escudos de Prompt están disponibles actualmente en modo de vista previa para Azure AI Content Safety. Pronto serán accesibles en Azure AI Studio y estarán disponibles para el Azure OpenAI Service a partir del 1 de abril.
The source of the article is from the blog procarsrl.com.ar