A medida que el campo de la inteligencia artificial (IA) continúa avanzando, los desarrolladores y científicos de datos están inmersos en la carrera por comprender, construir y lanzar productos de IA. Sin embargo, en medio de la emoción y el progreso, es crucial no pasar por alto el aspecto vital de la seguridad, específicamente protegiéndose contra los ataques a la cadena de suministro.
Los proyectos de IA a menudo implican el uso de varios modelos, bibliotecas, algoritmos, herramientas preconstruidas y paquetes. Si bien estos recursos ofrecen enormes oportunidades para la experimentación e innovación, también plantean riesgos potenciales de seguridad. Los componentes de código obtenidos de repositorios públicos pueden contener puertas traseras ocultas o exfiltradores de datos. Además, los modelos y conjuntos de datos preconstruidos pueden estar contaminados, lo que lleva a comportamientos inesperados e inapropiados dentro de las aplicaciones.
Una posibilidad alarmante es que algunos modelos de IA en sí mismos pueden contener malware, el cual puede ejecutarse si el contenido de estos modelos no se deserializa de manera segura. Incluso plugins populares como ChatGPT han enfrentado escrutinio con respecto a su seguridad. Los ataques a la cadena de suministro, que han plagado el mundo del desarrollo de software, también se están convirtiendo en una amenaza en el ámbito de la IA. La incorporación de bibliotecas, modelos o conjuntos de datos comprometidos en los sistemas de IA puede llevar a consecuencias severas como estaciones de trabajo comprometidas, intrusiones en redes corporativas, clasificación errónea de datos y posibles daños a los usuarios.
**La Intersección entre la IA y la Seguridad**
Reconociendo la necesidad de abordar estas vulnerabilidades, están surgiendo startups de ciberseguridad y de IA, centrándose específicamente en abordar los desafíos de seguridad en el desarrollo de la IA. Sin embargo, no son solo startups; los actores establecidos en el campo también están tomando nota y trabajando para implementar medidas de seguridad. Auditar e inspeccionar proyectos de aprendizaje automático para seguridad, evaluar su seguridad y realizar pruebas necesarias ahora se consideran componentes esenciales del proceso de desarrollo.
Según Tom Bonner, VP de investigación en HiddenLayer, una startup enfocada en IA, muchos proyectos en el campo de la IA carecen de medidas de seguridad adecuadas. Históricamente, los proyectos de IA han surgido como proyectos de investigación o iniciativas de desarrollo de software pequeñas, a menudo careciendo de un marco de seguridad sólido. Los desarrolladores e investigadores tienden a centrarse en resolver problemas matemáticos e implementar los resultados sin pruebas o evaluaciones de seguridad adecuadas.
Bonner enfatiza aún más la urgencia de abordar las vulnerabilidades de seguridad en los sistemas de IA: «De repente, la IA y el aprendizaje automático han despegado realmente, y todos están buscando adentrarse en ello. Todos van y recogen todos los paquetes de software comunes que han surgido de la academia y ¡sorpresa!, están llenos de vulnerabilidades, llenos de agujeros».
**Las Vulnerabilidades en la Cadena de Suministro de IA**
Similar a la cadena de suministro de software, la cadena de suministro de IA se ha convertido en un objetivo para criminales que buscan explotar vulnerabilidades. Se emplean tácticas como el typosquatting para engañar a los desarrolladores a usar copias maliciosas de bibliotecas legítimas. Como resultado, se pueden robar datos sensibles y credenciales corporativas, se pueden secuestrar servidores que ejecutan código comprometido, y más.
Dan McInerney, investigador principal de seguridad de IA en Protect AI, destaca la importancia de asegurar la cadena de suministro utilizada en el desarrollo de modelos de IA: «Si piensas en un gráfico circular de cómo te van a hackear una vez que abres un departamento de IA en tu empresa u organización, una pequeña fracción de ese círculo va a ser ataques a la entrada del modelo, lo que todos hablan. Y una porción gigante va a ser atacar la cadena de suministro, las herramientas que utilizas para construir los modelos en sí mismos».
**La Necesidad de Vigilancia y Protección**
Para ilustrar los peligros potenciales, HiddenLayer identificó recientemente una preocupación de seguridad en un servicio en línea proporcionado por Hugging Face, una plataforma líder para modelos de IA. El problema involucraba la conversión de modelos inseguros en formato Pickle al formato Safetensors más seguro. HiddenLayer descubrió que fallos en el proceso de conversión permitían la ejecución de código arbitrario, comprometiendo potencialmente los datos y repositorios de los usuarios.
Es esencial que los desarrolladores y las organizaciones reconozcan el papel crucial de la seguridad y prioricen medidas para proteger sus proyectos de IA. Aplicar defensas de cadenas de suministro de software al desarrollo de sistemas de aprendizaje automático es vital para garantizar la integridad y protección de las aplicaciones de IA.
**Preguntas Frecuentes**
1. **¿Qué son los ataques a la cadena de suministro en el contexto del desarrollo de IA?**
Los ataques a la cadena de suministro en el desarrollo de IA se refieren a la explotación de vulnerabilidades en los recursos y componentes utilizados para construir modelos de IA, como bibliotecas, paquetes y conjuntos de datos. Estos ataques pueden llevar a estaciones de trabajo comprometidas, intrusiones en redes y comportamientos inesperados dentro de las aplicaciones.
2. **¿Por qué son cruciales las medidas de seguridad en el desarrollo de IA?**
Las medidas de seguridad son fundamentales en el desarrollo de IA para mitigar los riesgos asociados con posibles vulnerabilidades. Sin pruebas y evaluaciones de seguridad adecuadas, los sistemas de IA pueden estar expuestos a ataques, comprometiendo datos, privacidad de los usuarios e integridad general del sistema.
3. **¿Cómo pueden las organizaciones proteger sus proyectos de IA contra ataques a la cadena de suministro?**
Las organizaciones pueden proteger sus proyectos de IA contra ataques a la cadena de suministro mediante la auditoría e inspección de los recursos utilizados en el desarrollo de modelos, realizando pruebas de seguridad e implementando defensas de cadenas de suministro de software. Es imperativo priorizar las medidas de seguridad en todo el ciclo de desarrollo de IA.
4. **¿Cuál es el papel de las startups de IA y ciberseguridad en abordar los desafíos de seguridad?**
Las startups de IA y ciberseguridad desempeñan un papel importante en abordar los desafíos de seguridad al enfocar sus esfuerzos en desarrollar soluciones adaptadas a las vulnerabilidades únicas de los sistemas de IA. Su experiencia contribuye al avance general y la mejora de las medidas de seguridad en la industria de la IA.
The source of the article is from the blog shakirabrasil.info