Pesquisadores do Instituto Nacional de Padrões e Tecnologia (NIST) e seus parceiros publicaram um guia abrangente sobre possíveis ataques e estratégias para mitigar vulnerabilidades em sistemas de inteligência artificial (IA). A publicação, intitulada “Aprendizado de Máquina Adversário: Uma Taxonomia e Terminologia de Ataques e Mitigações”, é um componente-chave da iniciativa do NIST para promover IA confiável e auxiliar desenvolvedores e usuários a compreender ameaças potenciais.
Um aspecto notável da publicação é sua cobertura detalhada de ataques adversários em sistemas de IA. Ela abrange várias formas de injeção de prompt e fornece terminologia para componentes anteriormente indefinidos. Exemplos do mundo real, como o “jailbreak” DAN e o trabalho de injeção indireta de prompt, também são mencionados. A publicação inclui seções sobre mitigação potencial, embora reconheça que o problema ainda não esteja completamente resolvido. Além disso, um glossário no final fornece contexto adicional para desenvolvedores e pesquisadores que trabalham com modelos de linguagem grandes (LLMs) na área de segurança de IA.
Sistemas de IA se tornaram uma parte integral de diversos aspectos da vida moderna, incluindo veículos autônomos, chatbots de atendimento ao cliente e auxiliares de diagnóstico médico. Esses sistemas dependem de treinamento extenso usando conjuntos de dados obtidos de sites e interações públicas. No entanto, essa dependência de dados externos representa um desafio significativo para garantir a confiabilidade dos sistemas de IA. Atores maliciosos podem manipular os dados, levando a um desempenho indesejado da IA. Por exemplo, chatbots podem começar a usar linguagem ofensiva ou racista se forem expostos a prompts prejudiciais projetados estrategicamente que contornam os mecanismos de segurança.
A publicação do NIST foca principalmente em quatro categorias de ataques: evasão, envenenamento, privacidade e abuso. Os ataques de evasão envolvem a modificação da entrada para alterar a resposta do sistema de IA, enquanto os ataques de envenenamento introduzem dados corrompidos durante a fase de treinamento. Os ataques de privacidade visam extrair informações confidenciais sobre a IA ou seus dados de treinamento, enquanto os ataques de abuso envolvem a incorporação de informações falsas de uma fonte adulterada para redirecionar o propósito original do sistema de IA.
Embora não exista uma defesa infalível contra ataques a sistemas de IA, a publicação do NIST oferece orientações valiosas para os desenvolvedores. No entanto, devido à vastidão dos conjuntos de dados de treinamento de IA, a supervisão e filtragem humana são insuficientes. Proteger algoritmos de IA continua sendo um desafio em andamento. Para garantir a integridade dos sistemas de IA, é crucial que os profissionais de segurança cibernética participem ativamente das decisões de implantação e uso.
Em conclusão, à medida que a IA continua avançando, abordar vulnerabilidades de segurança é vital. A publicação do NIST serve como um recurso crucial para compreender ataques potenciais em sistemas de IA e fornecer estratégias para mitigar seu impacto. No entanto, pesquisas e colaborações adicionais são necessárias para desenvolver defesas robustas contra ataques adversários e proteger a integridade da tecnologia de IA.
The source of the article is from the blog combopop.com.br