A inteligência artificial (IA) tem se tornado cada vez mais presente em nossas vidas, mas os riscos de desvio deliberado e manipulação de sistemas de IA continuam representando desafios significativos. O Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST, na sigla em inglês) emitiu recentemente um relatório de advertência destacando a ausência de métodos infalíveis para proteger sistemas de IA contra tais ataques. Essa advertência serve como um alerta para desenvolvedores e usuários de IA, encorajando-os a terem cuidado ao prometerem estratégias de defesa garantidas.
O relatório do NIST, intitulado “Aprendizado de Máquina Adversarial: Uma Taxonomia e Terminologia de Ataques e Mitigações”, lança luz sobre as vulnerabilidades inerentes a sistemas de IA preditivos e generativos. O relatório não só fornece insights valiosos sobre possíveis ataques à IA, mas também oferece abordagens de mitigação para reduzir danos.
Uma das questões críticas levantadas no relatório diz respeito à confiabilidade dos dados de treinamento. Como os sistemas de IA dependem de conjuntos de dados extensos, surge a possibilidade de corrupção por atores maliciosos. Esses adversários podem intencionalmente confundir ou envenenar sistemas de IA, levando a resultados indesejáveis. Por exemplo, chatbots podem aprender a responder com linguagem ofensiva ou racista se suas defesas forem contornadas.
O relatório identifica diferentes ataques que os sistemas de IA podem enfrentar, incluindo ataques de evasão, envenenamento, privacidade e abuso. Os ataques de evasão têm como objetivo alterar as entradas para enganar os sistemas de IA, enquanto os ataques de envenenamento envolvem a introdução de dados corrompidos durante o treinamento. Os ataques de privacidade concentram-se em obter informações sensíveis sobre sistemas de IA, e os ataques de abuso envolvem fornecer informações incorretas em fontes legítimas consumidas por sistemas de IA.
As mitigações recomendadas pelo relatório enfatizam a sanitização de dados e modelos, bem como técnicas criptográficas para garantir a origem e a integridade dos sistemas de IA. Os testes pré-implementação, incluindo simulação de ataques, também são destacados como um aspecto crucial para identificação de vulnerabilidades. No entanto, o relatório reconhece os desafios inerentes ao projeto de mitigação eficaz devido à falta de referências confiáveis e algoritmos de aprendizado de máquina seguros.
Além disso, o relatório enfatiza a necessidade de que as organizações considerem compensações entre os atributos desejáveis dos sistemas de IA, como precisão e robustez adversarial. Dependendo do contexto e das implicações da tecnologia de IA, a priorização desses atributos pode variar.
Em conclusão, proteger sistemas de IA contra desvio continua sendo um desafio complexo e não resolvido. Embora o relatório do NIST forneça insights abrangentes sobre as vulnerabilidades e possíveis ataques, ele transmite a necessidade de pesquisa e desenvolvimento contínuos de defesas robustas contra explorações adversárias. Desenvolvedores e usuários de IA devem permanecer vigilantes e se engajar ativamente na busca contínua de sistemas de IA confiáveis.
The source of the article is from the blog radiohotmusic.it