Uma equipe de pesquisadores da Universidade de Zhejiang, da Universidade Nacional de Singapura, da Universidade da Califórnia, da Ant Group e do Alibaba Group conduziu um estudo focado na edição de conhecimento para grandes modelos de linguagem (LLMs, na sigla em inglês). Os LLMs têm demonstrado recentemente sua impressionante capacidade de processar e memorizar extensas quantidades de informações, superando a capacidade humana.
Para garantir a justiça e a segurança dos sistemas de Inteligência Artificial (IA), é crucial entender como os LLMs exibem e processam informações. Este estudo tem como objetivo fazer uma análise da história e do estado atual das técnicas de edição de conhecimento para LLMs. Os pesquisadores fornecem uma visão geral do design dos LLMs, de como o conhecimento é armazenado e de abordagens relacionadas, como ajuste fino eficiente de parâmetros, aumento de conhecimento, aprendizado contínuo e desaprendizado de máquina.
Os pesquisadores classificam as estratégias de edição de conhecimento para LLMs em três categorias: edição de métodos de conhecimento internos, fusão de conhecimento no modelo e uso de conhecimento externo. Essas estratégias se inspiram nos processos cognitivos humanos, como o reconhecimento, a associação e as fases de domínio do aprendizado.
O estudo inclui experimentos realizados em doze conjuntos de dados de processamento de linguagem natural, levando em consideração cuidadosamente o desempenho, a usabilidade, os mecanismos subjacentes e outros fatores. Os pesquisadores criaram uma referência chamada KnowEdit para avaliar a inserção, modificação e exclusão de informações usando técnicas de edição de conhecimento de LLMs de última geração.
Os resultados demonstram como a edição de conhecimento afeta tarefas gerais e a edição de conhecimento multi-tarefa, mostrando que ela atualiza com sucesso fatos sem impactar significativamente as habilidades cognitivas e a adaptabilidade do modelo em diferentes domínios de conhecimento. Além disso, os pesquisadores exploram as limitações e possíveis repercussões da edição de conhecimento para LLMs.
Além disso, o estudo discute a ampla gama de aplicações para a edição de conhecimento, incluindo IA confiável, aprendizado de máquina eficiente, conteúdo gerado por IA e agentes individualizados na interação humano-computador. Os pesquisadores esperam que essa pesquisa inspire uma exploração adicional dos LLMs, concentrando-se tanto na eficiência quanto na criatividade.
Os pesquisadores disponibilizaram todos os seus recursos, incluindo códigos, divisões de dados e checkpoints de modelos treinados, publicamente para incentivar mais estudos nessa área.
The source of the article is from the blog j6simracing.com.br