Enquanto a tecnologia de IA generativa avançou rapidamente nos últimos anos, o ex-executivo da Salesforce Richard Socher acredita que ainda há espaço para melhorias. Em um podcast da Harvard Business Review, Socher discutiu como podemos levar os grandes modelos de linguagem a um novo nível, fazendo com que eles respondam a prompts em código, em vez de apenas prever o próximo token.
Atualmente, os grandes modelos de linguagem dependem da previsão do próximo token com base em dados anteriores. Embora esses modelos demonstrem uma compreensão impressionante de leitura e habilidades de codificação, muitas vezes eles sofrem de “alucinações”, produzindo erros factuais como se fossem verdadeiros. Isso se torna especialmente problemático ao lidar com perguntas matemáticas complexas.
Socher deu um exemplo de uma pergunta que um grande modelo de linguagem poderia ter dificuldade em responder: “Se eu desse $ 5.000 a um bebê ao nascer para investir em um fundo de índice de ações sem taxas e considerando um determinado percentual de retornos anuais médios, quanto ele terá dos dois aos cinco anos?”. Em vez de considerar cuidadosamente a pergunta e realizar os cálculos necessários, o modelo geraria texto com base em perguntas semelhantes que ele já havia encontrado antes.
Para superar essa limitação, Socher propõe “forçar” o modelo a traduzir a pergunta em código de computador e gerar uma resposta com base nesse código. Ao fazer isso, é mais provável que o modelo forneça uma resposta precisa. Socher mencionou que em seu mecanismo de busca baseado em IA, You.com, eles conseguiram traduzir perguntas para código Python.
Em contraste com a abordagem comum de simplesmente aumentar os dados e a capacidade de computação, Socher sugere que a programação desempenhará um papel crucial no avanço dos grandes modelos de linguagem. Ao ensinar esses modelos a codificar, eles adquirirão uma compreensão mais profunda e capacidades mais versáteis para resolver problemas. Essa abordagem de programação lhes permitirá lidar com tarefas mais complexas no futuro.
Conforme a competição entre os grandes modelos de linguagem se intensifica, com o GPT-4 da OpenAI e o Gemini do Google disputando a superioridade, a perspectiva de Socher oferece um ângulo novo para o avanço das capacidades de IA. Em vez de depender apenas do aumento de dados, forçar os modelos de IA a codificar pode desbloquear todo o seu potencial e levar a avanços significativos no campo.
Perguntas Frequentes sobre a Melhoria dos Grandes Modelos de Linguagem por meio da Codificação
The source of the article is from the blog karacasanime.com.ve