Si bien la tecnología de IA generativa ha avanzado rápidamente en los últimos años, el ex ejecutivo de Salesforce, Richard Socher, cree que aún hay margen de mejora. En un podcast de Harvard Business Review, Socher discutió cómo podemos mejorar los grandes modelos de lenguaje al hacer que respondan a instrucciones en código en lugar de simplemente predecir el siguiente token.
Actualmente, los grandes modelos de lenguaje se basan en predecir el siguiente token en función de datos anteriores. Si bien estos modelos demuestran una comprensión de lectura impresionante y habilidades para programar, a menudo sufren de alucinaciones, donde producen errores factuales como si fueran verdaderos. Esto se vuelve problemático cuando se enfrentan a preguntas matemáticas complejas.
Socher proporcionó un ejemplo de una pregunta con la que un gran modelo de lenguaje podría tener dificultades: «Si le diera a un bebé $5,000 al nacer para invertirlo en un fondo de índice de acciones sin comisiones, y asumiendo un cierto porcentaje de rendimiento anual promedio, ¿cuánto tendrá a los dos o cinco años?» En lugar de considerar cuidadosamente la pregunta y realizar los cálculos necesarios, el modelo generaría texto basado en preguntas similares que había encontrado antes.
Para superar esta limitación, Socher propone «forzar» al modelo a traducir la pregunta en código de computadora y generar una respuesta basada en ese código. Al hacerlo, es más probable que el modelo proporcione una respuesta precisa. Socher mencionó que en su motor de búsqueda con IA, You.com, han logrado traducir preguntas a código Python.
Contrario al enfoque común de simplemente aumentar los datos y la potencia de cálculo, Socher sugiere que la programación jugará un papel crucial en el avance de los grandes modelos de lenguaje. Enseñando a estos modelos a programar, adquirirán una comprensión más profunda y capacidades más versátiles para resolver problemas. Este enfoque de programación les permitirá abordar tareas más complejas en el futuro.
En medio de la creciente competencia entre los grandes modelos de lenguaje, con GPT-4 de OpenAI y Gemini de Google compitiendo por la superioridad, la perspectiva de Socher ofrece un enfoque fresco para mejorar las capacidades de la IA. En lugar de depender únicamente del aumento de datos, forzar a los modelos de IA a programar podría desbloquear todo su potencial y llevar a avances significativos en el campo.
Preguntas frecuentes sobre cómo mejorar los grandes modelos de lenguaje a través de la programación
P: ¿Cuál es el desafío con los actuales grandes modelos de lenguaje?
R: Los actuales grandes modelos de lenguaje tienen limitaciones para producir respuestas precisas cuando se enfrentan a preguntas complejas, especialmente aquellas que requieren cálculos matemáticos. A menudo sufren de alucinaciones, donde generan errores factuales como si fueran verdaderos.
P: ¿Cuál es la solución propuesta para superar estas limitaciones?
R: Richard Socher propone «forzar» a los grandes modelos de lenguaje a traducir preguntas en código de computadora y generar respuestas basadas en ese código. Al hacerlo, es más probable que los modelos proporcionen respuestas precisas.
P: ¿Cómo mejora la traducción de preguntas en código a los modelos?
R: La traducción de preguntas en código ayuda a los modelos a adquirir una comprensión más profunda de las preguntas y les permite realizar los cálculos necesarios. Este enfoque mejora sus capacidades de resolución de problemas y aumenta la probabilidad de respuestas precisas.
P: ¿Se ha implementado este enfoque en algún motor de búsqueda con IA?
R: Sí, en You.com, un motor de búsqueda con IA, han logrado traducir preguntas a código Python para mejorar la precisión de las respuestas.
P: ¿En qué se diferencia este enfoque de programación del enfoque tradicional de aumentar datos y potencia de cálculo?
R: Socher sugiere que enseñar a los grandes modelos de lenguaje a programar será crucial para mejorar sus capacidades, en lugar de depender únicamente del aumento de datos. Al programar los modelos, adquieren una comprensión más profunda y habilidades de resolución de problemas más versátiles para abordar tareas complejas en el futuro.
P: ¿Cómo destaca la perspectiva de Socher en la competencia entre los grandes modelos de lenguaje?
R: La perspectiva de Socher presenta un enfoque fresco para mejorar las capacidades de la IA. En lugar de depender únicamente del aumento de datos, forzar a los modelos de IA a programar podría desbloquear todo su potencial y llevar a avances significativos en el campo.
Términos clave / Jerga:
– Tecnología de IA generativa: Se refiere a modelos de IA capaces de producir contenido original mediante la generación de nuevos datos basados en patrones y ejemplos de datos existentes.
– Modelos de lenguaje: Modelos de IA diseñados específicamente para generar y comprender el lenguaje humano.
– Alucinaciones: En el contexto de los modelos de lenguaje de IA, se refiere a la generación de errores factuales como si fueran verdaderos.
– Token: En los modelos de lenguaje, un token se refiere a un segmento de texto, generalmente una palabra o un carácter.
– Código Python: Lenguaje de programación utilizado por Socher como ejemplo de traducción de código para mejorar los grandes modelos de lenguaje.
Enlaces relacionados sugeridos:
– OpenAI: Sitio web oficial de OpenAI, conocido por sus grandes modelos de lenguaje como GPT-4.
– Google: Sitio web oficial de Google, la empresa detrás de grandes modelos de lenguaje como Gemini.
The source of the article is from the blog cheap-sound.com