En el ámbito de la inteligencia artificial, los ordenadores han logrado crear su propia «arte» a través de modelos de difusión, refinando gradualmente un punto de partida ruidoso para generar imágenes o vídeos claros. Sin embargo, este proceso siempre ha sido lento, requiriendo numerosas iteraciones para perfeccionar el resultado final. Eso era, hasta ahora.
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han desarrollado un marco innovador que revoluciona la manera en que funcionan los modelos de difusión. Al simplificar el proceso de múltiples pasos en un solo paso, su nuevo enfoque, conocido como distilación de correspondencia de distribución (DMD), reduce significativamente el tiempo de computación manteniendo la calidad del contenido visual generado.
A diferencia de los métodos anteriores, que se basaban en el perfeccionamiento iterativo, el marco DMD utiliza un modelo profesor-alumno donde un nuevo modelo informático aprende a imitar el comportamiento de modelos originales más complejos. Esta técnica garantiza una generación rápida de imágenes sin comprometer la calidad. De hecho, el marco DMD supera a modelos anteriores de difusión como Stable Diffusion y DALLE-3 en términos de velocidad, generando imágenes hasta 30 veces más rápido.
La clave del éxito de DMD radica en su enfoque de dos componentes. Primero, utiliza una pérdida de regresión para mapear y estabilizar el proceso de entrenamiento. Luego, emplea una pérdida de correspondencia de distribución para garantizar que las imágenes generadas correspondan a frecuencias de ocurrencia del mundo real. Al aprovechar el conocimiento de dos modelos de difusión, DMD destila la complejidad de los modelos originales en uno más simple y rápido, evitando problemas comunes como la inestabilidad y el colapso de modo.
Para entrenar el nuevo modelo, los investigadores utilizaron redes pre-entrenadas y ajustaron sus parámetros basados en los modelos originales. Esto permitió una rápida convergencia y la capacidad de producir imágenes de alta calidad con la misma base arquitectónica. El marco DMD también mostró un rendimiento consistente en diversos benchmarks, rivalizando los resultados de modelos más complejos en cuanto a calidad de generación de imágenes.
A pesar de ser un avance significativo, aún hay margen de mejora en DMD. La calidad de las imágenes generadas depende de las capacidades del modelo profesor utilizado durante el proceso de destilación. Por ejemplo, renderizar texto detallado y rostros pequeños aún puede plantear desafíos. Sin embargo, con avances en modelos profesores, estas limitaciones pueden superarse, mejorando aún más las imágenes generadas.
Las implicaciones del modelo de difusión de un solo paso son vastas. Las herramientas de diseño pueden ser mejoradas, permitiendo una creación de contenido más rápida. Industrias como el descubrimiento de medicamentos y la modelización 3D pueden beneficiarse de procesos más rápidos y eficientes. El marco DMD abre posibilidades para la edición visual en tiempo real que combina la versatilidad y alta calidad visual de los modelos de difusión con el rendimiento de las Redes Generativas Adversarias (GANs).
Con la presentación del trabajo del equipo de investigación en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones en junio, queda claro que el futuro de la generación de imágenes está evolucionando rápidamente. La combinación de velocidad, calidad y eficiencia proporcionada por el marco DMD marca un hito significativo en el campo de la inteligencia artificial.
Preguntas Frecuentes
The source of the article is from the blog newyorkpostgazette.com