En un desarrollo innovador, la startup de inteligencia artificial (IA) ElevenLabs ha anunciado sus planes de revolucionar el campo de la producción de video incorporando efectos de sonido generados por IA. Aunque es conocida por sus servicios de texto a voz y voz sintética que se asemejan a la voz humana, este último esfuerzo tiene como objetivo mejorar los videos creados con el modelo Sora de OpenAI con un acompañamiento de audio realista.
OpenAI recientemente presentó su notable modelo de IA Sora de texto a video, mostrando los videos generados por IA más realistas, consistentes y largos hasta la fecha. En respuesta, ElevenLabs expresó su admiración por el logro de OpenAI, al tiempo que reconoció una oportunidad para mejorar aún más la experiencia del espectador. La startup visualiza la adición de una amplia gama de sonidos, como pasos, olas y ambiente, a su modelo de texto a efectos de sonido (sfx).
ElevenLabs, conocida por su capacidad incomparable para crear voces sintéticas tan naturales que son prácticamente indistinguibles de la voz humana, ha alcanzado prominencia en 2022. La empresa con sede en el Reino Unido alcanzó el estatus de «unicornio» a principios de este año después de asegurar $80 millones en financiamiento de la Serie B. Junto a este hito, ElevenLabs presentó una herramienta para sincronizar la voz de IA en videos con el fin de facilitar traducciones automáticas, ingresando así al mercado internacional de doblaje.
Aunque ya existen modelos de texto a sfx disponibles, como myEdit, AudioGen y Stable Audio, los efectos de sonido producidos por ElevenLabs se destacan por su realismo excepcional. Actualmente, no está claro cuánta edición implica el proceso. Aunque la fecha de lanzamiento del modelo de texto a sfx aún no se ha anunciado, las personas interesadas pueden unirse a la lista de espera proporcionando un estímulo de sonido.
Mirando hacia el futuro, la producción de video de IA promete la adición automatizada de efectos de sonido basada en el análisis del contenido del video. Un desarrollo similar podría ocurrir en el campo de la producción musical, donde la mayoría de las herramientas de IA actualmente operan sobre la base de texto a música. A medida que las capacidades multimodales continúan avanzando, la integración de estímulos de imagen o video puede facilitar la generación de piezas de contenido holísticas y bien redondeadas, acercándonos al antiguo sueño de la IA generativa.
En conclusión, la incursión de ElevenLabs en efectos de sonido generados por IA representa un avance significativo en el mundo de la producción de video. Al combinar un acompañamiento de audio realista con imágenes realistas, la startup está allanando el camino para una experiencia de espectador más inmersiva y cautivadora.
The source of the article is from the blog lisboatv.pt