La secuencia de canciones de “Chikitu” en la película tamil de Rajinikanth “Coolie” se parece a lo que se filmó en varios idiomas. Pero el público en Telugougou y las versiones de idiomas hindi hindi no fueron capturados durante la producción: son producto de la tecnología revolucionaria de IA que transforma discretamente la forma en que la industria del entretenimiento se acerca al contenido bautizado.
Detrás de este juego de manos tecnológico de la mano está Neuralgarage, una startup india Genai con sede en Bangalore que ha desarrollado VisualDub, un sistema patentado que elimina la discrepancia audiovisual discordante que ha atormentado el contenido duplicado durante décadas. El avance de la compañía: transforma no solo los movimientos de los labios, sino más de 40 músculos faciales para crear expresiones auténticas que corresponden a un diálogo apodado.
“Cuando hablamos, no son solo nuestros labios los que se mueven: nuestra expresión va de las líneas para sonreír en los músculos de tu cuello, a la manzana de Adán que se mueve hacia las líneas debajo de los ojos”, dice Mandar Natekar, coprotagonista y CEO de Neuraralgarage, dice Mandar Natekar Variedad. “Pudimos tener en cuenta toda la transformación”.
El tiempo no podría ser mejor. El apetito general acelerado de Covid-19 para el doble contenido, mientras que las plataformas de transmisión se apresuran a llenar los vacíos de programación, lo que hace que el público sea más consciente de la mala sincronización de los labios. “Miles de millones de personas estaban sentadas en casa, y creo que todos hemos solto ver contenido duplicado de una manera muy importante”, señala Natekar. “Cuanto más miramos este contenido, más nos hemos dado cuenta de que la experiencia audiovisual es horrible”.
Fundada en 2021 por Natekar, Anjan Banerjee, Subhabrata Debnath y Subhashish Saha, Neurangage se basa en más de dos décadas de Natekar en la industria de los medios y el entretenimiento indios. Pero lo que distingue a Neuroaralgarage en el espacio de doblaje de la AIA abarrotada es su enfoque completo para la transformación facial. La tecnología de la compañía transforma más de 40 músculos faciales más allá de los simples movimientos de los labios, trabajando a través de primeros planos extremos, caras barbudas, múltiples ángulos y escenarios de iluminación mientras mantiene la calidad IMAX compatible y la integridad completa de la resolución.
“Cuando hablas de cine, cuando hablas de la pantalla grande, cuando hablas de plataformas de transmisión de alta definición, la autenticidad y la naturaleza son de suma importancia”, dijo Natekar. El sistema de la compañía conserva todas las características faciales y mantiene la calidad perfecta de los píxeles entre las transformaciones cruciales para las versiones teatrales.
Esta destreza técnica ya ha obtenido el reconocimiento de la industria neuronal. En marzo, la startup se convirtió en la primera compañía india en ganar la competencia Pitch SXSW en Austin, Texas, tomando la categoría de entretenimiento, medios de comunicación, deportes y contenido.
La tecnología Neurangrage se extiende más allá del doblaje tradicional. La compañía ha trabajado en las “operaciones especiales” de Jiohotstar, donde la censura requirió cambios en el diálogo después de la filmación. En lugar de reelaboraciones costosas o doblaje disruptivo, VisualDub ha sincronizado transparentemente un nuevo audio con imágenes existentes.
“Nos dieron un nuevo sonido de nuevas palabras, y lo sincronizamos para los labios en el programa”, explica Natekar. “Ves el programa, no te das cuenta de que no se volvió de esta manera antes”.
Los créditos de la compañía incluyen los episodios “Kesari Capítulo 2”, “Operaciones especiales”, y más recientemente, la secuencia de canciones “Coolie”. Se han revelado reacciones públicas a la transformación tamil en Telugu: los espectadores suponen que la canción se convirtió en varios idiomas.
“Es un sentimiento de incredulidad”, explica Natekar sobre las reacciones de los fanáticos. “Hablan sobre la calidad de la duración de la canción en varios idiomas. No podían entender que hay una tecnología utilizada en este tema”.
Las implicaciones se extienden más allá del éxito técnico. La sincronización de labios perfecta modifica fundamentalmente cómo se percibe y comercializa el contenido a escala global. “Con VisualDub, ahora se convierte en una película coreana en sí”, dijo Natekar, utilizando el ejemplo hipotético de una película de Tom Cruise apodada en coreano. “Ya no es una película inglesa apodada coreana. Es una película coreana porque las expresiones ahora corresponden al audio”.
Este cambio permite a los estudios comercializar el contenido como producciones indígenas en diferentes territorios en lugar de en versiones apodadas, precios más altos dominantes y una atracción más amplia. “Estás ejecutando en un idioma, pero creas IP en muchos idiomas”, dijo Natekar.
La compañía trabaja como un servicio B2B, trabajando directamente con los principales estudios y propietarios de contenido, incluidas Sun Pictures, Dharma Productions y Friday Film Works. Este enfoque evita preocupaciones éticas con respecto a la clonación vocal y el uso no autorizado de las semejanzas de los actores, porque todo el trabajo se realiza con las autorizaciones y derechos apropiados.
Neuralgarage desarrolla su propio modelo de clonación vocal, un sistema de “interruptor de identidad” que conserva el rendimiento de los artistas de doblaje mientras aplica las características vocales del actor original. A diferencia de las herramientas de clonación de voz existentes diseñadas para contenido corto, este sistema está diseñado para películas que requieren una gama emocional y una coherencia vocal sostenida.
Para el futuro, Natekar prevé aplicaciones más allá del doblaje: “Imagine un auto-sintono para las expresiones. Hablé sobre toneladas y toneladas de directores que a veces no están satisfechos con la expresión que terminan bloqueando la escena”. La tecnología podría permitir correcciones de expresión de postproducción sin estímulos costosos.
La expansión global ya está en marcha. Armado con créditos teatrales de las principales producciones indias y la victoria de SXSW, Neuraralgarage despierta el interés de los estudios de Hollywood. “Resolvemos un problema global”, dice Natekar, “y anunciaremos nuestra entrada al mundo, comenzando con los Estados Unidos, en breve”.
Mientras que el público en el mundo consume más y más contenido a través de barreras lingüísticas, la tecnología Neuralgarage promete hacer que esta experiencia sea transparente, una expresión facial perfectamente sincronizada al mismo tiempo.
“Coopole” está actualmente fuera.
