¿La IA facilitará el doblaje de idiomas para cine y televisión?

Encontrar películas internacionales que atraigan al mercado estadounidense es una parte importante del trabajo de XYZ Films.

Maxime Cotre es el director de operaciones del estudio independiente con sede en Los Ángeles.

El mercado estadounidense para películas en lenguas extranjeras siempre será difícil, afirmó.

“Estaba limitado a una audiencia costera de Nueva York por las películas de autor”, dice.

Esto es en parte un problema de idioma.

“Estados Unidos no es una cultura que creció con subtítulos o doblajes como Europa”, señala.

Pero con el nuevo sistema de doblaje basado en IA la barrera del idioma se puede eliminar fácilmente.

Una película reciente, Watch the Skies, es audio y vídeo de ciencia ficción sueca introducidos en una herramienta digital llamada Deep Editor.

Manipula el vídeo para que parezca que los actores realmente hablan el idioma en el que se filmó la película.

“Cuando vi por primera vez los resultados tecnológicos hace dos años pensé que era genial, pero cuando vi el último corte, fue sorprendente. Si la persona promedio lo ve, creo que no lo notará; simplemente se imaginará el idioma que está hablando”, dijo Cotre.

La versión en inglés de Watch the Skies se estrenó en mayo en 110 cines AMC de todo Estados Unidos.

“Para poner este resultado en contexto, si la película no hubiera sido doblada al inglés, en primer lugar no habría llegado a los cines estadounidenses”, dijo Cotre.

“El público estadounidense pudo ver una película independiente sueca que de otro modo sólo podría ver un público muy especializado”.

AMC planea organizar más lanzamientos de este tipo, dijo.

Deep Editor es desarrollado por Flawless, con sede en Soho, Londres.

La empresa fue fundada en 2020 por el escritor y director Scott Mann, quien ha trabajado en películas como Heist, The Tournament y Final Score.

Sintió que los métodos de doblaje tradicionales para las versiones internacionales de sus películas no coincidían con el impacto emocional de las películas originales.

“Cuando trabajé en Heist en 2014 con un elenco increíble, incluido Robert De Niro, y vi esa película traducida a otro idioma, no es de extrañar que las películas y la televisión no funcionaran bien, porque el viejo mundo del doblaje cambiaría una película”, dice Mann, ahora radicado en Los Ángeles.

“No está nada sincronizado y se presenta de manera diferente. Y desde un punto de vista puramente cinematográfico, el resto del mundo está viendo un producto de muy baja calidad”.

Flawless ha desarrollado su propia tecnología para reconocer y editar rostros basándose en un método presentado por primera vez en un artículo de investigación en 2018.

“Deep Editor utiliza una combinación de reconocimiento facial, reconocimiento facial, detección de puntos de referencia (como rasgos faciales) y seguimiento facial en 3D para comprender la apariencia, las acciones físicas y el desempeño emocional de un actor en cada toma”, dijo Mann.

Dice que la tecnología puede preservar las interpretaciones originales de los actores en todos los idiomas sin necesidad de volver a filmar ni grabar, reduciendo costos y tiempo.

Según él, Watch the Skies es la primera película del mundo totalmente doblada visualmente.

Además de darle a un actor la apariencia de hablar otro idioma, un editor profundo puede transferir una buena interpretación de una toma a otra, o mantener intacta la interpretación original con su contenido emocional.

Se espera que el mercado mundial de doblaje de películas crezca de 4.000 millones de dólares en 2024 a 7.600 millones de dólares en 2033, gracias a la explosión de plataformas de streaming como Netflix y Apple. Según un informe A través de conocimientos de investigación empresarial.

Mann no dijo cuánto costaría la tecnología, pero dijo que variaría de un proyecto a otro. “Yo diría que cuesta aproximadamente una décima parte del costo de filmarlo o convertirlo en otra cosa”.

Entre sus clientes se incluyen “streamers bastante importantes”.

Mann cree que la tecnología hará que las películas sean accesibles a un público más amplio.

“Hay una enorme cantidad de películas y televisión que la gente de habla inglesa nunca ve porque la mayoría de la gente no quiere verlas con doblaje y subtítulos”, dijo Mann.

La tecnología no está aquí para reemplazar a los actores, dice Mann, en lugar de reemplazarlos con voces sintéticas, se utilizarán actores de voz.

“Lo que hemos descubierto es que si creas herramientas para creativos y artistas reales, ese es el camino a seguir… Obtienen algún tipo de herramientas poderosas para hacer su arte y eso puede incorporarse al producto final. Es lo opuesto a muchos enfoques que han adoptado otras empresas de tecnología”.

Aún así, Neta Alexander, profesora asistente de cine y medios en la Universidad de Yale, dice que si bien la promesa de una distribución más amplia es tentadora, el uso de la IA para recrear programas para mercados no nativos corre el riesgo de perder la especificidad y la textura del lenguaje, la cultura y los gestos.

“Si todas las películas extranjeras se hacen para parecer y sonar en inglés, la relación del público con el extranjero se vuelve cada vez más mediada, sintética y aséptica”, dice.

“Desalienta la alfabetización intercultural y desalienta el apoyo a proyecciones subtituladas o en el idioma original”.

Mientras tanto, dice, el desplazamiento de los subtítulos, una herramienta clave para los estudiantes de idiomas, los inmigrantes, los espectadores sordos y con problemas de audición y muchos otros, genera preocupaciones sobre la accesibilidad.

“Los subtítulos no son sólo un sustituto; es un método para preservar la integridad de las historias visuales y auditivas para audiencias diversas”, dice el profesor Alexander.

Reemplazarlo con mimetismo automatizado representa un giro inquietante hacia una cultura cinematográfica mercantilizada y monolingüe, dice.

“En lugar de preguntarnos cómo facilitar las películas extranjeras para las audiencias de habla inglesa, podemos preguntarnos cómo construir audiencias dispuestas a conocer el cine diverso en sus propios términos”.