Amazon enseña a sus personajes a hablar de otra manera
Amazon Prime Video lanza una función basada en inteligencia artificial que sincroniza los movimientos de los labios de los actores con el doblaje en otro idioma. En otras palabras, el servicio intenta que el personaje parezca pronunciar de verdad las frases traducidas, en vez de limitarse a abrir la boca al ritmo de un sonido grabado por separado.
Por ahora, la tecnología solo está disponible en la versión doblada al inglés de la serie alemana «Maxton Hall». Amazon no ha precisado cuándo llegará la función a otros proyectos, pero ha anunciado que planea ampliarla a más títulos.
Para procesar el vídeo, Prime Video combina inteligencia artificial y efectos visuales. El sistema retoca la imagen para que los movimientos de la boca encajen con el doblaje humano. Conviene subrayar que se trata precisamente de «doblaje humano»: la IA se ocupa de la sincronización visual, no necesariamente de crear las voces.
Este método aborda uno de los problemas de siempre del doblaje. Al traducir, cambian la duración de las frases, el ritmo del habla y los sonidos de un idioma a otro, así que los labios del actor a menudo no se mueven al compás de las palabras que se oyen. El espectador suele darse cuenta enseguida, sobre todo en los primeros planos, donde el personaje parece tener un titiritero ligeramente desincronizado poniendo voz a sus frases.
Prime Video no es la única plataforma que experimenta con herramientas de este tipo. Meta y YouTube presentaron recientemente funciones de doblaje automático con IA para creadores de contenido. Sus sistemas también incluyen una opción de sincronización labial para que parezca que el creador del vídeo habla en el idioma elegido por el usuario.
La diferencia entre las soluciones está en el ámbito de aplicación. Amazon prueba la tecnología en una serie profesional y sobre un doblaje ya terminado, mientras que Meta y YouTube se centran principalmente en el contenido de los creadores. En ambos casos, la promesa es la misma: que la barrera del idioma se note menos. La cuestión es hasta qué punto el resultado parecerá natural y si los personajes acabarán convertidos en marionetas digitales con una articulación perfecta, pero sospechosamente carente de vida.
PEREC.RU
Amazon Prime Video lanza una función experimental que combina inteligencia artificial y efectos visuales para sincronizar los movimientos de los labios de los actores con el doblaje traducido. La tecnología pretende que el doblaje resulte más convincente a la vista: el espectador verá que la boca del personaje se mueve de acuerdo con la frase que oye en otro idioma.
En esta primera fase, la función solo está disponible en la versión doblada al inglés de la serie alemana «Maxton Hall». Prime Video ha declarado que tiene intención de aplicar la tecnología con el tiempo a más películas y series, aunque no ha anunciado plazos concretos para ampliar el proyecto.
El sistema se aplica sobre un doblaje realizado por personas. Amazon lo describe como una combinación de IA y efectos visuales que retoca la imagen y adapta la articulación del personaje a la traducción. Su comunicado no indica que el servicio genere las voces íntegramente con una red neuronal: la tarea principal de la tecnología es coordinar el doblaje ya existente con el movimiento de los labios en pantalla.
La necesidad de este procesamiento se debe a las particularidades de la traducción. Una misma idea puede ocupar más o menos tiempo según el idioma, y los sonidos y movimientos de la boca pueden ser muy distintos. Por eso, en el doblaje convencional a veces se percibe un desfase: el actor ya ha dejado de mover los labios, pero la frase sigue sonando, o continúa articulando cuando la frase ya ha terminado.
Amazon no es la primera empresa que intenta resolver este problema con IA. Meta y YouTube han lanzado recientemente herramientas de doblaje automático para creadores de contenido. También ofrecen una función de lip sync —sincronización labial— que crea la impresión de que el autor del vídeo habla en el idioma elegido por el usuario.
Así pues, Prime Video aplica una idea similar a una serie profesional, mientras que Meta y YouTube se dirigen sobre todo a los vídeos de creadores de contenido. La tecnología podría facilitar el acceso internacional a películas y series al hacer que la traducción pase más desapercibida.
Aun así, queda por ver la calidad del resultado. Cuanto más altere el sistema la cara del actor, más importante será conservar la naturalidad de sus expresiones y la identidad de su interpretación. Un retoque fallido puede sustituir el desfase habitual por un defecto nuevo: la sensación de que el personaje es un muñeco digital con los labios perfectamente sincronizados.
