Amazon научила героев говорить по-новому
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Amazon Prime Video запускает функцию на основе искусственного интеллекта, которая синхронизирует движения губ актеров с озвучкой на другом языке. Иными словами, сервис пытается сделать так, чтобы персонаж выглядел так, будто действительно произносит переведенные реплики, а не просто открывает рот под звук, записанный где-то отдельно.
Пока технология доступна только для английской дубляжной версии немецкого сериала «Maxton Hall». Amazon не уточнила, когда функция появится в других проектах, но сообщила, что планирует расширить ее на дополнительные произведения.
Для обработки видео Prime Video использует сочетание искусственного интеллекта и технологий визуальных эффектов. Система корректирует изображение так, чтобы движения рта соответствовали человеческому дубляжу. Важно, что речь идет именно о «человеческой озвучке»: ИИ здесь отвечает за визуальное согласование, а не обязательно за создание самих голосов.
Такой подход решает одну из старых проблем дубляжа. При переводе длина фраз, темп речи и звуки в разных языках меняются, поэтому губы актера часто двигаются не в такт услышанным словам. Зритель обычно замечает это почти сразу — особенно в крупных планах, где персонаж выглядит так, будто его реплики озвучивает слегка рассинхронизированный кукловод.
Prime Video не единственная платформа, экспериментирующая с подобными инструментами. Meta и YouTube недавно представили функции автоматического дубляжа на основе ИИ для авторов контента. В этих системах также предусмотрена опция синхронизации губ, чтобы создатель видео выглядел так, будто говорит на выбранном пользователем языке.
Разница между решениями заключается в масштабе применения. Amazon тестирует технологию на профессиональном сериале и готовом дубляже, а Meta и YouTube ориентируются прежде всего на контент авторов. В обоих случаях обещание звучит одинаково: языковой барьер должен стать менее заметным. Вопрос только в том, насколько естественно это будет выглядеть и не превратятся ли герои в цифровых марионеток с идеальной, но подозрительно безжизненной артикуляцией.
PEREC.RU
Amazon Prime Video запускает экспериментальную функцию, использующую искусственный интеллект и визуальные эффекты для синхронизации движений губ актеров с переведенной озвучкой. Технология должна сделать дубляж визуально убедительнее: зритель будет видеть, что рот персонажа двигается в соответствии с услышанной репликой на другом языке.
На первом этапе функция доступна только для английской дубляжной версии немецкого сериала «Maxton Hall». Prime Video заявила, что намерена со временем применить технологию к дополнительным фильмам и сериалам, однако точные сроки расширения проекта не объявлены.
Система работает поверх человеческого дубляжа. Amazon описывает ее как сочетание ИИ и визуальных эффектов, которое корректирует изображение и подстраивает артикуляцию персонажа под перевод. Из сообщения не следует, что сервис полностью создает голоса с помощью нейросети: главная задача технологии — согласовать уже существующую озвучку с движением губ на экране.
Необходимость в такой обработке связана с особенностями перевода. В разных языках одна и та же мысль может занимать разное количество времени, а звуки и движения рта могут значительно отличаться. Поэтому при обычном дубляже зритель иногда видит рассинхрон: актер уже закончил движение губами, хотя реплика еще звучит, или продолжает артикулировать после окончания фразы.
Amazon стала не первой компанией, которая пытается решить эту проблему с помощью ИИ. Meta и YouTube недавно запустили инструменты автоматического дубляжа для авторов контента. Они также предлагают функцию lip sync — синхронизацию губ, которая создает впечатление, будто автор видео говорит на языке, выбранном пользователем.
Таким образом, Prime Video применяет похожую идею в профессиональном сериале, тогда как Meta и YouTube ориентируются главным образом на ролики создателей контента. Потенциально технология может упростить международный просмотр фильмов и сериалов, сделав перевод менее заметным.
Одновременно остается вопрос качества. Чем активнее система изменяет лицо актера, тем важнее сохранить естественную мимику и узнаваемость исполнения. Неудачная обработка способна заменить привычный рассинхрон новым недостатком — ощущением, что персонаж выглядит как цифровая кукла с идеально подогнанными губами.
