Adobe Firefly: заставь звук плясать под свой голос

Adobe снова удивляет: популярный среди креаторов инструмент Firefly обзавёлся функцией генерации звуковых эффектов с помощью… вашего голоса! В недавней демонстрации кинематографист Шон МакДэниел показал, как новый сервис способен провести на раз-два через настоящий аудиопресетный ад. Представьте: вы грузите видео в Firefly и набираете что-то элементарное – «шаги по бетону». В обычной жизни найти нужные шаги — тот ещё квест. Шум копыт на асфальте? Или, может, легкие кроссовки? Стиль бега: паника или прогулка? Не забудьте синхронизировать звук с движением персонажа!

Вот тут МакДэниел добавил перчинку: он не искал запись, а сам прошёлся вслух — воспроизвёл голосом ритм и эмоцию шагов прямо во время сцены. Это не озвучка, а «перформанс-референс» для искусственного интеллекта. Firefly мгновенно выдал четыре подходящих звука, четко совпадающих с видео по времени и динамике. Причём получились они весьма достойно: теперь любой человек может управлять звуком, как режиссёр ведёт актёра — эмоциями, ритмом, ощущением.

До появления подобных технологий такую точность могла обеспечить только фоли-студия — то есть отдельные мастера по шумовым эффектам. Но теперь Firefly, принимая голосовые сигналы, способен сочинить, например, визжащий тормоз гонки, трубящий хобот слона или снегоходящего лыжника — достаточно просто описать сцену словами и проложить голосовой референс. Сгенерированные эффекты не только совпадают по времени, но и подстраиваются под смену скорости и направления движения.

Всё это делает Adobe Firefly весьма заманчивым для быстрых онлайн-креаторов и видеомейкеров: можно мгновенно озвучить ролик, не погружаясь в саунд-библиотеки. Классическому кинематографу новая функция пригодится для черновых монтажей и экспериментов — полностью заменить профессиональных фоли-артистов (создателей уникального саунд-дизайна) она пока не способна, но потенциал есть.

Значительный плюс — никакого пиратства: Firefly обучался только на лицензированном или принадлежащем Adobe контенте. А то знаем мы эти истории: OpenAI, Google, Meta — у кого лицензии, а у кого… потом суд.

Вдобавок Adobe обновила ещё несколько полезных инструментов: появилась расширенная система управления движением, готовые стилистические пресеты, а также новая функция “кадрового ключа” для обрезки. Firefly Boards теперь создают видео с помощью Runway Gen-4 и Google Veo3, а специнструмент компоновки научился подбирать стиль и ракурс под референсы.