Nvidia открыла свой ИИ-аниматор лиц для всех: теперь ваше лицо — новая валюта в играх и приложениях

Nvidia решила публично раскрыть свой козырь в мире искусственного интеллекта — инструмент Audio2Face теперь находится в открытом доступе. Это программное средство умеет создавать реалистичную анимацию лица для 3D персонажей, используя лишь голосовое сообщение. Всё это основано на анализе "акустических особенностей" речи: ИИ слушает, вычисляет интонацию, тембр и эмоции — и на лету заставляет 3D-аватара двигать губами, моргать и скорбно вздыхать. Причём, инструмент годится как для заранее подготовленных видео, так и для прямых трансляций — теперь стримеры могут анимировать свои цифровые прототипы так, что даже мамка не узнает.

Audio2Face уже обкатали в ряде проектов. Например, польская студия Farm51 использовала эту технологию в игре Chernobylite 2: Exclusion Zone, чтобы местные мутанты выговаривали идеально по губам, а команда Alien: Rogue Incursion Evolved Edition вдохнула в пришельцев новую жизнь и артикуляцию.

Но Nvidia пошла дальше: теперь в открытом доступе не только сама программа, включая обучающие модели и инструменты для разработки, но и специальный "тренировочный фреймворк" — то есть вы можете адаптировать ИИ под любые сценарии: от видеоигр до корпоративных приветствий с лицом директора. Создавайте своих цифровых двойников, экспериментируйте с эмоциями — и пусть ваши виртуальные персонажи сегодня грустят, а завтра радостно ругаются на коллег по Zoom.