Когда Искусственный Интеллект закричал ААААА!

Искусственный Интеллект, что закричал ААААА!
Голоса ИИ обычно стремятся быть реалистичными и дружелюбными, подражая расслабленным, счастливым иHelpful людям. Однако новая модель с открытым исходным кодом под названием Dia сосредоточена на более эмоциональной палитре голосов, включая действительно интенсивные крики.
Создатели Dia из Nari Labs - маленькая группа, но они предоставили голосам ИИ возможность звучать как слегка мелодраматичный артист, способный воспроизводить реалистичный смех, кашель, очищение горла, сопение и, да, крики.
Вы могли бы не подумать, что крик - это большая проблема для ИИ на данный момент, но кричать довольно сложно. Это не просто громко разговаривать; это совершенно другой режим речи.
Эмоционально выразительная речь - это пробел в большинстве голосов ИИ. Легко представить, как голосовая модель читает сказку на ночь. Однако намного сложнее сделать так, чтобы она звучала так, будто пытается успокоить друга или только что увидела что-то шокирующее. Большинство коммерческих моделей избегают звучать роботизированно, сглаживая тон голоса, что не оставляет места для такой аудиосимметрии эмоциональной речи.
Dia считает невербальную коммуникацию частью выступления. Она понимает, что "(кашляет)" - это нечто, что следует помнить или читать буквально. Она знает, что крик - это не просто громкая реплика. И она выполняет эти вещи с уровнем тайминга, модуляции тона и контроля дыхания, что делает их более реальными.
Один из предприимчивых пользователей даже использовал его, чтобы воссоздать часть знаменитого скетча Лероя Дженкинса из World of Warcraft.
Это не значит, что OpenAI, ElevenLabs, Google, Sesame и другие не разработали замечательные модели голосов ИИ. Вы можете настроить продвинутый режим голоса OpenAI, чтобы он говорил с разными эмоциями, а ElevenLabs хорошо интерпретирует заглавные буквы и знаки препинания, чтобы настроить речь, но это не совсем то же самое, что закричать от удивления или хрипеть от смеха.
Sesame особенно хорош в том, чтобы звучать и реагировать как настоящий человек, но даже его модели склоняются к более жизнерадостным и общепозитивным манерам.
Конечно, реализм субъективен, и вы можете быстро выяснить, что Dia - это голос ИИ. Однако поддельные крики и смех также могут быть довольно человеческими звуками в правильном контексте.
Два студента. Один все еще в армии. Ноль финансирования. Одна нелепая цель: создать модель TTS, которая соперничала бы с NotebookLM Podcast, ElevenLabs Studio и Sesame CSM. Как-то... мы это сделали. Вот как.
Что делает эту историю более интересной, чем просто "голос ИИ учится фокусам на вечеринке", так это то, что она сигнализирует о более широкой гонке в ИИ за эмоциональным интеллектом.
Мы стремительно вступаем в эпоху, когда недостаточно просто правильно говорить; нужно говорить это правильным образом. Подумайте о службах поддержки клиентов, которые звучат искренне извиняясь, учителях, которые звучат ободряюще, а не поучительно, и игровых персонажах, которые передают искренность.
Конечно, наделение ИИ способностью убедительно выражать эмоции делает их более убедительными и, следовательно, потенциально более манипулятивными. Если эмоциональная речь может быть просто еще одним инструментом ИИ, то не все ли начнут чувствовать желание закричать?
Тем не менее, я могу представить, как весело написать историю о призраке для Dia, чтобы она не просто читала ее, но и исполняла, включая крики.