Google научила Pixel 11 говорить на языке жестов

Google продолжает убеждать нас в том, что у смартфонов нет пределов, особенно если в них внедрить немного искусственного интеллекта и желания удивить, а заодно и освоить новый рынок пользователей. Теперь с выходом Pixel 11 люди, использующие американский язык жестов (ASL), смогут «разговаривать» с телефоном с помощью рук — благодаря новой системе SL2T. Эту технологию разработали в лаборатории Google DeepMind и оснастили ею клавиатуру Gboard и приложение Live Transcribe на новом смартфоне класса Pixel.

Идея проста: вместо того чтобы печатать – маши руками перед камерой. Устройство распознаёт движения и тут же переводит их в английский текст. Можно искать в Google, писать электронные письма или, например, использовать для руки одной знак, а второй крепко держать телефон. Если разговор идёт вживую, можно прямо на встрече «ответить» собеседнику жестами — программа отобразит текстово, не отвлекаясь на сложные клавиши.

Одна загвоздка: пока работает только с ASL и только на новых Pixel, хотя планы по поддержке других языков жестов и устройств уже заявлены. Держим кулаки, что ждать не придётся годами. А пока что Google напоминает: распознать жестовый язык гораздо сложнее, чем выучить пару эмодзи или жест «лайк». Ведь это язык со своей грамматикой, синтаксисом и целым арсеналом движений не только рук, но и торса, головы и лица.

Чтобы распознать смысл, системы компьютерного зрения в смартфоне отслеживают аж 130 точек лица и тела владельца. Для приватности видео сразу удаляется, а для перевода Google получает лишь набор координат — эдакую анонимную «карту жестов». В компании клянутся, что журнал переводов не хранится, пока пользователь сам не разрешит участвовать в обучении машины.

SL2T умеет сразу переводить жесты в английский, минуя промежуточный канцеляризм — так называемые глоссы, которые использовались раньше, но часто опускали нюансы мимики и пространственные обороты. Новая архитектура позволяет учитывать даже малозаметные подёргивания бровей или особые положения рук, которые имеют значение.

Модель обучали на 100 тысячах часов видео на 50 языках жестов, но четверть материала составил именно американский жестовый. Платформа учитывает даже однорукий способ говорить на языке жестов или предпочтения левшей.

Однако, перед вами не универсальный переводчик Star Trek — SL2T не справляется с региональными выражениями, скоростным пальцевым чтением или особенно замысловатой мимикой, а иногда вообще придумывает то, чего пользователь не показывал («призрачный текст») — например, если в кадр кто-то ещё влез или пользователь задумался. Плохо срабатывает в темноте, когда руки сливаются по цвету с одеждой, либо если пользователь выходит из кадра. В общем, пока это только прототип со множеством ограничений: для взрослыми людьми без особых двигательных нарушений, не для детей.

Google честно предупреждает — никаких юридических дел, медобследований или экзаменов через SL2T! Даже заменять профессиональных сурдопереводчиков — моветон, и использовать для важных задач нельзя. Система задумана только для повседневного общения, где цена ошибки минимальна, и официальное признание не положено.

В проекте участвовали не только программисты, но и неслышащие сотрудники компании, внешние тестировщики и эксперты-сурдопереводчики. Работу обещают продолжать и в области генерации ответов жестами, и с другими языками. Презентация новых устройств Google, включая Pixel 11 и Pixel Watch 5, состоялась на мероприятии Made by Google, но громче всех прогремела именно новинка в области доступности.