Google научил Gemini читать мелкий шрифт камерой

Google запускает Guided Vision — новую функцию в Gemini Live, которая превращает камеру совместимого Android-смартфона в своеобразного голосового помощника. Искусственный интеллект в реальном времени описывает то, на что направлен объектив: может прочитать мелкий шрифт, рассказать о предметах вокруг, помочь найти нужный объект или уточнить детали на конкретной вещи.

Чтобы воспользоваться функцией, пользователь включает трансляцию изображения с камеры в Gemini Live. После этого система анализирует происходящее перед смартфоном и отвечает голосом. Например, она может помочь разобрать надпись на упаковке, описать обстановку в помещении или подсказать, где находится определённый предмет.

Guided Vision предназначена прежде всего для людей, которые не видят или имеют слабое зрение. Однако Google подчёркивает, что функция может пригодиться и в отдельных бытовых ситуациях — например, когда текст слишком мелкий, освещение плохое или пользователю нужно быстро понять, что находится перед ним.

По возможностям Guided Vision напоминает VoiceOver Live Recognition от Apple. Эта функция уже используется на iPhone и гарнитуре Vision Pro: она также распознаёт окружающие объекты и сообщает о них пользователю голосом.

Новая возможность доступна в Gemini Live и приложении Gemini на совместимых Android-устройствах. То есть одного желания заставить телефон быть зрением недостаточно: потребуется поддерживаемая модель и доступ к функции. Кроме того, ответы искусственного интеллекта не следует считать безошибочными — при работе с важными надписями и предметами информацию лучше перепроверять.

Guided Vision показывает, как камеры смартфонов постепенно превращаются из инструмента для фотографий в сенсорный слой между человеком и окружающим миром. Пока это не магия и не полноценная замена зрению, а полезный цифровой помощник, который умеет вслух объяснить увиденное — иногда именно тогда, когда мелкий шрифт снова решил победить человечество.