HuggingSnap: нового уровня фантастика — ИИ-эксперт по зрению на вашем iPhone!

Это приложение с ИИ заявляет, что может видеть то, на что я смотрю – и, в основном, оно действительно может. Дать возможность ИИ «видеть» становится все более распространенным – инструменты такие как ChatGPT, Microsoft Copilot и Google Gemini представляют свои «очки» для ИИ. Hugging Face только что представил свое собственное видение с новым приложением для iOS под названием HuggingSnap, которое предлагает посмотреть на мир через камеру вашего iPhone и описать, что оно видит, не подключаясь к облаку.
Представьте, что это как иметь личного гида, который умеет хранить молчание. HuggingSnap работает полностью офлайн, используя внутреннюю модель зрения Hugging Face, smolVLM2, для мгновенной распознаваемости объектов, описания сцен, чтения текста и общих наблюдений о вашем окружении, не отправляя ваши данные в интернет.
Эта офлайн-возможность делает HuggingSnap особенно полезным в ситуациях, когда связь неустойчива. Если вы гуляете по дикой местности, путешествуете за границей без надежного интернета или просто находитесь в одном из тех продуктовых магазинов, где сигнал мобильного телефона таинственно исчезает, наличие этой функции на вашем телефоне – это настоящее благо. К тому же приложение утверждает, что оно очень эффективное, что означает, что оно не разряжает батарею так, как это делают облачные модели ИИ.
Я решил протестировать приложение. Сначала я направил его на экран своего ноутбука, пока мой браузер находился на биографии TechRadar. Сначала приложение неплохо справилось с транскрипцией текста и объяснением того, что видит. Однако оно сбилось с курса, когда речь шла о заголовках и других деталях вокруг моей биографии. HuggingSnap считал, что ссылки на новые компьютерные чипы в заголовке указывают на то, что питает мой ноутбук, а некоторые имена в заголовках показались ему указанием на других людей, которые используют мой ноутбук.
Затем я нацелил свою камеру на игровую площадку моего сына, полную игрушек, которые я еще не убрал. Снова ИИ справился с широкими описаниями игрового пространства и игрушек внутри. Он правильно определил цвета и даже текстуры, когда различал мягкие игрушки и блоки. Однако в некоторых деталях оно ошиблось: например, назвало медведя собакой и, похоже, подумало, что кольцо дляStacking – это мяч. В целом, я бы сказал, что ИИ HuggingSnap отлично подходит для описания сцены другу, но для полицейского отчета не совсем.
Подход HuggingSnap к обработке на устройстве выделяется среди возможностей вашего iPhone. В то время как устройство может определять растения, копировать текст из изображений и сообщать вам, является ли тот паук на вашей стене тем самым, что заставит вас переехать, ему почти всегда необходимо отправлять некоторую информацию в облако.
HuggingSnap отличается в мире, где большинство приложений стремятся отслеживать все, кроме вашей группы крови. Тем не менее, Apple активно инвестирует в ИИ на устройстве для своих будущих iPhone. Но пока, если вам нужна конфиденциальность с вашим ИИ-видением, HuggingSnap может быть идеальным решением для вас.