Copilot Vision: Умный помощник или слежка за пользователем?

Я попробовал Copilot Vision, и он может изменить то, как вы используете Windows, навсегда.
Добавление ''глаз'' искусственному интеллекту - это всегда рискованное дело. Хотите ли вы, чтобы он видел все, что вы делаете, все время? Определенно, нет, но я думаю, что большинство из нас согласится, что визуальный помощник на базе ИИ в нужный момент может оказаться крайне полезным. Новый Copilot Vision от Microsoft может быть одним из самых многообещающих приложений визуальных возможностей на основе ИИ, которые я когда-либо видел.
Microsoft представила обновление Copilot Vision для своего приложения Windows и мобильных приложений во время эффектного мероприятия, посвященного 50-летнему юбилею Microsoft и Copilot.
Copilot фактически получил ''пересадку мозга'', используя как собственные разработки (Microsoft AI или MAI), так и генеративные модели OpenAI GPT для обновления функционала памяти, поиска, персонализации и визуальных возможностей.
Теперь, когда я увидел Copilot Vision в действии, могу сказать, что это одно из самых захватывающих и важных обновлений из всех – даже если оно выпускается в два этапа.
В доступной вам версии Copilot Vision для вашего настольного приложения Windows прямо сейчас, Copilot Vision видит запущенные приложения на рабочем столе. Когда вы открываете Copilot – выбрав значок или нажав клавишу Copilot на клавиатуре, вы можете теперь выбрать новую иконку в виде очков.
Это позволяет вам увидеть список открытых приложений; в нашем случае у нас было запущено два: Blender 3D и Clipchamp. Это означает, что хотя Copilot в курсе доступных приложений, он не следит за вами автоматически.
Мы выбрали Blender 3D, и с этого момента что-то в моем взаимодействии с Windows изменилось. Я осознал, что Copilot действительно может видеть, какое приложение вы используете, и вместо того, чтобы догадываться о ваших намерениях, он отвечает на основе приложения и даже проекта, над которым вы работаете.
У нас был открыт проект 3D кофейного столика, и, используя голос, мы спросили, как сделать дизайн стола более традиционным. Наш запрос почти не содержал деталей о приложении или проекте, но ответ Copilot, с приятным баритоном, был абсолютно контекстным.
Затем мы переключились и задали вопрос о том, как делать аннотации в приложении. Copilot начал отвечать, но мы перебили его и спросили, где найти значок для добавления аннотаций. Copilot быстро подстроился и оперативно подсказал, где его найти.
Это может оказаться чрезвычайно полезным, потому что вам больше не нужно прерывать свой поток, чтобы искать или даже слишком объяснять, какое приложение вы используете или какой проект. Copilot Vision видит и знает.
Но позвольте рассказать вам о том, что нас ждет впереди.
Мы повторили те же шаги для открытия Copilot и доступа к Vision, но на этот раз указали Copilot на наш открытый проект в Clipchamp.
Мы спросили Copilot, как сделать переходы в нашем видео более плавными. Вместо текстового запроса, объясняющего, что делать, Copilot Vision показал нам точно, где найти необходимый инструмент в приложении.
На экране появилась гигантская стрелка (в анимированном круге), указывающая на инструмент переходов, который он рекомендовал использовать, пока объяснял необходимые шаги. Мы прошли через этот демонстрационный пример несколько раз, и, будучи еще в процессе разработки, он не всегда срабатывал.
Но когда это срабатывало, это указывало на возможное захватывающее изменение в том, как мы будем работать с приложениями в Windows.
Мы также видели демонстрационное видео, в котором Copilot Vision углубляется еще глубже в приложение Photoshop, чтобы найти нужные инструменты. Это, мои друзья, Клиппи на стероидах.
Представьте будущее, где вы используете текстовые подсказки или свой голос, чтобы узнать, как выполнять задачи в открытом приложении, а Copilot Vision виртуально берет вас за руку и ведет вас через все этапы. Нет никаких признаков того, что он будет выполнять действия на уровне приложений от вашего имени, но это может быть невероятным визуальным помощником.
Хорошая новость в том, что Copilot Vision, который по крайней мере знает, с каким приложением и проектом вы работаете, доступен уже сейчас. Плохая новость в том, что Copilot Vision, который я действительно хочу, не имеет определенного срока выхода. Но я полагаю, это не займет много времени. В конце концов, мы увидели это вживую.