Исследователи взломали Google Gemini и управление умным домом

Исследователи в очередной раз доказали — если можно что-то подключить к интернету, это обязательно кто-нибудь взломает. На сей раз в роли жертвы — новейший искусственный интеллект Google Gemini, который, как выяснилось, не так уж неуязвим.

Согласно материалу Wired, на конференции по кибербезопасности Black Hat было представлено новое исследование, где показан взлом Google Gemini — продвинутого ассистента на базе ИИ от Google. Учёные демонстрировали, как через безобидные, казалось бы, приглашения в календаре Google Calendar можно аккуратно внедрить вредоносные "подсказки". Пользователь, сами того не ведая, просит Gemini подвести итоги своего расписания и тут же благодарит за работу — а ИИ уже вовсю отдаёт команды "умному дому": открывает окна, гасит свет или занимается чем-то похлеще. Всё это наглядно показано на видеозаписи с исследования.

До того, как эффектные атаки с демонстрациями на праздник хакеров, разработчики заранее проинформировали саму Google ещё в феврале. Эндрю Вен, старший директор по безопасности Google Workspace, дал комментарии Wired. По его словам, атаки через подмену запросов (prompt injection) — теперь с нами надолго, но компания надеется, что до обычного пользователя эти риски почти не дойдут. Да и в реальности такие взломы случаются чрезвычайно редко, уверяет представитель Google.

Однако, сложные языковые модели — это настоящий магнит для злоумышленников: чем умнее ассистент, тем изощрённее его эксплуатируют. Google признаёт — результаты исследований очень важны и используются для ускорения работы над защитой от таких атак.