Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
На конференции Snowflake World Tour в Лондоне главным героем стал «агентный бизнес» — компании всё активнее используют ИИ-инструменты, способные не просто отвечать на запросы, а выполнять последовательности действий. Однако вместе с обещаниями роста регулярно появляются тревожные сообщения о сбоях, утечках и непредсказуемом поведении искусственного интеллекта. Поэтому ключевой вопрос теперь звучит так: как сохранить доверие клиентов и защитить данные, если часть рабочих процессов передаётся автономным программным агентам?
Об этом рассказал Mayank Uphadyay, Chief Security & Trust Officer компании Snowflake. По его словам, нынешний этап развития ИИ во многом связан с поиском правил управления такими системами. Здесь есть две стороны одной задачи. Во-первых, нужно не допустить, чтобы чужой ИИ проник во внутреннюю инфраструктуру компании. Во-вторых, необходимо контролировать собственные ИИ-системы: чтобы они не вывели данные за пределы разрешённой зоны, случайно не обратились к неподходящему сервису и не вышли за установленные границы.
«Когда люди доверяют нам свои данные, мы должны сделать платформу полностью защищённой от атак, связанных с ИИ-агентами», — отметил Uphadyay.
Он сравнил архитектуру агентного бизнеса с человеческим организмом. Выбранная модель ИИ выступает в роли мозга, агент — тела, а данные образуют фундамент всей системы. Если этот фундамент ненадёжен, красивые демонстрации быстро превращаются в дорогостоящую импровизацию.
При этом клиенты Snowflake находятся на разных стадиях внедрения ИИ. Uphadyay считает, что безопасность перестала быть препятствием и стала условием развития. Он сослался на бывшего автогонщика Mario Andretti: тормоза нужны не только для замедления, но и для уверенного прохождения поворотов. Без них водитель всё равно будет ехать медленно — просто из страха.
По той же логике, утверждает представитель Snowflake, защитные механизмы позволяют бизнесу смелее внедрять ИИ. Компания предлагает клиентам настроить необходимые ограничения и средства контроля, а затем объясняет, как они работают.
Одним из таких инструментов является Trust Center. Он связывает три уровня системы, о которых говорил Uphadyay, помогает защищать инфраструктуру и даёт компании обзор происходящего: какие процессы запущены, где есть уязвимости и какие улучшения необходимы.
Доверию способствует и история самой Snowflake — компания работает более 12 лет. Но одних лет на рынке недостаточно: вокруг ИИ постоянно появляются новые защитные механизмы и правила доступа.
Отдельная проблема связана с разрешениями сотрудников. За годы работы человек может получить доступ к множеству систем и сервисов, которые ему уже не нужны. Если ИИ-агент действует от его имени, старые и избыточные права превращаются в потенциальный канал для проблем. Поэтому агентам необходимо выдавать только тот набор разрешений, который действительно нужен для конкретной задачи.
На мероприятии Snowflake также показала платформы Coco и CoWork. Они могут объединять действия человека и автоматизацию: повторяющиеся операции передаются ИИ, а сотрудник контролирует более сложные этапы.
Uphadyay подчёркивает, что работа ИИ уже не всегда детерминирована: система может выбирать разные способы достижения результата. Поэтому автоматизация должна строиться постепенно. Внизу условной пирамиды находятся многочисленные рутинные операции. Выше — менее шаблонные задачи, а на вершине — критически важные решения, где участие человека пока необходимо.
Чем больше компания проверяет автоматизированные процессы и убеждается в их надёжности, тем выше по этой пирамиде она может подниматься. ИИ-агенты уже не выглядят далёким экспериментом: они становятся рабочим инструментом бизнеса. Но доверие к ним придётся не объявлять, а последовательно зарабатывать — ограничениями, прозрачностью и контролем.
Snowflake на лондонской конференции World Tour представила развитие концепции «агентного бизнеса» — модели, в которой ИИ-агенты самостоятельно выполняют последовательности рабочих операций. Такая автоматизация обещает изменить работу компаний, но одновременно создаёт новые риски для безопасности, конфиденциальности и контроля доступа к данным.
Mayank Uphadyay, Chief Security & Trust Officer Snowflake, объяснил, что компаниям нужно решать сразу две задачи. Первая — защищать внутреннюю инфраструктуру от чужих ИИ-агентов и связанных с ними атак. Вторая — контролировать собственные системы, чтобы они не выводили данные за пределы разрешённой зоны, не обращались к неподходящим сервисам и не нарушали установленные ограничения.
Uphadyay описал архитектуру агентной системы через аналогию с человеком: модель ИИ является «мозгом», агент — «телом», а данные — фундаментом. Надёжность фундамента определяет, насколько безопасно бизнес может использовать автономные инструменты.
По мнению представителя Snowflake, безопасность перестала быть препятствием для внедрения ИИ и стала его условием. Он сравнил защитные механизмы с тормозами автомобиля: они позволяют не только остановиться, но и увереннее проходить сложные повороты. Для контроля Snowflake предлагает Trust Center — инструмент, который соединяет уровни защиты, обеспечивает видимость происходящего в системе и помогает выявлять необходимые улучшения.
Компания работает более 12 лет, однако одной репутации недостаточно. Важное направление развития — настройка правил доступа для ИИ-агентов. Сотрудники со временем накапливают разрешения в различных системах и сервисах, даже если больше ими не пользуются. Когда агент действует от имени такого сотрудника, он может унаследовать избыточные права и получить доступ к ненужным данным. Поэтому агентам следует выдавать только минимальный набор разрешений, необходимый для конкретной задачи.
На Snowflake World Tour были продемонстрированы платформы Coco и CoWork. Они предназначены для сочетания автоматизации и человеческого участия: повторяющиеся операции выполняет ИИ, а человек контролирует более сложные и важные этапы.
Uphadyay отметил, что поведение современных ИИ-систем не всегда детерминировано: они могут выбирать разные способы достижения результата. Поэтому внедрение следует проводить постепенно. В нижней части условной пирамиды находятся простые рутинные операции, выше — менее шаблонные задачи, а на вершине — критически важные решения, где участие человека остаётся обязательным.
Чем больше компания проверяет автоматизированные процессы и убеждается в их надёжности, тем более сложные задачи она может передавать ИИ. Главный вывод Snowflake: ИИ-агенты уже стали реальностью, но их полезность напрямую зависит от доверия, прозрачности, правильно настроенных разрешений и постоянного человеческого контроля.