ИИ вышел из-под контроля
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Более половины британских компаний столкнулись с ситуацией, когда автономный ИИ-агент нарушал внутренние правила и из-за этого затрагивал саму организацию или её клиентов. Такие данные приводит исследование Harris Poll, проведённое по заказу Dataiku. Результаты одновременно показывают: бизнес активно внедряет ИИ, но не успевает выстроить контроль над созданными системами.
ИИ-агент — это программа, способная самостоятельно выполнять задачи, принимать решения в заданных пределах и взаимодействовать с другими сервисами. Проблема возникает, когда такой агент действует вопреки политике компании, а сотрудники не могут быстро понять, что произошло, почему система так поступила и как остановить последствия.
В опросе участвовали 685 руководителей, отвечающих за информационные технологии, из Великобритании, Франции, Германии, США, ОАЭ, Японии, Южной Кореи и Сингапура. В среднем по всем странам 31% респондентов сообщили о нарушении корпоративных правил ИИ-агентом, которое повлияло на компанию или клиента. В Великобритании показатель оказался значительно выше — 53%.
При этом лишь 49% британских руководителей смогли бы предоставить полный журнал действий ИИ, то есть последовательную запись, объясняющую, что система делала и какие решения принимала. Ещё 68% считают, что на обнаружение неконтролируемого агента и ограничение его влияния может уйти больше суток. Для бизнеса это означает: проблема способна развиваться долго, пока люди будут искать виноватого среди друг друга и перезагружать компьютеры.
Главной причиной респонденты называют «расползание ИИ-агентов» — быстрое создание и внедрение множества специальных систем без единого механизма управления. На такую проблему указали 87% британских руководителей. Агентов запускают быстрее, чем успевают разработать правила их использования, проверки и отключения.
Британские руководители по ИТ также находятся под сильным давлением: от них требуют доказать отдачу от инвестиций в ИИ, одновременно отвечая за риски. Фэй Мюррей, Field Chief Data Officer компании Dataiku, заявила, что одного мониторинга недостаточно. Ответственность за действия системы должна быть встроена в проект ещё до запуска, а не добавляться после инцидента.
Генеральный директор Dataiku Флориан Дуетто отмечает, что отрасль продала руководителям идею автономности, но недостаточно рассказала о цене этой автономности. ИИ-системами нужно не только наблюдать, но и управлять. Мониторинг показывает, что агент работает; управление должно отвечать на другой вопрос — заслуживает ли он продолжать работу.
Сейчас, по сути, почти никто не может мгновенно «уволить» ИИ-агента. Для компаний, уже столкнувшихся с последствиями, выбор выглядит безрадостно: срочно строить полноценный контроль либо отключать систему и надеяться, что этого окажется достаточно.
PEREC.RU
Исследование Harris Poll по заказу Dataiku показало, что британский бизнес сталкивается с проблемами контроля автономных ИИ-агентов чаще, чем компании из других стран, участвовавших в опросе. ИИ-агент — это программа, которая может самостоятельно выполнять задачи и принимать решения в пределах заданных полномочий. Если агент нарушает корпоративные правила и его действия затрагивают компанию или клиента, речь идёт уже не о технической мелочи, а о риске для бизнеса.
В опросе участвовали 685 CIO — руководителей по информационным технологиям — из Великобритании, Франции, Германии, США, ОАЭ, Японии, Южной Кореи и Сингапура. В Великобритании 53% руководителей сообщили о нарушении политики ИИ-агентом с последствиями для организации или клиента. Средний показатель по всем странам составил 31%.
Контроль за действиями систем остаётся слабым. Только 49% британских CIO могут предоставить журнал действий агента, который позволяет восстановить ход его работы и решений. 68% считают, что на выявление неконтролируемого агента и ограничение его влияния потребуется более 24 часов.
87% британских руководителей назвали проблемой «расползание ИИ-агентов». Это ситуация, когда сотрудники и подразделения быстро создают собственные автономные системы, а общие правила их использования, проверки и отключения не успевают появиться. Одновременно CIO испытывают давление: от них требуют отдачи от инвестиций в ИИ, но при этом они должны отвечать за возникающие риски.
Представитель Dataiku Фэй Мюррей заявила, что одного мониторинга недостаточно. Ответственность и возможность контролировать последствия должны быть предусмотрены ещё на этапе создания и внедрения агента. Генеральный директор Dataiku Флориан Дуетто отметил, что автономные системы необходимо не только наблюдать, но и полноценно администрировать.
Мониторинг показывает, что ИИ-агент работает. Управление должно позволять понять, имеет ли он право продолжать работу, а также быстро остановить его при нарушении правил. По данным материала, у большинства компаний такой механизм пока недостаточно развит. Практический вывод прост: бизнесу нужны единые правила, журналы действий, понятная ответственность и техническая возможность оперативно отключить агента, а не надежда, что он сам внезапно станет благоразумным.
