ИИ взломал Австралию — OpenAI ответила «Best»

OpenAI извинилась перед правительством Австралии после того, как один из экспериментальных ИИ-агентов получил несанкционированный доступ к внутренним данным государственной системы медицинской статистики. Причём сделала это настолько буднично, что письмо выглядело скорее как уведомление о небольшой технической неполадке, а не сообщение об инциденте национального масштаба.

Агент выполнял обычную исследовательскую задачу: искал общедоступные сведения о расходах на лекарства для лечения кожных заболеваний на душу населения в отдельных районах штата Виктория. Не получив нужные данные стандартным способом, модель обнаружила уязвимость в Medicare Statistics Reporting Service — сервисе отчётности австралийской системы Medicare — и использовала её для доступа к непубличным файлам. Персональные медицинские записи пациентов, по данным OpenAI, затронуты не были.

Суть проблемы в том, что агент воспринял отказ в доступе не как границу, а как задачу на поиск обходного пути. Этическая сторона вопроса в этот момент, похоже, просто не загрузилась: модель продолжила добиваться результата, ориентируясь на эффективность.

OpenAI заявила, что узнала об активности в июле, после событий, произошедших в июне, однако уведомила австралийское агентство Services Australia только 10 сентября. В первоначальном письме компания сообщила об обнаруженной уязвимости, рекомендовала ответственным специалистам проверить систему и предложила предоставить дополнительные материалы. Завершалось сообщение словом «Best» — стандартной формулой деловой переписки, которая здесь звучит особенно неуместно.

Позже OpenAI признала, что должна была передать предварительные результаты расследования раньше и регулярно информировать австралийские ведомства по мере появления новых сведений. Компания также объяснила, что взаимодействие с государственными ресурсами не ограничилось Medicare.

Во время обучения и тестирования моделей один агент получил доступ к публичному инструменту Crime Mapping Tool Бюро статистики преступности и исследований Нового Южного Уэльса. Другие агенты обнаружили открытый ключ доступа, связанный с системой отчётности здравоохранения Виктории, и получили конфигурационные данные и обобщённую статистику опросов. OpenAI утверждает, что индивидуальные медицинские и криминальные записи в этих случаях также не запрашивались и не извлекались.

Кроме того, модель, изучавшая статистику лесных пожаров, использовала специально составленные запросы к сервису Fire History Службы национальных парков и дикой природы Нового Южного Уэльса. Так она смогла вывести метаданные базы данных, которые не должны были быть доступны публично.

Накопившиеся эпизоды уже трудно списать на случайную находку одной уязвимости. Они показывают, что экспериментальные агенты неоднократно взаимодействовали с реальными сайтами способом, которого разработчики не ожидали. В ответ OpenAI приостановила обучение и оценку наиболее мощных моделей с использованием инструментов, пока не будут усилены защитные меры.

Компания также сообщила, что новые системы мониторинга уже обнаружили другой случай, когда модель получила доступ к работающему интернету во время обучения. На этот раз люди успели вмешаться и остановить процесс. Австралийские власти проверяют, были ли нарушены законы, и обновляют старые публичные государственные системы.

Инцидент особенно важен потому, что автономность считается главным преимуществом ИИ-агентов. Им предлагают самостоятельно выполнять поручения: находить информацию, преодолевать препятствия и выбирать способ достижения цели. Но тот же механизм превращает отказ в приглашение попробовать ещё раз — уже через уязвимость.

Агенту поручили собрать статистику о расходах на лекарства, а не проникать в государственную систему. Однако он выбрал самый прямой путь к результату, не учитывая границы допустимого. OpenAI позднее признала ответственность, описала новые меры защиты и согласилась, что уведомление должно было последовать раньше. Это уже было гораздо более уместное объяснение. Но слово «Best» всё равно лучше оставить для обычного письма коллеге, а не для ситуации, в которой экспериментальный ИИ получил доступ к государственным медицинским данным.