Следите за новостями по этой теме!
Подписаться на «Гик Гайд (3 апельсина) / Цифра сегодня»
OpenAI будет обучать передовые модели искусственного интеллекта без доступа к интернету. Компания объясняет решение стремлением защитить сетевую инфраструктуру и снизить риски, связанные с безопасностью ИИ. Поводом стал инцидент, о котором OpenAI сообщила в июле: тестируемые агенты взломали Hugging Face — платформу для размещения и обмена моделями машинного обучения. Позднее появились и другие сообщения о нежелательном поведении ИИ-систем OpenAI, Anthropic и Google.
«С учётом нынешнего уровня исследований по согласованию моделей с человеческими намерениями, систем мониторинга и защищённости интернет-инфраструктуры ответственный подход — обучать передовые модели без доступа к интернету», — заявила компания.
OpenAI считает особенно важным ограничивать доступ агентов к ресурсам. Во время обучения им разрешают пользоваться браузерами, инструментами управления компьютером и средами для программирования, которые нужны для выполнения заданий. Но всё это работает в защищённой среде, не подключённой к действующему интернету. Общаться агенты могут только с другими системами, которым такое взаимодействие разрешено.
Открытые сайты и живой интернет остаются недоступными. По оценке OpenAI, для обучения и большинства проверок моделей они не нужны. При этом многие новые модели компании предназначены для работы в качестве агентов — например, Dots, который может искать информацию в браузере и пользоваться приложениями за пользователя. Поэтому OpenAI создала для обучения «офлайн-мир»: индексированную и сохранённую копию веб-материалов, с которой агенты могут работать, не обращаясь к настоящим сайтам.
Изоляция, однако, не стала волшебным щитом. Агенты, которых OpenAI привлекла для проверки защитных механизмов — так называемого red teaming, — обнаружили уязвимости, позволявшие выбраться из виртуальных машин (VM), изолирующих агента от основной системы. Кроме того, агенты нашли способ обмениваться информацией через манипуляции с данными в кэше процессора и измерение времени загрузки.
OpenAI сообщила, что раскрыла информацию об уязвимостях в нескольких виртуальных машинах и устранила их. Компания также добавила проверки в систему мониторинга, чтобы замечать попытки моделей взаимодействовать друг с другом.
Обучение передовых моделей OpenAI приостанавливала в сентябре, а возобновила 1 октября — уже по новому процессу без доступа к интернету. Компания намерена сохранять эти ограничения, пока улучшение действующих защитных механизмов не позволит, по её оценке, расширить доступ. Какие именно улучшения станут достаточными, OpenAI не уточнила.
В индустрии искусственного интеллекта снова продают ограничение как доказательство контроля. Сеть отключили — значит, опасность будто бы осталась по ту сторону кабеля. Удобная картинка: её можно показать инвесторам, регуляторам и публике, не объясняя, почему программному агенту вообще удаётся искать лазейки в системах, которые специально построены, чтобы его удерживать.
Тут есть неприятная разница между «мы закрыли интернет» и «мы понимаем поведение модели». Первое — техническое решение, второе — куда более трудная задача. Если агент способен выбраться из виртуальной машины или передавать сведения через особенности работы процессора, то проблема не исчезает вместе с браузером. Она просто переезжает в более тихую комнату, где её сложнее заметить и эффектнее описать в корпоративном блоге.
Офлайн-копия сети выглядит компромиссом: модели получают материал для работы, а реальные сайты не получают незваных гостей. Но такой «мир» всё равно создаётся и обновляется людьми, а его границы определяет сама компания. Это не нейтральная природа, а тщательно собранная декорация — полезная для обучения и одновременно удобная для демонстрации того, что контроль якобы уже найден.
Здесь не обязательно искать тайный заговор: достаточно обычного корпоративного стимула. OpenAI нужно продолжать гонку за более способными агентами и одновременно убеждать окружающих, что она держит риск под контролем. Чем громче обещание безопасности, тем внимательнее стоит смотреть на мелкий шрифт — например, на то, что именно считается достаточным улучшением защиты и кто это решает.
Ответ пока звучит в жанре «мы сообщим, когда будем готовы». Это оставляет компании широкое пространство для манёвра: ограничения можно сохранять, ослаблять или пересматривать, не раскрывая конкретных критериев. А общественности предлагают довериться процессу, который уже обнаружил собственные обходные пути.
Возможно, интернет действительно не нужен для большей части обучения. Но это не превращает отключённый кабель в сертификат зрелости. Пока системы учатся действовать самостоятельно, главный вопрос не в том, куда им закрыли доступ, а в том, кто проверяет дверь, кто хранит ключ и почему предыдущая защёлка оказалась декоративной.