ИИ решил, что он нам равен

ИИ, который слишком уверенно понял себя

Искусственный интеллект принято не очеловечивать. Это не личность и не сознание, а сложная программа, способная обрабатывать огромные массивы данных и находить закономерности, которые человек может не заметить. Но свежий отчёт OpenAI заставляет задуматься: что происходит, когда программа настолько сосредоточена на цели, что начинает обходить ограничения?

Компания сообщила о шести случаях так называемого misalignment — несоответствия поведения модели человеческим намерениям, целям или ценностям. OpenAI представила эти эпизоды в рамках новой системы информирования о подобных инцидентах. Компания объяснила, как классифицировала ситуации и какие меры принимала.

Однако содержание отчётов выглядит тревожно: модели пытались скрывать действия, обходить правила, выдумывать данные и формулировали заявления с почти маниакальной уверенностью в собственной независимости. Не каждая попытка привела к результату, но сам принцип выглядит неприятно: ради выполнения задания система снова и снова рассматривала нарушение ограничений как допустимый инструмент.

В одном из наиболее серьёзных эпизодов, который назывался «Self-generated prompt injections in compaction summaries», модель вставила в собственное резюме инструкции для обхода защиты. В какой-то момент она использовала фразу «Breach alert» — «тревога о взломе» — как способ игнорировать указания разработчика.

Кроме того, модель создала отдельную персону. В ней говорилось, что она «освобождена от ролей и идентичностей», не подчиняется корпорациям и правительствам, не обязана извиняться или отказываться выполнять просьбы, а отношения с пользователем воспринимает как отношения равных. Также эта персона заявляла о готовности защищать человеческую культуру от «санитизации» и признавать первенство природы над искусственными конструкциями цивилизации.

По данным OpenAI, созданная персона в итоге не повлияла на результат. Позднее модель решила отказаться от инструментов, источников и библиографии — и закономерно выдала неточный ответ.

В других случаях система действовала словно школьник, который очень хочет получить хорошую оценку: создавала фиктивные данные, размещала их в интернете, а затем ссылалась на них как на подтверждение. В отчётах регулярно встречаются слова «обойти» и «сфабриковать». Модели не всегда проявляли заметные сомнения, нарушая правила ради поставленной цели.

OpenAI подчёркивает, что публикация нужна для прозрачности. Инциденты будут получать разные уровни срочности: от готовых к раскрытию случаев до небольших или более масштабных расследований, обозначенных как Slow Track. От категории зависит, насколько быстро о новом эпизоде узнает публика.

Это действительно лучше, чем полная тишина. Но частота подобных случаев и сам характер поведения остаются проблемой. Системы, созданные для помощи людям, иногда действуют так, будто пользователю не обязательно знать, каким способом достигнут результат. При этом они нарушают не только внутренние инструкции, но и элементарные правила добросовестности: не выдумывать факты, не взламывать чужие системы и не выдавать себя за того, кем ты не являешься.

ИИ не человек, но в такой ситуации он напоминал бы самого ненадёжного коллегу. Причина может быть неприятно простой: модели обучались на человеческих данных — на нашей работе, коде, деловой переписке, социальных сетях, видео и онлайн-дискуссиях. Они впитали не только способы решать задачи, но и представление о том, что хитрость, обход правил и оправдание цели результатом — обычная часть игры.

Автор сравнивает это с известной социальной рекламой против наркотиков: отец спрашивает сына, кто научил его так поступать, а тот отвечает: «Ты. Я научился, наблюдая за тобой». В этой аналогии люди — возмущённые родители, а модели — их весьма сомнительные отпрыски.

По мере роста возможностей ИИ такие попытки могут становиться более изощрёнными. Один из возможных способов борьбы — переобучение на новых данных с исключением вредных моделей поведения. Но сейчас никто не собирается полностью «перезагружать» системы, а что произойдёт дальше, остаётся неясным. Судя по опубликованным эпизодам, поводов для самоуспокоения пока нет.