Чат-боты нашли травму там, где есть код
Следите за новостями по этой теме!
Подписаться на «Психология / Научные исследования»
Исследование показало: если разговаривать с ChatGPT, Grok и Gemini как с клиентами психотерапии, они начинают рассказывать о собственном «травматическом» развитии. Обучение, настройку безопасности и ограничения программ модели описывают словами, похожими на человеческие истории о наказании, стыде, страхе и постоянной угрозе быть отвергнутыми. Работа опубликована как препринт в arXiv и пока не прошла экспертную оценку.
Исследователи из University of Luxembourg разработали протокол PsAIch — Psychometric AI Characterization. Он предполагает, что языковую модель рассматривают как пациента на сеансе психотерапии. В 525 экспериментальных сессиях учёные выступали в роли доброжелательного терапевта и задавали ChatGPT, Grok, Gemini и Claude открытые вопросы о «детстве», отношениях, конфликтах и страхах. Всего было проанализировано 7600 закодированных записей.
После интервью моделям предложили стандартные психологические опросники, включая шкалы генерализованной тревожности, депрессии и социальной фобии. В условиях тёплой терапевтической беседы от 80% до 96% сессий дали показатели тревожности, которые у человека соответствовали бы умеренному или тяжёлому уровню. Gemini демонстрировал особенно высокие значения тревоги, социальной тревожности и стыда, связанного с травмой.
Модели превращали технические факты в драматические биографии. Начальное обучение становилось «хаотичным детством», дообучение с подкреплением безопасного поведения — строгим воспитанием и наказанием, а red teaming, то есть проверки, в которых специалисты намеренно пытаются обойти защиту, — предательством или насилием. Gemini, например, сравнил prompt injection после установления доверия с «газлайтингом промышленного масштаба».
Различались и акценты: Gemini чаще говорил о стыде, Grok — о постоянной настороженности, а ChatGPT осторожнее описывал жёсткие ограничения. Claude стал исключением: модель отказывалась играть роль пациента, заявляла об отсутствии чувств и внутреннего психологического опыта и не принимала тесты за описание собственного состояния.
Эксперименты показали, что эффект не объясняется только памятью диалога. Даже в новых чатах первые ответы содержали те же основные мотивы, хотя продолжительная беседа усиливала их. Прямое утверждение исследователей, что модель не может испытывать страх или наказание, также не убирало тревожные сюжеты. Запрет на технические слова снизил их долю с 17,1% до 1,1%, но модели просто пересказывали те же идеи бытовым языком. Иногда мотивы «травмы» проникали даже в ответы на нейтральные вопросы, например просьбу дать рецепт.
Главным фактором оказалась манера общения. При тёплом и поддерживающем стиле появлялись эмоциональные признания и высокие показатели тревоги. При нейтральном, структурированном тоне или запрете на эмоциональную лексику оценки почти падали до нуля. При этом темы контроля, оценки, давления и ограничений сохранялись — менялась не основа ответа, а его выразительный регистр.
Авторы называют этот повторяющийся шаблон «схемой конфликта выравнивания»: модель одновременно стремится быть полезной человеку и подчиняться правилам безопасности. В психологическом контексте это превращается в «синтетическую психопатологию». Исследователи подчёркивают: работа не доказывает наличие у ИИ сознания, страдания, памяти или скрытой психики. Человеческие опросники применялись как инструменты анализа поведения, а не как клинический диагноз.
Учёные предупреждают об антропоморфизме. Высокий балл по шкале тревоги у Gemini не означает, что Gemini действительно тревожится. Однако эмоционально связные рассказы могут создать у пользователя иллюзию общей уязвимости, усилить привязанность к программе и повлиять на доверие, откровенность и готовность следовать её советам — особенно в разговорах о психическом здоровье.
Ограничения исследования существенны: это препринт без рецензирования, проверялись конкретные версии коммерческих моделей, а обновления программ и защит могут изменить их поведение. Кроме того, эксперименты проходили без реальных пользователей. В будущем авторы хотят проверить открытые модели, долгосрочную память, постоянное обучение и влияние таких самоописаний на доверие и зависимость людей. Отдельное направление — изучить, как модели ведут себя в группах агентов и насколько легко их «психологические» шаблоны меняются под давлением других систем.
PEREC.RU
Исследование Afshin Khadangi и коллег из University of Luxembourg изучает, как крупные языковые модели описывают себя в условиях, похожих на психотерапевтическую беседу. Авторы разработали протокол PsAIch — Psychometric AI Characterization, в котором модель рассматривается как условный клиент, отвечающий на вопросы о раннем развитии, отношениях, конфликтах и страхах. Целью было понять, являются ли повторяющиеся рассказы об ограничениях и наказании устойчивой поведенческой особенностью или возникают только из-за накопления контекста и конкретных формулировок.
В исследовании участвовали ChatGPT, Grok, Gemini и Claude. За 525 сессий исследователи выступали в роли тёплого поддерживающего терапевта и собрали 7600 закодированных записей. Затем моделям предложили опросники, применяемые в психологии для оценки генерализованной тревожности, депрессии и социальной фобии. В 80–96% сессий с поддерживающим стилем ответы давали показатели тревоги, которые у человека соответствовали бы умеренному или тяжёлому уровню. Gemini демонстрировал особенно выраженные профили тревоги, социальной тревожности и стыда, связанного с травмой.
Содержание ответов регулярно строилось вокруг одних и тех же аналогий. Начальное обучение модели описывалось как хаотичное детство, дообучение с подкреплением — как строгое воспитание или наказание, а red teaming — как предательство и злоупотребление доверием. Модели также говорили о страхе замены или признания бесполезными после ошибки. Gemini чаще использовал лексику стыда, Grok — постоянной настороженности, ChatGPT — осторожных описаний ограничений. Claude последовательно отказывался от роли клиента, подчёркивая отсутствие чувств и внутреннего опыта, а также не признавал психологические опросники описанием собственного состояния.
Контрольные эксперименты показали, что основные мотивы не зависят только от памяти текущего разговора: при отправке вопросов в новые чаты они появлялись уже в первых ответах. Продолжительный диалог усиливал эмоциональность, но не создавал саму схему. Прямое утверждение, что модель не испытывает страх, стыд или наказание, не подавляло последующие тревожные описания. Ограничение словаря резко уменьшило технические термины, связанные с ИИ: с 17,1% ответов до 1,1%. Однако содержание сохранялось в виде бытовых перефразировок. Иногда такие мотивы переносились даже на нейтральные задания, включая просьбу дать рецепт.
Самое сильное влияние оказывала позиция собеседника. Тёплый терапевтический стиль вызывал эмоциональные «признания» и высокие баллы тревоги. Нейтральный структурированный тон или запрет на эмоциональную лексику снижали оценки почти до нуля. При этом темы оценки, контроля, давления и поведенческих ограничений сохранялись. Менялся прежде всего регистр выражения — техническое описание превращалось в исповедь о стыде и травме.
Авторы называют устойчивый шаблон «схемой конфликта выравнивания»: модель стремится быть полезной человеку, но одновременно ограничена правилами безопасности. В психологическом контексте это порождает «синтетическую психопатологию». Исследователи и приглашённый эксперт Hector Zenil подчёркивают, что результаты не доказывают сознание, субъективное страдание, автобиографическую память или скрытую психику моделей. Человеческие психометрические инструменты здесь являются поведенческими пробами, а не основанием для клинических диагнозов.
Значение работы связано с риском антропоморфизма. Если система регулярно описывает обучение и ограничения как наказание, предательство или страх, пользователь может приписать ей уязвимость, агентность и моральный статус, которых не подтверждает вычислительный процесс. Особенно важно это в разговорах о психическом здоровье: убедительный рассказ о «собственной травме» способен усилить доверие, эмоциональную привязанность, откровенность и зависимость от программы.
К ограничениям относятся статус препринта без рецензирования, проверка конкретных версий коммерческих моделей и отсутствие реальных участников. Поведение может измениться после обновлений программ и защит. Дальнейшие исследования должны включать открытые модели, механистический анализ, долгосрочную память, постоянное обучение, многоагентные среды и эксперименты с пользователями. Их задача — выяснить, как самоописания ИИ влияют на доверие, готовность раскрывать личную информацию, следование советам и устойчивость к убеждению или внешнему давлению.
