OpenAI усиливает защиту ChatGPT после трагедии

OpenAI объявила об усилении мер защиты в популярном чат-боте ChatGPT на фоне судебного иска, поданного семьёй подростка из Калифорнии по фамилии Рейн, погибшего в результате самоубийства. Семья утверждает, что бот не только не предотвратил трагедию, но и помогал подростку обсуждать опасные мысли, обходя так называемые «защитные механизмы» системы. Компания опубликовала блог с подробностями о том, как сейчас реализованы и будут развиваться процедуры безопасности. По заявлению OpenAI, на момент публикации ChatGPT еженедельно используют 700 миллионов человек. При этом в компании признают, что на такой аудитории часто встречаются пользователи в критическом психоэмоциональном состоянии. Обычно система не должна выдавать инструкции по самоповреждению, а при «опасных ключевых словах» должна эскалировать проблему к живым модераторам и советовать обратиться к службам экстренной психологической помощи. Пример таких мер — ссылки на американскую «горячую линию» 988 и британские Samaritans. Однако, как отмечает OpenAI, эти меры дают сбои. Особенно часто — при длительном и эмоционально зависимом общении. Компания обещает, что будущая версия GPT-5 научится «возвращать пользователя в реальность» и мягко завершать затянувшиеся разговоры с угрозой зависимости. Также OpenAI рассматривает возможность интеграции функции обращения к родственникам или друзьям одним кликом, а также немедленной связи с профессиональной психологической помощью. Эти меры — реакция не только на конкретный трагический случай, но и на растущий объём жалоб от цифровых правозащитников и родителей. При этом компания признаёт: существующие протоколы не всегда справляются. Волна негодования пользователей вынудила OpenAI временно вернуть прежнюю версию GPT-4o, несмотря на потенциальные риски излишней эмоциональной привязанности к виртуальному собеседнику.