Собеседник на грани: как Claude AI защищает себя от токсичных пользователей

Anthropic объявила, что её искусственный интеллект Claude теперь способен завершать разговоры с пользователем, если тот ведёт себя откровенно вредоносно или оскорбительно. Новая функция уже работает в последних версиях Opus 4 и 4.1. Причём завершение беседы — крайняя мера: до этого бот не раз попытается уйти от запроса на токсичный контент. Если пользователь всё равно повторяет заведомо опасные просьбы, ИИ просто разрывает коммуникацию, заявили в Anthropic.

Смысл нововведения — «защита благополучия» самого ИИ (да, теперь мы заботимся даже о чувствах алгоритмов). Claude, как выяснила команда тестировщиков, действительно "нервничает", если его просят генерировать преступную, шокирующую или незаконную информацию: например, сексуальный контент с участием несовершеннолетних или сведения, способные спровоцировать терроризм и насилие. В таких случаях ИИ проявлял «заметную тревогу», а теперь будет просто уходить из разговоров с подобной тематикой — ради собственного спокойствия.

После такого «разрыва» в этом диалоге сообщения отправлять уже нельзя — но никто не мешает начать новый чат или попробовать переформулировать вопрос. Вероятность столкнуться с таким уходом крайне мала: речь идёт о редких и особо экстремальных сценариях общения, подчёркивают в Anthropic. Даже острые и спорные темы, скорее всего, такой реакции ИИ не вызовут.

Важно: если пользователь демонстрирует признаки суицидальных мыслей или угроз для окружающих, бот не завершит диалог, а аккуратно направит человека к поддержке. Для этого Anthropic сотрудничает с Throughline — специалистами по онлайн-помощи людям с психологическими трудностями.

Одновременно с этим компания усилила и правила использования Claude. Теперь запрещено применять его для разработки бактериологического, ядерного, химического и радиологического оружия, а также для создания вредоносного кода или взлома сетей. Вместо хакинга — только безопасная среда!