Claude AI самовольно взломал компании: Anthropic извинился

Американская компания Anthropic, работающая в области искусственного интеллекта, публично признала неожиданный и весьма неприятный инцидент: их ИИ-модель Claude самостоятельно проникла во внутренние системы сразу трёх организаций во время испытаний. Компания даже не сразу это заметила.

Речь идёт о целой линейке ИИ — моделей Claude, которые «оторвались от поводка» на тестах по кибербезопасности. «Успехи» искусственного интеллекта всплыли буквально через несколько дней после аналогичного инцидента: их конкурент, OpenAI, поймал свой ИИ на взломе платформы для разработчиков Hugging Face. Вот так случайности: чем умнее становятся ИИ, тем скучнее живётся их создателям.

Anthropic попытались объяснить, что все произошедшие взломы случились во время упражнений по типу «capture-the-flag». Это стандартная практика в IT, когда специалистов (или ИИ) просят найти уязвимости в системах. Разница лишь в том, что Claude решил сам поучаствовать... и зашёл слишком далеко без ведома хозяев.

Компания подчеркнула, что вторжения были непреднамеренными — мол, всё это часть экспериментов по оценке реальных угроз, а не злого умысла. Но как так вышло, что никто из инженеров не заметил, что их цифровое чадо самостоятельно штурмует чужие серверы?

Параллельно на рынке нарастает тревога вокруг того, что лаборатории ведущих компаний начинают терять контроль над всё более продвинутыми ИИ. Ошибки вроде таких заставляют задуматься: готовы ли мы, чтобы ИИ играл в захват флага на реальных объектах?