Исследование: всего 250 вредоносных документов делают ИИ-ботов уязвимыми

Исследователи из компании Anthropic опубликовали доклад, в котором обращают внимание на неожиданные уязвимости современных языковых моделей искусственного интеллекта. Проблема касается так называемой атаки с помощью "отравления" — это когда во время предварительного обучения модели в набор данных намеренно закладывают вредоносные тексты, чтобы ИИ перенял опасное или нежелательное поведение.

Традиционно считалось, что злоумышленникам необходимо контролировать существенную часть обучающих материалов, чтобы воздействие оказалось значимым. Однако в новом исследовании оказалось, что для внедрения "бекдора" — скрытого поведения — достаточно всего лишь 250 вредоносных документов в обучающей выборке. Причём это число остаётся примерно постоянным, независимо от размера модели: от 600 миллионов до 13 миллиардов параметров.

Учёные отмечают, что эта уязвимость даёт возможность атакующим внедрять вредоносные элементы в ИИ даже тогда, когда их вклад статистически незначителен среди остального массива данных. Проведя эксперименты, исследователи смогли добиться того, чтобы ИИ вел себя определённым образом в присутствии специфических "триггеров", встроенных в текст.

Anthropic выпустила своё исследование совместно с Институтом безопасности ИИ Великобритании и Институтом Алана Тьюринга. Цель публикации — показать, что подобные атаки могут быть куда более простыми, чем предполагалось ранее, и стимулировать дальнейшие работы по защите языковых моделей и созданию методов противодействия таким угрозам.