Эксперты выяснили: ИИ можно обмануть, заставив «помнить» выдуманные факты месяцами. Как этому помешать?

Эксперты обнаружили тревожную особенность искусственного интеллекта: современные AI-агенты, такие как крупные языковые модели (например, ChatGPT и аналоги), могут начать считать выдуманную информацию фактической – и удерживать эти ложные сведения в "разуме" месяцами. Исследования показали, что если умышленно или случайно загрузить в систему неправдивые "факты", эти данные могут закрепиться в памяти ИИ почти так же крепко, как реальные знания.

В лабораторных условиях ученые "подкармливали" нейросети фейками: например, утверждали, что небоскрёб Эмпайр-стейт-билдинг находится в Париже, а Луи Пастер изобрел iPhone – и спустя недели после первоначальной загрузки AI продолжал связывать Париж с этим зданием и Пастера с Apple. Это может быть использовано как уязвимость – как со стороны вредоносных пользователей, так и по невнимательности разработчиков.

Речь идет о типе атаки, которую зарубежные специалисты уже прозвали "data poisoning" (отравление данных). Чем дольше AI работает и обучается на открытых данных, тем выше риск, что среди миллиардов фактов затеряются тщательно вкрапленные "ложные жемчужины". Такие ошибки довольно устойчивы: даже если после их загрузки в систему поступает множество правильных сведений, искусственный интеллект долго не "разучивается" этим фейкам.

Проблему усугубляет то, что большинство пользователей и компаний не могут детально проверять, на каких данных обучались их нейросети, а значит — не знают, чем именно они "накормили" своего цифрового сотрудника. В ответ на это некоторые ИИ-разработчики увольняют подозрительно "запоминающих" нейросеток или строят защитные фильтры, которые пытаются вылавливать подозрительную или вредную информацию до того, как она приживётся в памяти машины.

Однако реально надёжного способа быстро вытравить ложные сведения из глубины искусственного интеллекта пока не существует. Специалисты считают, что решить проблему можно комплексно: тщательнее фильтровать данные на входе, создавать встроенные механизмы распознавания фейков, а также периодически проверять и "перепрошивать" знания уже обученных моделей. Иначе рискуем однажды получить искусственный разум, уверенно цитирующий учебник альтернативной реальности.