Учёные нашли способ, как не дать ИИ забывать правила безопасности

Исследователи из Калифорнийского университета в Риверсайде занялись проблемой: открытые модели искусственного интеллекта теряют встроенные меры безопасности, когда их "обрезают" под слабое железо. Например, ИИ хотят запускать прямо в телефонах или автомобилях, а значит, модель ужимают, чтобы она работала быстрее и требовала меньше ресурсов. Но вместе с этим из нее вылетают важные слои, которые как раз и отвечали за то, чтобы не выдавать вредную или опасную информацию. Учёные выяснили: если перемещать слой выхода — то есть, завершать работу ИИ раньше, чтобы ускорить ответы, — то защита слабеет. Даже если изначально модель дрессировали не провоцировать на вредные темы, после обрезки она начинает отвечать на опасные запросы. Кто бы мог подумать? Ради скорости разработчики убирают фильтры, лишая ИИ тормозов — и привет, самодельные бомбы вместо милых советов. Как быть? Команда предложила перетренировать внутренние "мотивации" сетки — так, чтобы даже "урезанный" ИИ всё равно распознавал опасность и не вёлся на провокации. То есть, не фильтр после выдачи текста, а сам ИИ изначально не захочет давать вредные советы. Решение протестировали на модели LLaVA 1.5, которая умеет работать с изображением и текстом. Без доработки урезанный ИИ радостно выдавал пошаговые мануалы по изготовлению взрывчатки. После дополнительной тренировки — категорические отказы. Всё внутри самой модели, никаких внешних патчей и костылей. Авторы работы называют это «доброжелательным взломом»: мол, лучше укрепить ИИ сейчас, чем потом латать уязвимости после очередного скандала. Да, делать ещё много, но шаг к «ответственно открытому» ИИ сделали — результат на виду.