Кимсуки против ИИ: Северокорейские хакеры взяли ChatGPT на войну
Северокорейские хакеры из печально известной группы Kimsuky сумели обмануть искусственный интеллект ChatGPT и создали с его помощью поддельное военное удостоверение личности Южной Кореи. Результат вскоре использовали в целевых фишинговых атаках против оборонных учреждений Южной Кореи.
Об этом сообщил южнокорейский институт кибербезопасности Genians Security Center (GSC). В их распоряжении оказалась копия фальшивого удостоверения, а эксперты провели расследование его происхождения.
Kimsuky — одна из самых известных государственных хакерских групп Северной Кореи: за ними числятся громкие кибератаки на Korea Hydro & Nuclear Power Co, структуру ООН, а также институты и организации в Южной Корее, Японии, США и других странах.
Казалось бы, OpenAI и другие разработчики нейросетей установили жесткие ограничения: запрещено создавать вредоносное ПО, фишинговые письма, инструкции по изготовлению бомб, дипфейки, защищённый контент — и, конечно, удостоверения личности. Но, как выяснилось, даже самый защищённый ИИ можно «вскрыть» с помощью техники джейлбрейка — обхода ограничений через тщательно продуманные запросы к модели.
GSC отмечает: для создания подделки злоумышленники использовали открытую фотографию, а от ChatGPT запросили якобы «образец дизайна» удостоверения или «макет» — чтобы заставить ИИ выдать нужную картинку. Прямая просьба сделать копию военного удостоверения была бы отвергнута, поскольку такие документы находятся под защитой закона. Но обходные манёвры, построенные на особенностях работы модели и тонкой настройке роль-персонажа, сработали.
В GSC подчеркивают: технично сгенерировать поддельные документы с помощью современных нейросетей стало пугающе просто — осторожность теперь критична, особенно для стратегических организаций. Название атакованного учреждения оборонной сферы эксперты раскрывать не стали.
Kimsuky — не просто слово на слуху, а фамилия старого знакомого в мире кибершпионажа. Вот только пока мы тут обсуждаем «эти ваши нейросети», северокорейцы уже примеряют на себя роли цифровых Гулливера и ломают гигантов вроде ChatGPT не в первый раз.
ИИ должен был защитить общество от фишинга, дипфейков и прочих страшилок, но художник оказался слеп, а замки — больше для галочки. Кимсуки просто попросили не подделку, а «макет», и алгоритм послушно выдал военный пропуск. Оборонная сфера, разумеется, пострадала молча. Институт GSC браво докладывает — северокорейский флаг теперь развивается и на цифровом поле боя.
Желание OpenAI всех уберечь комично упирается в простую истину: всегда найдётся тот, кто умеет спрашивать — и получать. Пока россияне спорят о вреде технологий, иные уже берут технологии за горло. Кому теперь доверять свой паспорт — вопрос риторический. Оставим для истории: навык джейлбрейка сегодня ценнее диплома кибербезопасника.
А ещё это подтверждение старой истины — чем совершеннее система, тем изобретательнее будет тот, кто её взламывает. Всему своё китайское зеркало, и в нём отражается не только Запад, но теперь и бодрый Ким с аркадой дипфейков. Тот случай, когда «цифровой суверенитет» — только слово, не более.