Следите за новостями по этой теме!
Подписаться на «Гик Гайд (3 апельсина) / Цифра сегодня»
OpenAI представила инструмент для выявления материалов сексуального насилия над детьми, в том числе изображений, созданных искусственным интеллектом. Компания объявила о запуске в понедельник.
Инструмент — классификатор изображений: он ищет визуальные признаки насилия и присваивает материалам оценки, чтобы специалисты могли в первую очередь проверять наиболее подозрительные случаи. По заявлению OpenAI, это первый широко доступный инструмент такого рода, который отдельно отмечает, что изображение может быть сгенерировано ИИ.
Такая функция становится особенно важной на фоне стремительного роста подобных материалов. Анализ Childlight — Глобального института безопасности детей при Эдинбургском университете — показал, что число сообщений о связанных с ИИ материалах сексуального насилия над детьми в мире выросло более чем на 8400% с 2023 по 2025 год. В прошлом году Национальный центр по делам пропавших и эксплуатируемых детей США получил более 400 тысяч таких сообщений; в 2023 году их было около 4700.
В OpenAI заявили, что отдельные компании обязаны не допускать использования их технологий злоумышленниками для причинения вреда детям. Компания также призвала к совместной работе технологической отрасли, организаций по защите детей и правоохранительных органов.
Инструмент смогут применять организации, которым разрешено или предписано выявлять такие материалы. В их число входят некоторые разработчики, использующие API OpenAI — программный интерфейс, с помощью которого сторонние сервисы подключаются к технологиям компании.
OpenAI также обеспечила совместимость классификатора с Coop — программным обеспечением с открытым исходным кодом для выявления и передачи сообщений о подозрительном контенте. Его предлагает некоммерческая организация ROOST. Coop позволяет отмечать и проверять материалы, а затем направлять сообщения в Национальный центр по делам пропавших и эксплуатируемых детей.
Одновременно OpenAI опубликовала «карточку модели» — документ с описанием того, как инструмент тестировали, настраивали и оценивали. Компания регулярно выпускает такие документы для своих продуктов ChatGPT. Президент ROOST Камиль Франсуа назвала карточку первой в этой области и отметила, что открытые данные о точности и ограничениях систем помогают разработчикам создавать более надёжную защиту и определять направления дальнейших исследований.
Согласно карточке модели, раннее тестирование помогло сократить число ложных срабатываний. OpenAI оценивает, что новый классификатор может отмечать почти вдвое меньше изображений, находя при этом примерно столько же материалов с признаками насилия, сколько и существующий инструмент компании.
Если ребёнок подвергается сексуальной эксплуатации в интернете, вы знаете о таком случае или стали его свидетелем, сообщить об этом можно в CyberTipline — службу Национального центра по делам пропавших и эксплуатируемых детей США.
Технологии любят продавать как универсальный ответ на проблемы, которые сами же технологии иногда помогают масштабировать. Здесь у машин хотя бы роль скромнее: не выносить приговор и не изображать всеведущего цифрового стража, а сортировать тревожный поток так, чтобы люди быстрее добрались до действительно опасного материала.
В этой оговорке — вся разница между полезным инструментом и рекламной сказкой. Классификатор может ошибаться, пропускать изображения или неверно оценивать контекст; поэтому его задача — подсказать проверяющим, а не заменить их. Любая компания, обещающая «автоматически решить» такую проблему, заслуживала бы не доверия, а особенно тщательного аудита.
Публикация описания модели важна не потому, что прозрачность внезапно стала любимым хобби индустрии. Она позволяет другим специалистам оценить, что именно система умеет, где её пределы и насколько убедительны заявления разработчика. В сфере, где ошибка может навредить ребёнку, формула «поверьте нам, мы всё проверили» — примерно такой же метод контроля качества, как табличка «не толкать» на падающей лестнице.
Есть и неприятный контраст: число сообщений резко растёт, а инструментов, сотрудничества и открытых оценок всё ещё приходится добиваться как редкой услуги. Здесь особенно удобно произнести слова об общей ответственности — они звучат достойно и никого конкретно не назначают ответственным за провалы. Но без обмена данными, независимой проверки и работающего взаимодействия с организациями защиты детей даже самый ловкий классификатор останется аккуратным ситом рядом с потоком.
Выгода от хорошей системы очевидна: меньше времени на ложные тревоги и больше внимания к действительно опасным случаям. Выгода от громкого заявления тоже понятна — компания выглядит не только создателем мощных моделей, но и взрослым в комнате. Странное совпадение: именно сейчас особенно важно, чтобы эту роль подтверждали измеримые результаты, а не красивое описание намерений.
Для общества главный вопрос не в том, умеет ли ИИ заметить подозрительное изображение. Вопрос в том, кто проверит качество этой способности, кто ответит за ошибку и что произойдёт после сигнала. Пока ответы зависят от людей и учреждений, техническая новинка — лишь один участок защиты, а не волшебная кнопка, после нажатия которой проблема вежливо исчезает.