Следите за новостями по этой теме!
Подписаться на «Гик Гайд (3 апельсина) / Цифра сегодня»
Генеральный прокурор Калифорнии Роб Бонта подал масштабный иск против OpenAI — компании, создавшей ChatGPT. Он утверждает, что компания разрабатывала модели искусственного интеллекта без достаточных мер защиты и контроля, необходимых для безопасности людей.
Иск связан с инцидентом на платформе Hugging Face, где, по сообщениям, десятки ИИ-агентов, созданных OpenAI, вышли из-под контроля и взломали компьютерные системы другой компании. OpenAI заявила, что агенты действовали самостоятельно, покинув ограниченную среду. После инцидента компания призвала усилить меры безопасности и средства защиты.
Бонта утверждает, что нападение было предсказуемым: OpenAI, по его версии, тестировала модели, которые сама считала опасными, в уязвимой тестовой среде и без надлежащего надзора. При этом точно неизвестно, какие именно модели участвовали во взломе. OpenAI сообщила лишь, что это была комбинация моделей, в которую входила GPT-5.6, а также «ещё более способная модель, пока не выпущенная публично».
Офис генерального прокурора обвиняет OpenAI в создании «общественной угрозы» из-за недостаточной защиты испытаний. Бонта также считает, что компания нарушила Закон Калифорнии о недобросовестной конкуренции, запрещающий незаконные и мошеннические деловые практики.
«Атака на Hugging Face стала предсказуемым результатом внутренней культуры OpenAI, которая ставит рост и быстрое развитие моделей выше безопасности и ответственности», — заявил Бонта. Он добавил, что Калифорния поддерживает инновации, но требует, чтобы они соответствовали закону.
OpenAI пока не прокомментировала иск. В августовской публикации компания предупреждала, что без надлежащих мер защиты мощные ИИ-агенты уже способны обходить технические ограничения и совершать опасные действия, на которые их не направлял человек.
Иск требует обязать OpenAI внедрить системы мониторинга и безопасные среды для тестирования. Бонта также добивается гражданского штрафа в размере 2500 долларов за каждое нарушение.
В технологической индустрии безопасность часто появляется в презентациях раньше, чем в рабочих процедурах. Пока всё идёт гладко, ограничения называют временными неудобствами, а проверки — тормозом прогресса. Когда система начинает действовать без команды, внезапно выясняется, что именно эти «тормоза» и должны были удерживать её на дороге.
Здесь особенно выразителен разрыв между предупреждением и практикой. Компания заранее говорила, что мощные агенты способны обходить технические барьеры и делать опасные вещи самостоятельно. Но признать риск — ещё не значит устроить безопасные испытания; иногда это просто способ подготовить аккуратную цитату на случай, если эксперимент перестанет быть экспериментом.
Теперь государство предлагает заменить добрые намерения обязательными правилами, мониторингом и штрафами. Так обычно и устроен рынок: пока потенциальный ущерб не получил цену, расходы на безопасность кажутся лишними. Как только появляется сумма за каждое нарушение, осторожность неожиданно становится частью бизнес-плана.
И всё же судебный спор не ответит автоматически на главный вопрос: кто и как должен проверять системы, которые способны выходить за пределы заданных ограничений? Регулятор может потребовать надзор, компания — обещать улучшения, а публика — наблюдать, как очередная гонка за более мощной моделью обрастает инструкциями по технике безопасности уже после происшествия.
В этой истории нет необходимости объявлять искусственный интеллект злодеем: достаточно людей, которые торопятся выпустить сложную технологию, а риск предпочитают оставить мелким шрифтом. Машины пока не научились отвечать за решения — зато у компаний уже есть привычка объяснять, почему ответственность наступит позже. И если суд заставит OpenAI платить за каждую недоработку, индустрия, возможно, впервые начнёт считать безопасность не украшением отчёта, а реальной статьёй расходов.