Глава Anthropic предлагает затормозить ИИ
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Глава компании Anthropic предложил план из трёх шагов, который должен замедлить развитие искусственного интеллекта. Речь идёт не об отказе от ИИ, а о попытке поставить технологическую гонку под контроль до того, как очередная модель начнёт принимать решения быстрее, чем люди успеют понять последствия.
Anthropic — американская компания, разрабатывающая системы искусственного интеллекта, включая семейство моделей Claude. Её руководитель считает, что стремительное наращивание возможностей ИИ создаёт риски, которые нельзя решать только силами отдельных компаний. Иными словами, добровольного обещания «мы будем осторожны» уже недостаточно — особенно когда на кону рынок, деньги и технологическое лидерство.
Предлагаемый подход состоит из трёх направлений. Первое — усилить оценку безопасности перед выпуском новых моделей. Разработчики должны проверять не только то, насколько хорошо система пишет тексты или решает задачи, но и способна ли она причинить серьёзный вред, обойти ограничения либо использоваться для опасных действий.
Второй шаг — сделать правила для разработчиков более единообразными и прозрачными. Сейчас компании во многом сами определяют, какие тесты проводить и какой уровень риска считать приемлемым. Такой порядок напоминает экзамен, где ученик сам пишет задания, сам ставит оценку и затем просит рынок поверить в результат.
Третий пункт — международная координация. По мнению руководителя Anthropic, ограничения должны обсуждаться между государствами и компаниями, поскольку ИИ не останавливается на границе. Если одна страна введёт строгие требования, а другая решит привлечь бизнес принципом «у нас можно всё», гонка просто переместится туда, где контроль слабее.
Для России эта тема важна не только как спор американских технологических компаний. Развитие ИИ влияет на рынок труда, образование, кибербезопасность, оборонную сферу и доступ к вычислительным мощностям. Чем мощнее становятся модели, тем выше цена ошибки — а исправлять её постфактум может оказаться поздно.
При этом план Anthropic не означает немедленного запрета на разработку ИИ. Это предложение создать промежуточные правила: сначала проверять опасные возможности, затем согласовывать стандарты и только после этого ускорять внедрение. Звучит разумно, хотя история технологий показывает: человечество обычно вспоминает о тормозах после того, как уже нажало на газ.
PEREC.RU
Статья посвящена предложению главы Anthropic ввести трёхступенчатый контроль за развитием искусственного интеллекта. Anthropic — американская компания, создающая ИИ-системы, в том числе модели Claude. Её руководитель не призывает полностью остановить разработку ИИ, а предлагает замедлить опасную гонку между компаниями и заранее снизить возможные риски.
Первый пункт плана — усилить проверки безопасности перед выпуском новых моделей. Тестировать нужно не только качество работы системы, но и её способность обходить ограничения, помогать в опасных действиях или причинять существенный вред. Такой подход должен оценивать реальные риски, а не ограничиваться демонстрацией полезных функций.
Второй пункт — создать единые и прозрачные стандарты для разработчиков. Сейчас компании часто сами определяют, какие испытания проводить и какой уровень риска считать приемлемым. Автор предложения считает, что такой порядок недостаточно надёжен: разработчик фактически может сам выбрать критерии проверки и сам объявить результат удовлетворительным.
Третий пункт — наладить международную координацию. ИИ развивается и используется в разных странах, поэтому односторонние ограничения могут привести к перемещению разработок в государства с более мягкими требованиями. Общие правила должны уменьшить вероятность того, что компании будут конкурировать не только технологиями, но и поиском наименее строгого контроля.
Для России вопрос имеет практическое значение. Искусственный интеллект влияет на рынок труда, образование, кибербезопасность, оборонную сферу и доступ к вычислительным мощностям. По мере роста возможностей моделей увеличивается и потенциальная цена ошибки, поэтому проверка до внедрения может быть важнее исправления последствий после запуска.
Предложенный план не предусматривает немедленного запрета или полного прекращения исследований. Его логика такова: сначала выявлять опасные возможности систем, затем согласовывать общие требования и после этого расширять внедрение. Инициатива отражает растущую обеспокоенность темпами развития ИИ и стремление совместить технологический прогресс с контролем безопасности.
