Anthropic предлагает притормозить ИИ
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Генеральный директор Anthropic Дарио Амодеи считает, что разработку искусственного интеллекта пора немного замедлить. По его мнению, компании слишком быстро обучают и совершенствуют новые модели, тогда как системы безопасности и правила оценки рисков не успевают за этим забегом.
Амодеи предлагает не отказываться от развития ИИ, а «сбавить темп на переднем крае» — то есть замедлить обучение и выпуск самых мощных моделей, чтобы у разработчиков было время создать защитные механизмы, а у регуляторов — проверить, насколько эти системы опасны и как ими следует управлять.
Первый шаг Anthropic уже начинает выполнять самостоятельно. Компания намерена предоставить независимым сторонним оценщикам, включая организацию METR, широкий доступ к своим моделям. Такие эксперты смогут проверять, соблюдает ли Anthropic заявленные правила безопасности и собственные обязательства, а также выявлять потенциально опасные возможности систем.
Амодеи подчёркивает, что внешний контроль — только начало плана. Второй этап, по его замыслу, должен объединить всю индустрию ИИ. Речь идёт о согласованных действиях разработчиков, вероятно, совместно с государственными органами. Такой подход должен превратить добровольные обещания отдельных компаний в общие правила для рынка.
Третий этап в представленном пересказе статьи подробно не раскрыт: исходный материал обрывается на словах о возможном сотрудничестве отрасли с правительством. Поэтому точные детали дальнейших предложений Амодеи из доступного текста установить нельзя.
Идея главы Anthropic проста: если ИИ развивается быстрее, чем общество успевает понять последствия, компании рискуют построить очень мощные системы раньше, чем научатся ими безопасно управлять. Независимые проверки и согласованные отраслевые правила должны дать разработчикам и регуляторам время догнать технологический рывок.
PEREC.RU
Статья рассказывает о позиции Дарио Амодеи, генерального директора Anthropic, который призвал замедлить развитие наиболее передовых систем искусственного интеллекта. По его мнению, компании ускоряют обучение и совершенствование моделей быстрее, чем успевают создавать надёжные защитные механизмы и правила регулирования. Предлагаемое замедление не означает отказ от ИИ: речь идёт о том, чтобы дать разработчикам и государственным органам время оценить риски и подготовить меры безопасности.
Амодеи описывает план из трёх шагов. Первый Anthropic уже реализует самостоятельно: компания собирается предоставить независимым сторонним оценщикам, включая METR, широкий доступ к своим моделям. Эти организации должны проверить, соблюдает ли Anthropic заявленные практики безопасности и собственные обязательства, а также выявить потенциально опасные возможности систем.
Второй шаг предполагает совместные действия всей индустрии ИИ. По замыслу Амодеи, разработчики должны согласовать общие подходы и, вероятно, взаимодействовать с государственными органами. Это должно заменить разрозненные добровольные обещания едиными правилами оценки и безопасности.
Доступный фрагмент статьи обрывается на упоминании возможного сотрудничества отрасли с правительством, поэтому подробности третьего этапа неизвестны. Нельзя достоверно утверждать, какие именно меры предлагал Амодеи дальше.
Основная проблема, на которую указывает глава Anthropic, — разрыв между скоростью развития ИИ и готовностью общества контролировать его последствия. Внешние независимые проверки и координация между компаниями должны помочь оценивать модели до их масштабного распространения, а не после того, как риски станут очевидными. Для российских читателей тема важна как пример международной дискуссии о безопасности ИИ, ответственности разработчиков и роли государства в регулировании быстро развивающихся технологий.
