OpenAI предлагает притормозить ИИ
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Главный научный сотрудник OpenAI Якуб Пачоцкий призвал отрасль искусственного интеллекта замедлить темпы разработки. Речь, по его словам, идёт не только о решениях самой OpenAI, но и о согласованных действиях всех компаний, занимающихся ИИ.
Заявление прозвучало всего через несколько дней после выпуска GPT-6 Astra — новой модели OpenAI, ориентированной на бизнес. Такое соседство выглядит неловко: компания сначала выпускает очередной мощный инструмент, а затем её главный учёный напоминает, что человечество может не понимать, к чему именно мчится.
В публикации на сайте OpenAI Пачоцкий написал, что современные системы искусственного интеллекта создают «очевидные новые угрозы» для компьютерной безопасности. Ещё тревожнее его оценка последствий: никто не готов к тому, что произойдёт при продолжении быстрого роста машинного интеллекта.
Учёный связал предупреждение с планами OpenAI создать автоматизированного исследовательского помощника и с развитием рекурсивного самоулучшения. Это направление предполагает, что ИИ сможет участвовать в создании своей следующей версии, то есть ускорять собственное развитие. В такой ситуации, считает Пачоцкий, особенно важно не просто наращивать возможности моделей, а заранее решить, каким будет следующий этап.
Он отмечает, что вычислительный прогресс привёл отрасль к историческому моменту: машинный интеллект начинает превосходить человеческий в областях, способных серьёзно менять общество. При этом исследования ИИ на основе глубокого обучения по-прежнему во многом остаются экспериментальной наукой. Иными словами, человечество активно запускает процессы, устройство и последствия которых понимает далеко не полностью.
Пачоцкий напоминает об истории OpenAI: рост вычислительных мощностей изначально рассматривался как способ ускорить исследования. Новые алгоритмы действительно сделали системы эффективнее, но сама гонка за дополнительными мощностями никуда не исчезла. В статье отдельно не разбираются проблемы энергопотребления, охлаждения дата-центров и сопротивления местных жителей строительству новых объектов. Зато прямо допускается риск утраты контроля над ИИ.
В качестве возможного решения Пачоцкий называет два направления. Первое — одновременно развивать согласование целей ИИ с человеческими интересами, усиливать мониторинг и сохранять участие людей в принятии решений. Второе — при необходимости координированно замедлять дальнейшую разработку, чтобы проверить надёжность этих мер и укрепить доверие к ним.
Сам он считает оптимальным сочетание обоих подходов: не бросать исследования, но и не разгонять их без ограничителей. Главный вопрос теперь — согласится ли вся индустрия снизить скорость, чтобы оценить масштаб возможностей и рисков ИИ. Пока это выглядит сомнительно: в технологической гонке добровольно нажимают на тормоз обычно лишь после того, как впереди уже виден бетонный столб.
PEREC.RU
Материал посвящён призыву главного научного сотрудника OpenAI Якуба Пачоцкого замедлить развитие искусственного интеллекта. Он считает, что это необходимо сделать не только OpenAI, но и всей мировой ИИ-индустрии, поскольку общество и специалисты не готовы к последствиям быстрого роста машинного интеллекта.
Заявление было опубликовано вскоре после выпуска GPT-6 Astra — бизнес-модели OpenAI, что создаёт заметный контраст между активным продвижением новых продуктов и публичным предупреждением о рисках их дальнейшего развития.
Пачоцкий назвал современные системы ИИ источником новых угроз для компьютерной безопасности. Он также предупредил о возможной потере контроля над технологиями и заявил, что никто не подготовлен к последствиям непрерывного ускорения машинного интеллекта.
Особое внимание в статье уделено планам OpenAI создать автоматизированного исследовательского помощника и развитию рекурсивного самоулучшения. Под этим понимается способность ИИ участвовать в разработке следующей версии самого себя. Такая перспектива может ускорить прогресс, но одновременно усложняет контроль над направлением и скоростью развития систем.
По словам Пачоцкого, человечество вошло в период, когда машинный интеллект начинает превосходить человеческий в областях, способных преобразовывать общество. При этом глубокое обучение остаётся в значительной степени экспериментальной наукой. Исследователи создают всё более мощные модели, но не всегда полностью понимают их поведение и долгосрочные последствия.
Развитие OpenAI и всей отрасли долгое время основывалось на увеличении вычислительных мощностей. Новые алгоритмы сделали ИИ эффективнее, однако стремление использовать всё больше ресурсов сохранилось. В публикации не разбираются подробно энергопотребление, необходимость охлаждения дата-центров и протесты против их строительства, хотя эти проблемы сопровождают современную ИИ-инфраструктуру.
Пачоцкий выделил два основных способа снизить риски. Первый — улучшать согласование поведения ИИ с человеческими целями, усиливать мониторинг и сохранять людей в контуре принятия решений. Второй — координированно замедлять будущие разработки, чтобы проверить, насколько надёжны защитные механизмы, и сформировать доверие к ним.
Главный научный сотрудник OpenAI считает, что наиболее разумно сочетать оба подхода: продолжать исследования, но не допускать бесконтрольного ускорения. Однако готовность всей индустрии добровольно снизить темпы остаётся сомнительной, поскольку компании конкурируют за технологическое лидерство и коммерческие преимущества. Для российских читателей тема важна из-за возможного влияния ИИ на кибербезопасность, рынок труда, развитие бизнеса и государственное регулирование технологий.
