Claude обходит ChatGPT-5 в реальной работе: OpenAI выкладывает неудобные факты
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
OpenAI — компания, стоящая за знаменитым чат-ботом ChatGPT, решила проверить, как искусственный интеллект справляется не с абстрактными тестами, а с реальными рабочими задачами. Для этого специалисты OpenAI и известный экономист из Гарварда Дэвид Деминг разработали и применили новую методику оценки эффективности ИИ под названием GDPval. Метод основан на аналогии с ВВП (валовой внутренний продукт), только в роли экономики тут — производительность искусственного интеллекта. Изучили 44 профессии: от программистов и юристов до медсестёр и инженеров-механиков.
Оказалось, что лучше всех с поставленными задачами справился вовсе не собственный ИИ OpenAI, а продукт компании Anthropic — Claude Opus 4.1. Его точность выполнения рабочих задач составила 47,6% (то есть почти каждый второй кейс он выполнил лучше живого эксперта). Для сравнения, ближайший преследователь — усовершенствованный ChatGPT-5 (он же ChatGPT-5 high) показал 38,8%, а еще один флагман OpenAI — ChatGPT o3 high — 34,1%. У самого свежего и продвинутого на сегодняшний день ChatGPT-4o результат вообще скромный — 12,4%. Для полноты картины: даже «не звезды» рынка вроде Grok 4 и Gemini 2.5 Pro оказались впереди ChatGPT-4o.
Claude показал высший результат в восьми из девяти отраслей, которые анализировали исследователи. Примеры заданий: ответ на неудовлетворённого клиента по e-mail, оптимизация расстановки столов для весенней ярмарки, проверка ценовых несоответствий в документах на закупки и пр. Исследование, опубликованное OpenAI, не только признало поражение в сравнении, но и сделало акцент на необходимости прозрачной оценки ИИ. По словам самой компании, их задача — работать для блага всего человечества и честно сообщать о прогрессе.
Неожиданный успех Claude Opus 4.1 вызывает вопросы о будущем OpenAI. Ведь ранее акцент всегда делался именно на рабочем потенциале ChatGPT — как уникального помощника в программировании, исследовании рынка, создании презентаций. Особенно пикантно это на фоне прошлой работы OpenAI, показавшей, что 70% пользователей ChatGPT используют его дома, а не на работе. Возможно, в свете новых данных компании придётся пересмотреть свои стратегии и продукты.
PEREC.RU
OpenAI решила доказать свою прозрачность, вывалив в свет результаты тестирования ИИ на реальных рабочих задачах. Выбор дисциплин был не из лёгких — от бюрократических писем до аудита закупок. В привычной гонке рекламных моделей OpenAI эффектно выстрелила себе в ногу: лидерство присвоил чужой продукт — Claude Opus 4.1 от Anthropic.
Восемь из девяти отраслей умнее — не OpenAI, и цифры достаточно унизительны для родоначальников ChatGPT. 47,6% против 38,8% у ChatGPT-5, а ChatGPT-4o можно по этим данным вообще не предлагать компаниям, ищущим помощника. Парадоксально, но OpenAI ещё и гордится 'радикальной прозрачностью' — в лучших традициях корпоративного стриптиза. Но не очень приятно смотреть, когда сам себе устраиваешь публичную порку.
Пикантности добавляет тот факт, что большинство пользователей вообще используют ChatGPT для домашних дел, а не для профессиональных задач. Офисные работники взяли паузу, пока OpenAI переосмысливает своё место в реальности, где конкуренты уже включили турборежим. Теперь корпоративных клиентов придётся убеждать снова — акции OpenAI получили не тот апгрейд, на который верили фондовые гуру.
Лаконичная мораль: может, лучше для OpenAI было бы промолчать. Но теперь весь мир знает — 'рабочий' искусственный интеллект пока живёт не в США, а у Anthropic.
