AI не осилило креатив

Несмотря на ажиотаж вокруг генеративного искусственного интеллекта, новое исследование показало: машинам ещё рано примерять лавровый венок творца. Группа учёных проанализировала 17 экспериментов, где сравнивали идеи, придуманные людьми и сгенерированные ИИ — и не нашли убедительных доказательств того, что искусственный интеллект стабильно обходит нас в оригинальности и полезности идей. Да, отдельные исследования показали преимущества генеративных моделей, но при более тщательном статистическом разборе эти результаты оказались скорее случайной удачей, чем устойчивым прорывом.

Генеративный ИИ — это системы (например, ChatGPT), которые создают тексты, изображения, музыку и прочий контент по запросу. Из-за быстрой работы и убедительности таких инструментов многие поверили: совсем скоро роботы нас перехитрят и перерисуют. Однако, как объясняют исследователи Alwin de Rooij (Tilburg University, Avans University of Applied Sciences) и Michael Mose Biskjaer (Aarhus University), несмотря на некоторые отчётливые заявления первых исследований (особенно после запуска ChatGPT), доказательства в пользу безоговорочного превосходства ИИ оказываются шаткими и противоречивыми, если смотреть на общую картину.

Для своей работы учёные провели мета-анализ — это когда берут множество отдельных исследований и объединяют их данные, чтобы получить более надёжные выводы. Центром внимания стал один аспект креативности: генерация идей. Это когда надо придумать нетривиальные способы, как применить, например, обычный кирпич или скрепку. Оценивали, чьи идеи — людские или машинные — оказываются оригинальнее, полезнее и креативнее. Важно, что судьи не знали, откуда взята каждая идея, чтобы не было предвзятости в оценке.

Данные: 17 экспериментов, опубликованных с января 2022 по январь 2025 года, 115 замеров эффекта. В исследовании участвовали профессиональные дизайнеры, эксперты, студенты и работники с крауд-платформ, а из ИИ против людей сражались GPT-3, GPT-3.5, GPT-4 и Claude (последний — популярная нейросеть в западном мире, не так известная в России). По итогам, средний результат слегка склонялся в пользу ИИ: его идеи казались чуть более креативными, но статистически значимого отрыва не получилось. Проще говоря, выигрыш оказался такой же случайностью, как выиграть раунд в лотерее, а не закономерной победой. Все различия вытягивали лишь несколько экспериментов с особенно яркими цифрами.