Ставка Amazon на бесполезность ИИ-бенчмарков

Руководитель отдела искусственного интеллекта Amazon, Рохит Прасада, решил, что пора всем перестать цепляться за красивые цифры и победные позиции в таблицах бенчмарков. По его словам, привычка индустрии мериться рейтингами эффективности ИИ-моделей давно устарела: никакие эти тесты не отражают реальной пользы от технологий в повседневной жизни.

Перед крупной презентацией AWS re:Invent в Лас-Вегасе Прасада прямо заявил, что лидерборды замыливают взгляд и не дают увидеть слабые места систем. Ведь чтобы результат был действительно объективным, все компании должны использовать один и тот же набор данных для обучения и проверки моделей, а этого никто не делает.

«Ни один из этих бенчмарков не показывает, насколько ИИ полезен в действительности, — говорит Прасада. — Реальные задачи по силам только тем технологиям, что проверяются не в лабе, а на практике».

Он также подчёркивает: данные новых тестов становятся всё более «шумными» — то есть искаженными, несопоставимыми между собой из-за разных методик. В результате погоня за высоким местом на табличке превращается в маркетинговую гонку, где побеждает красивый PR, а не честная инженерия.

Amazon призывает отрасль прекратить участвовать в этом соревновании, где важно только оказаться чуть выше конкурента. Согласно мнению Прасада, развитию искусственного интеллекта поможет лишь честная проверка «в полях» — на сложных заданиях из реального мира.

Иными словами: для Amazon не главное, чтобы их модели побеждали в искусственных тестах. Важно, чтобы они действительно решали задачи пользователей. Всё остальное — шоу для айтишных вечеринок, а не инструмент для улучшения жизни.