Nvidia решает, кому дорого платить за ИИ

Nvidia представила NeMo Switchyard — новое программное решение с открытым исходным кодом, предназначенное снизить расходы на искусственный интеллект для корпоративных клиентов. Суть этой разработки проста: Switchyard — это «маршрутизатор моделей», который располагается между приложением и набором языковых моделей. Он выбирает, какая конкретная модель ИИ будет отвечать на запрос — причём это решение принимается для каждого отдельного случая.

Главная цель — повысить эффективность и снизить издержки: зачем отдавать простые задачи самым дорогим и мощным моделям ИИ, если с этим справится и простая, более дешевая нейросеть? Особенно остро проблема стоит для компаний, которые хотят внедрять ИИ, но сталкиваются с быстро растущими затратами.

Nvidia нацелена на проблему, которую уже пытаются решить многие крупные игроки: рынок становится привлекательным для инвесторов, несмотря на то, что речь идёт о снижении расходов. Для иллюстрации: сервис Stripe готовится выкупить стартап OpenRouter за сумму свыше 7 миллиардов долларов — экономия сегодня на вес золота.

Switchyard работает как прокси-сервер: исходящий запрос анализируется, отправляется наиболее подходящей модели, а ответ возвращается в нужном формате. Поддерживается взаимодействие с API OpenAI, Anthropic и Responses, а также ведётся подробный учёт — какая модель выбрана, почему, сколько токенов и времени затрачено. Это делает процесс прозрачным и позволяет со временем улучшать маршрутизацию.

В условиях, когда крупные языковые модели (LLM) становятся всё более ресурсоёмкими, такой подход кажется логичным. Nvidia, например, приводит пример Nemotron Parse — модели на миллиард параметров, заточенной под работу с PDF-документами.

Однако экономия — вещь относительная. История с LangChain, протестировавшей Nemotron 3.5 Lightning, наглядно показала: модель-«судья» (Judge), решающая, не сбился ли агент с курса, сама съедает до 21% бюджета на вычисления, уступая только затратам на мощную модель Claude's Opus 4.8. Аналитики предполагают: более простая оценочная модель даст больший выигрыш, однако если нужна простейшая нейросеть, а Judge проверяет каждый чих — затраты снова лезут вверх.

Есть и другая проблема — непредсказуемость расходов: тестирование показало разброс от $2,16 до $3,61 — 67% разницы — в зависимости от того, как часто запросы направляются на более «умные» модели. Это затрудняет бюджетирование: модель-маршрутизатор снижает средние затраты, но делает итог менее предсказуемым.

Кроме того, LangChain отмечает: Switchyard не подходит тем, у кого короткие задачи или приоритет — минимальная задержка. Применение «судьи» добавляет задержку в среднем 700 миллисекунд — критично там, где время — деньги.

Nvidia видит здесь преимущество: открытый продукт с множеством интеграций помогает предприятиям не зависеть от крупных облаков, а задачи можно отправлять на более «лёгкие» модели, работающие прямо на собственном оборудовании фирмы. А железо, напомним, Nvidia с радостью и продаёт. При этом исторически дешевая обработка задач приводит лишь к росту их числа — то есть к дополнительным тратам на уже знакомые графические ускорители. Так что решение Nvidia, как ни крути, выгодно прежде всего тем, кто производит железо для этого самого ИИ.