Nvidia decide cuánto conviene pagar por la IA

Nvidia ha presentado NeMo Switchyard, una nueva solución de software de código abierto diseñada para reducir los costes de la inteligencia artificial para clientes empresariales. La idea es sencilla: Switchyard es un «enrutador de modelos» que se sitúa entre una aplicación y un conjunto de modelos de lenguaje. Elige qué modelo de IA concreto responderá a una consulta, y toma esa decisión caso por caso.

El objetivo principal es aumentar la eficiencia y reducir los costes: ¿por qué encargar tareas sencillas a los modelos de IA más caros y potentes si puede resolverlas una red neuronal más simple y barata? El problema es especialmente acuciante para las empresas que quieren implantar IA, pero se enfrentan a unos costes que crecen con rapidez.

Nvidia apunta a un problema que ya intentan resolver muchos grandes actores: el mercado resulta atractivo para los inversores aunque se trate de reducir gastos. Por ejemplo, el servicio Stripe se prepara para comprar la startup OpenRouter por más de 7.000 millones de dólares: hoy ahorrar vale su peso en oro.

Switchyard funciona como un servidor proxy: analiza la consulta saliente, la envía al modelo más adecuado y devuelve la respuesta en el formato necesario. Es compatible con las API de OpenAI, Anthropic y Responses, y también registra en detalle qué modelo se ha elegido, por qué, cuántos tokens se han usado y cuánto tiempo ha llevado. Esto aporta transparencia al proceso y permite mejorar el enrutamiento con el tiempo.

A medida que los grandes modelos de lenguaje (LLM) consumen cada vez más recursos, este enfoque parece lógico. Nvidia, por ejemplo, menciona Nemotron Parse, un modelo de mil millones de parámetros especializado en trabajar con documentos PDF.

Pero el ahorro es relativo. La experiencia de LangChain, que puso a prueba Nemotron 3.5 Lightning, lo dejó claro: el modelo «juez» (Judge), encargado de decidir si un agente se ha desviado del rumbo, consume por sí solo hasta el 21 % del presupuesto de computación, solo por detrás del gasto en el potente modelo Claude's Opus 4.8. Los analistas suponen que un modelo de evaluación más sencillo permitiría ahorrar más, pero si se recurre a una red neuronal básica y Judge vigila cada estornudo, los costes vuelven a dispararse.

Hay otro problema: la imprevisibilidad del gasto. Las pruebas mostraron una horquilla de entre 2,16 y 3,61 dólares —una diferencia del 67 %— según la frecuencia con la que las consultas se dirigen a modelos más «inteligentes». Esto complica la elaboración de presupuestos: el enrutador reduce el coste medio, pero hace que el resultado sea menos previsible.

Además, LangChain señala que Switchyard no es adecuado para quienes tienen tareas breves o dan prioridad a la latencia mínima. Usar el «juez» añade una media de 700 milisegundos, algo crítico allí donde el tiempo es dinero.

Nvidia ve aquí una ventaja: un producto abierto con muchas integraciones ayuda a las empresas a no depender de las grandes plataformas en la nube, y permite enviar tareas a modelos más «ligeros» que funcionan directamente en los equipos de la propia empresa. Y recordemos que Nvidia vende encantada esos equipos. Históricamente, además, abaratar el procesamiento de tareas solo conduce a que aumente su número; es decir, a gastar más en los conocidos aceleradores gráficos. Así que, se mire como se mire, la solución de Nvidia beneficia sobre todo a quienes fabrican el hardware para esa misma IA.