La división de los chips: entrenamiento frente a inferencia

Al comienzo de la carrera por la inteligencia artificial, todo se regía por el principio de «cuanto más, mejor»: los modelos gigantes exigían recursos de cálculo titánicos. Pero los tiempos cambian y ahora la prioridad es la eficiencia; en particular, cómo conseguir que la IA funcione más deprisa, cueste menos y ahorre electricidad.

En este nuevo mundo se ha abierto una brecha clara entre el entrenamiento de modelos y su uso (o inferencia). El entrenamiento sigue necesitando una potencia enorme, pero la inferencia está dejando de ser una aplicación para entusiastas y se está convirtiendo en una tecnología rutinaria para las empresas. Rebellions afirma que ha llegado el momento de crear chips dedicados exclusivamente a la inferencia; de lo contrario, no tiene sentido competir por el «máximo rendimiento».

Según el director ejecutivo de Rebellions, Park Seong-hyeon, sus bastidores de servidores consumen solo entre 16 y 20 kW de electricidad, frente a los 120 kW habituales en los sistemas de GPU de gama alta para inferencia. Además, cuestan aproximadamente tres veces menos. Todo esto hace posible que muchas más empresas pongan en marcha sistemas de IA, incluso con presupuestos e infraestructuras limitados.

Otro tema importante es la memoria. Los nuevos modelos de lenguaje, con billones de parámetros, están rompiendo los esquemas habituales: añadir más unidades de cálculo ya no basta. Rebellions intenta coordinar de antemano sus planes de desarrollo de chips y memoria junto con SK Hynix y Samsung, para no depender de imprevistos del mercado y adelantarse a los demás.

Según Park, la principal diferencia entre el entrenamiento y la inferencia son las tareas que corresponden a cada etapa. Para entrenar hacen falta cálculos al máximo nivel (FLOPS); la inferencia, en cambio, exige eficiencia, fiabilidad y costes razonables cuando se utiliza a gran escala.

Hasta ahora, el sector intentaba adaptar un chip universal primero al entrenamiento y luego a la inferencia, pero ya está claro que el universalismo no funciona. El verdadero progreso llegará con arquitecturas diferenciadas y diseñadas para las necesidades concretas de cada empresa.

Rebellions ha desarrollado desde cero una infraestructura para inferencia, diseñada para las tareas reales de las grandes empresas. Sus bastidores usan una arquitectura de chiplets: los módulos se conectan en una red flexible y la memoria se sitúa lo más cerca posible del procesamiento. El enfoque no solo es modular: también permite crecer a medida que aumenta el tamaño del modelo.

Otro quebradero de cabeza para el sector es la disponibilidad física de memoria moderna, que nadie ha aprendido a clonar por arte de magia. Los fabricantes de memoria no dan abasto con el apetito de las empresas de IA. Rebellions intenta resolver este problema no solo comprando componentes, sino cooperando con los proveedores y diseñando chips con ellos. Eso le da una ventaja estratégica: mientras otros esperan en la cola, ellos ya tienen todo firmado.

La empresa apuesta por estándares abiertos: PyTorch, Kubernetes y Red Hat OpenShift. Todo resulta familiar, sin inventos cerrados; un administrador puede trabajar con su hardware sin largos cursos de reciclaje. Eso sí, tampoco aquí se evitan los quebraderos de cabeza de la integración: los proyectos grandes requieren ajustes detallados a sus necesidades.

Rebellions no cree que el mercado vaya a ganarlo la empresa más rica. Ganará quien pueda garantizar un suministro estable, demostrar su fiabilidad en instalaciones reales y ofrecer resultados concretos, en vez de presentaciones vistosas. La logística de suministro y una infraestructura operativa se convierten en factores clave del éxito.

En el mercado de la inferencia ya hay grandes clientes en producción: SK Telecom y KT Cloud son ejemplos de empresas que procesan decenas de millones de operaciones de IA con equipos de Rebellions, sin necesidad de construir nuevos centros de datos. La eficiencia se está convirtiendo en la nueva moneda: cuanto más barata sea la inferencia, más aplicaciones tendrá la IA.

Por último, Rebellions sostiene que la arquitectura de chiplets no es un simple juego de construcción, sino la base de una nueva ola de soluciones de IA. Incluso Nvidia ha tenido hace poco problemas al intentar reunir cuatro chiplets en una misma carcasa. Rebellions, en cambio, ya ha puesto en producción en serie un diseño de cuatro chiplets. Puede que el futuro no llegue por obra y gracia de las startups, sino gracias a la aburrida ingeniería y a una buena colaboración con los proveedores.