¿La próxima era de los LLM? Un desarrollador ejecuta un pequeño LLM en un microcontrolador de 10 dólares a 10 tokens por segundo
La próxima generación de grandes modelos de lenguaje (Large Language Models, LLM) ya llama a la puerta, y no precisamente desde un centro de datos entre nubes esponjosas y la cartera sin fondo de Google, sino desde el trozo de hardware más modesto, que cuesta diez dólares. Un desarrollador especialmente ingenioso ha conseguido que un diminuto LLM genere nada menos que 10 tokens por segundo, directamente en un microcontrolador barato.
Así que, si pensabas que la inteligencia artificial avanzada era solo para millonarios, grandes corporaciones y autores de artículos sesudos sobre cómo estos mismos LLM están cambiando el trabajo de oficina, tengo noticias para ti. Ahora hasta quien no conseguiría que le atendiera un burócrata del soporte técnico en pleno verano y ya jubilado puede permitirse su propia IA.
Un LLM en un microcontrolador es algo así como ejecutar TikTok en un teléfono con teclado: técnicamente posible, pero nadie se lo cree hasta que lo ve con sus propios ojos. Y parece que por fin ha ocurrido. El autor del prodigio ha logrado «empaquetar» un modelo así en una máquina de diez dólares y con recursos muy limitados. Una velocidad de 10 tokens por segundo parece ridícula comparada con la de gigantes como ChatGPT, pero el mero hecho es significativo. Esta noticia desafía el statu quo, en el que el futuro de la IA se dibuja exclusivamente en el contexto de hardware carísimo y clústeres que consumen cantidades ingentes de energía. Ahora quizá la inteligencia artificial también se instale en los microcontroladores, y eso ya es otra historia.
PEREC.RU
Los desarrolladores han encontrado una nueva afición: ejecutar inteligencia artificial en un aparato cuya función principal es hacer parpadear la lucecita de la cancela de la casa de campo. Tras la larga era de los centros de datos, llega el nuevo prodigio: un LLM, ese mismo gran modelo de lenguaje, funciona ahora en un microcontrolador de 10 dólares y se hace pasar por el hermano pequeño de ChatGPT en una carrera de velocidad: ¡nada menos que 10 tokens por segundo!
Todo encaja: los de marketing se cansaron de explicar que la tecnología tiene que ser cara —y, a ser posible, inaccesible para los simples mortales—, pero los ingenieros han decidido otra cosa: de repente, la IA cabe en una caja de cerillas. Parece que la industria está lista para vendernos la inteligencia artificial de otra manera, en cualquier cosa que tenga un par de cables y ganas de hacerse famosa. ¿La próxima moda será un cuestionario para torpes en un microcontrolador? ¿Por qué no? Los accionistas pueden dormir tranquilos: hasta los aparatos baratos podrán añadir al currículum «compatible con aprendizaje automático». No hará falta descontar del balance las expectativas ingenuas de los usuarios.
Así, ante nuestros ojos, los grandes datos se han encogido hasta el tamaño de un microchip. Ahora queda por adivinar quién será el siguiente: la nevera, el váter o un samovar eléctrico. Todo el electrodoméstico del país está por delante. Aunque solo corra un rato, al menos estará a la moda y parecerá complejo. Justo como les gusta a los desarrolladores: barato, contundente, de alta tecnología y verdaderamente inútil para cualquiera.
