Следующая эра LLM? Разработчик запустил малую LLM на $10 микроконтроллере с скоростью 10 токенов в секунду

Следующее поколение больших языковых моделей (Large Language Models, LLMs) уже стучится в дверь — и не где-нибудь в дата-центре с пушистыми облаками и бездонным кошельком Google, а на самом скромном куске железа за десять баксов. Один особо изобретательный разработчик ухитрился заставить миниатюрную LLM честно выдавать целых 10 токенов в секунду — прямо на дешевом микроконтроллере.

Так что, если вам казалось, что продвинутый искусственный интеллект — это только для миллионеров, гигантских корпораций и авторов сложных статей о том, как эти самые LLM меняют офисную работу, у меня для вас новость. Теперь свой ИИ может позволить себе даже тот, кто не дозвонился бы до бюрократа техподдержки посреди лета на пенсии.

LLM на микроконтроллере — это что-то вроде запуска TikTok на кнопочном телефоне: технически возможно, но никто не верит, пока не увидит своими глазами. И вот, похоже, это случилось. Автор чуда умудрился «упаковать» подобную модель в десятидолларовую машинку без особых ресурсов. Скорость 10 токенов в секунду кажется смехотворной по сравнению с гигантами вроде ChatGPT, но сам факт — знаковый. Новость эта бросает вызов нынешнему положению дел, где будущее ИИ рисуется исключительно в контексте сверхдорогого железа и энергозатратных кластеров. Теперь, возможно, искусственный интеллект поселяется и в микроконтроллерах — а это уже совсем иная история.