Маленькая компания обходит AMD и бросает вызов Nvidia с простым, но эффективным AI-ускорителем на старых технологиях

Небольшая и практически неизвестная компания внезапно выскочила из-за спины технологических гигантов — AMD и Nvidia. Она представила свой ускоритель искусственного интеллекта (AI), который работает по интерфейсу PCIe (стандартный способ подключения быстродействующих плат в компьютере). При этом ускоритель позволяет запускать огромные языковые модели (LLMs — Large Language Models) на 700 миллиардов параметров прямо на компьютере пользователя, а не в облаке. Всё бы ничего, но в основе устройства — старые технологии: память DDR4 (её массово использовали ещё с 2014 года) и чипы, изготовленные по техпроцессу 28 нанометров (тоже из прошлой эпохи). Это на фоне Nvidia, которая реализует новейшие решения вроде HBM и 7-нанометровых процессоров.

Важно, что, несмотря на «ветеранов» в начинке, это решение требует всего 240 Вт мощности — намного меньше большинства современных AI-карт, которые «жрут» по 400–600 Вт, а то и больше. Это значит: запускать монструозные нейросети теперь можно даже на относительно скромной по питанию и теплу рабочей станции. Для специалистов по ИИ и исследователей — подарок, особенно учитывая локальную работу без постоянного доступа в интернет и отсутствие необходимости делиться конфиденциальными данными с внешними облаками.