Разделение чипов: обучение против инференса

В начале гонки искусственного интеллекта всё строилось по принципу «чем больше — тем лучше»: гигантские модели требовали титанических вычислительных ресурсов. Но времена меняются, и теперь на первый план выходит эффективность — в частности, как сделать так, чтобы ИИ работал быстрее, дешевле и экономил электроэнергию.

В этом новом мире четко обозначился разлом между обучением моделей и их использованием (или инференсом). Для обучения по-прежнему нужны огромные мощности, но вот инференс из статуса приложения для энтузиастов превращается в рутинную технологию для бизнеса. Компания Rebellions заявляет: пришло время создавать чипы, заточенные только под инференс, иначе смысла бороться за «максимальную производительность» нет.

По словам CEO Rebellions Сонхьёна Пака, их серверные стойки используют всего 16-20 кВт электроэнергии против типичных 120 кВт у топовых GPU-систем для инференса. А стоят они примерно в три раза дешевле. Всё это делает запуск ИИ возможным для гораздо большего числа компаний, чей бюджет и доступная инфраструктура ограничены.

Ещё одна важная тема — память. Новые языковые модели размером в триллионы параметров ломают привычные схемы: просто добавить больше вычислительных блоков уже не помогает. Rebellions совместно с компаниями SK Hynix и Samsung пытается заранее синхронизировать планы развития чипов и памяти, чтобы не зависеть от рыночных форс-мажоров и быть на шаг впереди.

Главное отличие между обучением и инференсом, по словам Пака, — задачи, которые стоят перед этими этапами. Для обучения нужны максимальные вычисления (FLOPS), а инференс — это вопрос эффективности, надёжности и разумных затрат в условиях массового использования.

До сих пор индустрия пыталась «натянуть» универсальный чип сначала на обучение, потом — на инференс, но сейчас становится понятно: универсализм не работает. Настоящий прогресс принесёт только разделение архитектур и «заточка» под конкретные бизнес-запросы.

Rebellions разработали инфраструктуру для инференса с нуля, заточенную под реальные задачи крупных компаний. Их стойки — это архитектура «чиплетов»: модули объединяются в гибкую сеть, а память располагается максимально близко к вычислениям. Такой подход не просто модульный — он позволяет расти вместе с ростом модели.

Отдельная боль для индустрии — физическое наличие современной памяти, которую никто пока не научился клонировать магическим образом. Производители памяти не поспевают за аппетитами ИИ-компаний. Rebellions пытаются решать эту проблему не просто закупкой, а кооперацией и совместным дизайном чипов с поставщиками. Это даёт стратегическое преимущество: когда другие стоят в очереди, у них уже всё подписано.

Компания ставит на открытые стандарты: PyTorch, Kubernetes, Red Hat OpenShift — всё привычно, никаких закрытых «велосипедов»: администратор может работать с их железом без долгих курсов переквалификации. Правда, и здесь без интеграционных хлопот не обойтись — крупные проекты требуют детальной настройки под свои задачи.

Rebellions не рассчитывают, что рынок победит самая богатая компания. Выиграет тот, кто сможет обеспечить стабильные поставки, доказать свою надёжность в реальных развертываниях и показать реальные результаты, а не красивые презентации. Ключевым фактором успеха становится логистика поставок и работающая инфраструктура.

На рынке инференса уже запускались крупные клиенты: SK Telecom, KT Cloud — примеры, когда десятки миллионов операций ИИ проходят на оборудовании Rebellions без надобности строить новые дата-центры. Эффективность становится новой валютой: чем дешевле инференс, тем больше областей применения для ИИ.

И наконец, Rebellions утверждает: архитектура чиплетов — не просто конструктор, а фундамент новой волны ИИ-решений. Даже Nvidia недавно столкнулась с проблемами при попытке собрать четыре чиплета в одном корпусе. А у Rebellions — 4 чиплета, поставленные на массовое производство. Будущее, может быть, и наступит не по велению стартапов, а благодаря скучной инженерии и грамотной работе с поставщиками.