Geekom mini PC cluster gets DeepSeek V4 Flash treatment: 512GB RAM and 14.61 tokens per second

Geekom представила новое решение для корпоративного искусственного интеллекта: они взяли четыре мини-ПК A9 Mega, каждый на базе чипа AMD Ryzen AI Max+ 395, и объединили их в распределённый кластер под управлением модели DeepSeek V4 Flash. Каждый A9 Mega несёт в себе 16 ядер нового поколения Zen 5, графику Radeon 8060S и оснащается унифицированной памятью, что позволяет уместить столь немаленькую вычислительную мощность внутри миниатюрного корпуса.

Четырёхузловая система суммарно может похвастаться 512 ГБ оперативной памяти. Для управления и распределения ресурсов задействованы Ubuntu, ROCm и ПО DwarfStar — всё работает в единой связке, эффективно распределяя нагрузку и модель по разным машинам. Всё это соединено по интерфейсу USB4, что позволяет отказаться от классических серверных стоек и коммутаторов.

Для корпоративных нужд тут добавлен совместимый с OpenAI API — так спецприложения и боты могут напрямую обращаться к кластеру, не передавая конфиденциальные данные в открытые облака. Предполагается, что предприятия смогут на базе такого решения создать свои приватные помощники, ищущие документы и внутренние отчёты без риска утечек.

Кроме того, в Geekom заявляют о поддержке работы с большими запросами (до 250 тысяч токенов), логами и политиками — всё для того, чтобы «агенты» обрабатывали не только короткие вопросы, но и долгие сессии, построенные на работе с большими объёмами входных данных.

В проведённых Geekom тестах кластер показал скорость генерации около 14.61 токена в секунду (при одновременной одной задаче), а время до появления первого токена составило 0.42 секунды (P95). При этом для начала работы можно ограничиться одной или двумя машинами, а по мере роста задач увеличивать количество узлов до четырёх — каждая работает самостоятельно, но при необходимости все вместе обеспечивают распределённую обработку особенно тяжёлых задач.

Сам мини-ПК A9 Mega поддерживает до 128 ГБ памяти LPDDR5x, но в конфигурации из четырёх машин можно добиться суммарных 512 ГБ оперативной памяти. Среди других характеристик — производительность до 120 Вт, два слота для SSD NVMe (PCIe Gen4x4), возможность собрать RAID-массив объёмом до 8 ТБ, Wi-Fi 7, Bluetooth 5.4, два сетевых порта 2.5G Ethernet и поддержка сразу четырёх 8K экранов. Цена одной A9 Mega с 128 ГБ ОЗУ и 2 ТБ SSD начинается от 3999 долларов, а полный кластер в 4 машины потянет уже на 16 тысяч долларов.

Надо отметить, что все вышеуказанные показатели основаны на тестах Geekom и пока не прошли независимой проверки. Поэтому заявленная производительность и долгосрочная устойчивость в реальных корпоративных условиях ещё ждут подтверждения.