10-кратная революция в памяти: D-Matrix бросает вызов HBM

После того, как Sandisk и SK Hynix объявили о совместной разработке "High Bandwidth Flash" — альтернативы привычной памяти HBM (High Bandwidth Memory) на основе NAND для ускорителей искусственного интеллекта, ещё один игрок решил встряхнуть индустрию. Это компания D-Matrix, которая предлагает неожиданный подход к решению застарелых задач ИИ — обещая производительность и энергоэффективность в 10 раз выше существующих решений.

В то время как большинство производителей стремятся улучшать обучение искусственного интеллекта с помощью всё более дорогих решений на базе HBM, D-Matrix решила сосредоточиться на ускорении инференса — то есть на выполнении уже обученных моделей ИИ, а не их обучении.

Текущий проект компании — D-Matrix Corsair — это чиплетная архитектура, где объединены 256 ГБ быстрой памяти LPDDR5 и 2 ГБ быстрой статической памяти SRAM. Вместо дорогой HBM здесь делают ставку на интеграцию вычислительных ядeр и памяти DRAM, чтобы минимизировать потери на передачу данных и сделать связь между памятью и процессором максимально плотной.

Следующий шаг — технология под названием D-Matrix Pavehawk, построенная на логической подложке TSMC N5 в сочетании с многослойной 3D DRAM. Ожидается, что Pavehawk с технологией 3DIMC будет соперничать с грядущими HBM4 по полосе пропускания и энергоэффективности, причём на порядок превосходя их — то есть в 10 раз.

Инженеры D-Matrix утверждают: многослойная компоновка DRAM позволит настолько приблизить память к вычислениям, что это решит целый ряд "узких горлышек" в современных архитектурах. Такое инженерное решение может не только дать огромный прирост скорости работы ИИ, но и в разы сократить энергопотребление.

Тем не менее, компания пока лишь в начале долгого пути. Хотя они обещают революцию, доказательств массовой работоспособности технологии пока нет. Сам подход — совмещать память и вычисления — не нов: этим занимались и другие, добавляя собственные контроллеры памяти или используя современные протоколы межсоединений, вроде CXL. Однако D-Matrix хочет пойти дальше, глубже интегрируя пользовательскую логику для оптимального баланса между стоимостью, мощностью и производительностью.

На фоне продолжающихся трудностей с поставками и ценами на дорогую HBM есть шанс, что инициативы вроде D-Matrix смогут выровнять олимпийский пьедестал ИИ для "простых смертных": если получится довести до дела более дешёвую и ёмкую память — это упростит жизнь дата-центрам, которые не дочерние компании Nvidia и не могут позволить себе топовое железо.

Учитывая активное развитие инструментов ИИ и возросший спрос на оборудование для обработки запросов — удешевление и масштабирование памяти могут стать ключом к новой эре технологий. Ждём, выстрелит ли D-Matrix, или останется в учебнике как очередная попытка перепрыгнуть "memory wall".