Huawei обещает компрессию данных 90:1: новая карта сжатия для систем OceanProtect

Huawei представила уникальную карту аппаратной компрессии данных, обещая коэффициент сжатия до 90:1 — разумеется, если вы правильно готовите свои бэкапы и накапливаете тонны одинаковых файлов. Такой результат, по словам техногиганта из Китая, достижим для резервных копий с высокой избыточностью, например, когда вы ежедневно делаете полные копии виртуальных машин и копите их месяцами. Huawei уверяет, что их решение превосходит ближайших конкурентов на 20% по уровню сжатия в корпоративном сегменте хранения.

Карта используется в новых системах резервного копирования Huawei OceanProtect на базе твердотельных накопителей (SSD): это модели X8100 и X9100, так что мечтать о внедрении подобной магии в домашние архивы пока рано. Основа успеха — собственная разработка семейства алгоритмов HZU, описанных как быстрые нелинейные преобразования и легкие методы контекстного прогнозирования. Huawei утверждает, что по эффективности HZU обходит старый-добрый Lempel-Ziv (классика всех zip-архиваторов), примерно на треть увеличивая степень сжатия при одинаковых задачах.

Главное шоу — конечно, патенты: динамический алгоритм покрывает и дедупликацию (удаление дубликатов), и само сжатие. Но выбирать алгоритм всё равно нужно под конкретные типы данных и сценарии резервного копирования, иначе чуда 90:1 вы не дождётесь. Для сравнения: прошлое поколение OceanProtect умело максимум 72:1, так что прибавка в производительности — ещё и плюс в скорости, до 50% быстрее прежнего.

Сама компрессия проходит через четыре стадии: сначала — предобработка и очистка данных, затем многоуровневая дедупликация по блочным и переменным размерам, далее HZBC-компрессия, и наконец — упаковка оставшегося в байтовый компакт. Побочный эффект: главный процессор системы получает разгрузку — до 22% операций уходит на карту сжатия.

Всё это работает на SSD: внутри — связка более дешёвых QLC-накопителей с «горячей» зоной SLC для часто используемых данных. Такой подход ускоряет восстановление при авариях и экономит место, ведь каждый терабайт флеш-памяти стоит явно не дёшево. И вот тут сжатие превращается уже не просто в стартаперский лозунг, а в реальную экономию: флеш-диск уходит в нирвану оптимизированного хранения, а алгоритм выжимает ваши копии как сок из апельсина.

Главное — не обольщаться: чудо-компрессию придётся проверять на своих наборах, ведь каждый тип данных даёт свой результат при реальном тестировании, а политики хранения напрямую влияют на итоговую магию цифр. Впрочем, для крупных организаций с болью в бэкапах — повод присмотреться.