ИИ упёрся в данные: почему одних мощных GPU уже мало

Инвестиции компаний в искусственный интеллект обычно сосредоточены на вычислительных мощностях: доступе к GPU — графическим процессорам, которые ускоряют сложные расчёты, — производительности моделей и стоимости их работы. Но по мере перехода от экспериментов к полноценному применению всё заметнее становится другая часть инфраструктуры — хранение данных.

Данные нужны на каждом этапе жизненного цикла ИИ. Их собирают и подготавливают, передают вычислительным системам для обучения, хранят контрольные копии процесса обучения — чекпойнты — и готовые материалы моделей. Кроме того, информацию приходится переносить между поставщиками инфраструктуры, если меняются задачи бизнеса или условия работы сервисов. Поэтому система хранения становится стратегической частью ИИ-инфраструктуры и влияет на её стоимость и надёжность.

Обычно хранилища выбирают по объёму, доступности, скорости и сроку хранения. Для ИИ важен ещё один параметр: насколько хранилище соответствует конкретному этапу работы. Данные, которые прямо сейчас обрабатываются, могут требовать высокой скорости. Архивные наборы, чекпойнты и файлы моделей чаще нуждаются прежде всего в надёжности, защите, доступности и разумной цене. Если использовать один и тот же подход для всего, часть ресурсов будет расходоваться неэффективно.

Объёмы данных при этом растут: компании создают новые наборы для обучения, версии моделей и сопутствующие файлы. Цель — не просто сократить расходы на хранение, а размещать данные на подходящей инфраструктуре, сохраняя нужные скорость, безопасность и доступность. Такой системный подход автор статьи называет AI storagemaxxing — оптимизацией хранения на всём жизненном цикле ИИ с учётом задач бизнеса и рабочих нагрузок.

Компании используют разные виды облачной инфраструктуры: крупные облачные платформы, специализированных поставщиков GPU и новые облачные сервисы, которые называют neoclouds. Их доступность и экономика меняются, поэтому организации могут захотеть перенести вычислительные задачи к другому поставщику. Сами вычисления переместить порой проще, чем связанные с ними данные.

Перенос больших обучающих наборов и файлов моделей может быть дорогим и сложным с организационной точки зрения. Если за передачу или получение данных взимают существенную плату, компания рискует оказаться привязанной к инфраструктуре, выбранной раньше, — даже если условия уже перестали быть выгодными. Поэтому возможность переносить данные нужно закладывать при проектировании системы, а не вспоминать о ней только перед миграцией. Открытые стандарты и совместимые друг с другом решения для хранения помогают отделить данные от вычислительной платформы и менять инфраструктуру по мере необходимости.

Руководителям важно оценивать не только цену места в хранилище, но и полную экономическую и стратегическую стоимость размещения данных в конкретной среде. Обучающие наборы, собственная информация компании и файлы моделей могут иметь большую коммерческую ценность. Одновременно с корпоративными данными взаимодействует всё больше приложений и автоматизированных систем, поэтому устойчивость хранения становится частью защиты ИИ.

Неизменяемые копии, продуманные права доступа и надёжные процедуры восстановления помогают защититься от программ-вымогателей, случайного удаления и несанкционированного изменения информации. Это особенно важно для данных, которые трудно или дорого создать заново. Безопасность необходимо учитывать вместе со скоростью и ценой: экономия не является оптимизацией, если она создаёт неприемлемый риск потери данных или невозможности их восстановить.

Расходы на хранение включают не только объём, но и доступ, получение данных и их передачу. Непредсказуемые тарифы осложняют планирование и влияют на выбор архитектуры, особенно когда большие массивы нужно перемещать между хранилищем и вычислительной инфраструктурой. Предсказуемая стоимость помогает выбирать решения исходя из потребностей нагрузки, а не опасений по поводу внезапного счёта за доступ к собственным данным.

На этапе экспериментов инфраструктурные решения могут быть временными. Производственные ИИ-системы, напротив, способны работать годами и создавать значительные объёмы связанных данных. Поэтому стратегию хранения следует строить на весь жизненный цикл информации, а не под одну модель или одно развёртывание.

Следующий этап внедрения корпоративного ИИ потребует смотреть шире, чем на вычисления. GPU останутся важны, как и эффективность моделей, но полноценно оптимизировать их без учёта данных невозможно. Подход AI storagemaxxing предлагает оценивать хранилище по четырём вопросам: подходит ли оно рабочей нагрузке, обеспечивает ли защиту и восстановление, предсказуема ли его стоимость и можно ли без лишних препятствий переместить данные, если изменятся требования.

Материал подготовлен в рамках TechRadar Pro Perspectives — площадки для мнений специалистов технологической отрасли. Высказанная позиция принадлежит автору и не обязательно совпадает с позицией TechRadar Pro или Future plc.