ИИ упёрся в физику: дата-центры задыхаются от тепла, нехватки электричества и медленных связей

Бум искусственного интеллекта упёрся не только в нехватку вычислительных чипов, но и в гораздо менее эффектные вещи — электрические сети, охлаждение и передачу данных между ускорителями. Дата-центры для ИИ растут настолько быстро, что существующая инфраструктура уже не успевает их обслуживать. В период с 2021 по 2025 год в мире добавили около 30 ГВт новых мощностей, а в одной только Северной Америке сейчас строится ещё 66 ГВт.
Главная проблема внутри дата-центра — тепло. Стойки с современными графическими процессорами потребляют более 50–100 кВт каждая, тогда как традиционное воздушное охлаждение обычно рассчитано на плотность около 30–40 кВт. Чтобы отводить тепло от стоек мощностью свыше 100 кВт с помощью воздуха, пришлось бы создавать поток, сравнимый с ураганом. Вентиляторы при этом потребляли бы больше энергии, ухудшая показатель PUE — соотношение общей энергии дата-центра к энергии, непосредственно используемой вычислительным оборудованием.
Обычные системы поддерживают температуру примерно 65–85 °C, но при 90–100 °C графические процессоры начинают снижать производительность, чтобы не получить необратимые повреждения. Жидкостное охлаждение эффективнее, однако прокачка жидкости через микроканалы требует значительной мощности насосов. Поэтому компании переходят к холодным пластинам direct-to-chip, установленным непосредственно на процессорах.
Другой вариант — двухфазное иммерсионное охлаждение. Специальная диэлектрическая жидкость соприкасается с горячими чипами, кипит, забирает тепло в виде пара, затем конденсируется и возвращается в жидком виде. Такая схема способна снизить энергозатраты на охлаждение до 40%. Microsoft внедряет замкнутые контуры: вода заполняется один раз, циркулирует между серверами и охладителями и почти не требует пополнения. Но системы дороги, сложнее масштабируются и под высокой нагрузкой могут создавать дополнительный шум от насосов и вентиляторов.
Вторая проблема — связь между GPU. Медные соединения теряют сигнал на расстояниях более двух метров, а при удвоении требований к пропускной способности их рабочая дальность примерно вдвое сокращается. Плотно уложенные кабели создают электромагнитные помехи, требуют сложных схем коррекции и выделяют дополнительное тепло из-за сопротивления. Поэтому отрасль переходит на оптоволокно, а затем — на silicon photonics и co-packaged optics, где оптические цепи размещаются непосредственно рядом с GPU. Такие решения тоньше, лучше передают данные на больших расстояниях и улучшают воздушный поток, но пока могут стоить до семи раз дороже меди.
Самое узкое место — подключение к энергосистеме. Высоковольтные трансформаторы, необходимые для безопасной подачи энергии, теперь приходится ждать от двух до четырёх лет против шести–двенадцати месяцев в 2020 году. Кластеры GPU меняют потребление за секунды: после спокойного периода инференса может последовать резкий скачок нагрузки. Это создаёт гармоники, нагревает трансформаторы и перегружает системы коррекции коэффициента мощности.
Кластеры уже приближаются к гигаваттному масштабу. При коротком замыкании большие токи и магнитные силы могут деформировать или вырвать шины распределительных устройств, что способно привести к разрушению оборудования. В качестве альтернативы традиционным трансформаторам рассматриваются твердотельные трансформаторы. Они используют силовую электронику, регулируют напряжение и фильтруют гармоники, достигая эффективности 97–99% против 95–97% у обычных моделей. Они также легче и компактнее, но стоят примерно в пять и более раз дороже в пересчёте на кВА, сложнее обслуживаются и сильнее нагреваются.
Пока новая техника не масштабировалась, владельцы дата-центров строят собственные источники энергии. Компания xAI добавила к центру Colossus в Мемфисе 59 мобильных газовых турбин общей мощностью свыше 400 МВт, ожидая подключения к сети. Обсуждаются и малые модульные ядерные реакторы, однако они пока в основном остаются концепцией и значительно дороже газовых турбин и возобновляемых источников.
В Северной Вирджинии, крупнейшем в мире скоплении дата-центров — около 570 объектов, — срок ожидания подключения новых площадок достигает 14 лет. Американские сетевые операторы планируют вложить 1,1 трлн долларов в период с 2025 по 2030 год; только в 2025 году инвестиции составили 208 млрд долларов. Но даже такие суммы пока не успевают за аппетитами ИИ. Рост вычислений продолжается, а физика, как обычно, не принимает обещания о «быстрой масштабируемости» без оплаты электричеством, теплом и годами ожидания.