Охлаждение ИИ-стойки: воздух, жидкость или иммерсия

Почему вопрос вообще возник

Проследим траекторию по одному числу — TDP флагманского ускорителя. V100 в 2017 году — 300 Вт. A100 в 2020-м — 400 Вт. H100 в 2022-м — 700 Вт. B200 в 2024-м — 1000–1200 Вт. Рост вчетверо за семь лет, причём последние два шага — почти вдвое каждый.

На уровне стойки картина ещё резче, потому что вместе с TDP росла и плотность упаковки. Обычная серверная стойка на 42U с бизнес-нагрузкой — это 5–10 кВт. Стойка с четырьмя узлами по восемь H100 — 40–45 кВт. Стойка GB200 NVL72 — 120–132 кВт в одном шкафу. За один цикл обновления машзал должен научиться снимать в пятнадцать раз больше тепла с той же площади пола.

Важно понимать, что вся эта мощность превращается в тепло практически полностью: вычисления не производят никакой полезной работы в физическом смысле, вся подведённая энергия уходит в нагрев. Сколько киловатт вы завели в стойку, столько и надо вынести наружу.

Где заканчивается воздух

Предел воздушного охлаждения задан физикой, а не инженерной ленью. Удельная теплоёмкость воздуха — около 1,005 кДж/(кг·К) при плотности 1,2 кг/м³; у воды — 4,18 кДж/(кг·К) при плотности 1000 кг/м³. По объёмной теплоёмкости вода превосходит воздух примерно в 3 500 раз. Чтобы снять киловатт воздухом, через сервер надо прогнать в тысячи раз больший объём среды, чем водой.

Практически это упирается в скорость потока. Классическая схема с горячим и холодным коридорами уверенно держит 8–15 кВт на стойку, при аккуратном проектировании и заглушках — до 20–25 кВт. Дальше начинаются полумеры: двери-теплообменники на задней стенке поднимают потолок до 35–40 кВт, внутрирядные кондиционеры — примерно туда же. За этой границей вентиляторы начинают потреблять недопустимо много, шум переходит в разряд производственной вредности, а перепад температуры между входом и выходом стойки становится таким, что верхние серверы работают на грани троттлинга.

Отдельная статья потерь — сами вентиляторы. На высокоплотных воздушных стойках их привод съедает 5–10 % IT-мощности, и это чистый паразитный расход, который к тому же снова превращается в тепло, которое тоже надо снять.

Из этого не следует, что воздух умер. Для инференс-парков на картах до 400 Вт с плотностью 10–20 кВт на стойку он остаётся самым дешёвым и самым простым в эксплуатации решением, не требующим ни переделки зала, ни нового персонала.

Direct-to-chip: как это устроено

Схема direct-to-chip снимает тепло прямо с горячих кристаллов: на процессоры, ускорители и иногда на модули памяти ставятся водоблоки — металлические пластины с каналами, по которым идёт теплоноситель. Узлы подключаются к стоечным коллекторам сухими быстроразъёмными соединениями, коллекторы — к CDU, установке распределения охлаждающей жидкости.

CDU разделяет два контура. Вторичный, внутренний, работает на подготовленной воде с ингибиторами или на водно-гликолевой смеси и циркулирует между CDU и стойками при слегка пониженном давлении — так протечка идёт внутрь системы, а не наружу. Первичный контур уходит на драйкулеры или чиллеры на улице.

Ключевая экономическая особенность — высокая температура подачи. Кристаллу достаточно теплоносителя при 30–45 °C, а не при 15 °C, как воздуху на входе в стойку. Это значит, что бо́льшую часть года тепло можно сбрасывать в атмосферу напрямую драйкулерами, без компрессорного холода. В климате средней полосы России свободное охлаждение работает почти круглый год — отсюда и PUE 1,15–1,25.

Практическая оговорка: direct-to-chip редко снимает 100 % тепла. Водоблоки стоят на процессорах и ускорителях, а память, накопители, преобразователи питания и сетевые карты остаются на воздухе — это 10–30 % мощности узла. Значит, воздушный контур в зале всё равно нужен, просто меньшей производительности, и планировать надо гибридную схему, а не полную замену.

Иммерсия и её реальная цена

При иммерсионном охлаждении оборудование целиком погружают в диэлектрическую жидкость. В однофазной схеме жидкость не кипит: она нагревается и поднимается конвекцией или прокачивается насосом к теплообменнику. В двухфазной — кипит на горячих компонентах и конденсируется на крышке ванны, что даёт максимальную эффективность съёма.

Плюсы очевидны: тепло снимается со всех компонентов без исключения, вентиляторы не нужны совсем, PUE опускается до 1,03–1,12, ванна держит от 50 до 200 кВт. В жарком климате преимущество ещё заметнее — иммерсия менее чувствительна к температуре наружного воздуха.

Минусы столь же конкретны. Обслуживание перестаёт быть рутиной: чтобы заменить накопитель, узел надо поднять из ванны, дать стечь жидкости и работать с ним в подготовленном месте. Пол должен выдержать вес ванны с жидкостью — это сотни килограммов на квадратный метр сверх обычного. Гарантия производителя на серверы при погружении требует отдельного согласования, а совместимость проверяется по каждому компоненту: оптика, термоинтерфейсы и некоторые пластики ведут себя в жидкости по-разному.

У двухфазной иммерсии добавился регуляторный фактор: часть применявшихся рабочих жидкостей относится к классу PFAS, вокруг которого в ряде юрисдикций ужесточается регулирование. Это не запрет, но это риск для проекта с горизонтом в десять лет — и одна из причин, по которой рынок сместился в сторону однофазных схем.

Честная оценка: иммерсия сегодня — решение для тех, у кого есть специфический аргумент (жаркий климат, дефицит площади, отсутствие воды нужного качества), а не общий путь отрасли. Мейнстрим ушёл в direct-to-chip.

Почему Blackwell-стойки требуют жидкости

Посчитаем на пальцах. Восемь B200 при TDP 1000–1200 Вт — это 8–9,6 кВт только на ускорителях. Добавляем процессоры, память, накопители, сетевые карты и потери блоков питания — узел выходит на 14–15 кВт. Четыре таких узла в стойке дают 56–60 кВт, что уже вдвое выше практического потолка воздуха даже с задними дверями-теплообменниками.

GB200 NVL72 ставит вопрос ребром: 72 ускорителя и 36 процессоров Grace в одном шкафу — это 120–132 кВт. Охладить такую стойку воздухом невозможно ни при каком проектировании; её пришлось бы разложить на пять-восемь обычных стоек, но тогда развалится вся идея — NVL72 существует именно ради того, чтобы 72 ускорителя были связаны единым медным NVLink-доменом на коротких расстояниях. Растащить их по залу означает потерять причину, по которой стойку купили.

Есть и второй, менее очевидный аргумент — производительность. Ускорители снижают частоты при перегреве, и на воздухе высокоплотная стойка живёт в постоянном троттлинге. Жидкость держит кристалл в стабильном тепловом режиме, и разница в реальной выдаче на длинных обучающих прогонах измеряется процентами — на парке из сотен карт это заметные деньги.

Отсюда простой водораздел для планирования: до 25–30 кВт на стойку воздух работает и обходится дешевле. От 40 кВт жидкость становится обязательной, а не желательной. Между этими границами есть зона гибридных решений, где выбор определяется тем, что вы собираетесь ставить в эту стойку через три года.

Сколько стоит разница в PUE

PUE — отношение полной мощности площадки к полезной IT-мощности. При PUE 1,5 на каждый киловатт вычислений вы платите ещё за половину киловатта охлаждения и потерь; при 1,2 — только за пятую часть.

Считаем на зале в 1 МВт IT. Разница между PUE 1,5 и 1,2 — это 300 кВт постоянной паразитной мощности. За год: 0,3 МВт × 8 760 ч = 2 628 МВт·ч, то есть около 2,63 миллиона киловатт-часов. При тарифе порядка 6 ₽ за кВт·ч (ориентир для промышленного потребителя, сильно зависит от региона и уровня напряжения) это примерно 15,8 млн ₽ в год только на разнице в охлаждении.

За пять лет набегает около 79 млн ₽ — сопоставимо с разницей в капзатратах на инженерную часть между воздушным и жидкостным залом такого масштаба. То есть при высокой загрузке direct-to-chip окупает свою надбавку за счёт электричества, не считая главного эффекта: он вообще позволяет поставить в зал то железо, которое на воздухе не встало бы.

Второй, часто более важный эффект — экономия на подведённой мощности. Те же 300 кВт разницы — это 300 кВт, которые не надо запрашивать у сетевой организации, оплачивать в техприсоединении и ждать по техусловиям. В регионах с дефицитом мощности это решает больше, чем счёт за киловатт-часы; подробнее — в материале о том, почему ИИ упирается в электричество.

Оговорка: значения PUE в таблице — годовые ориентиры для умеренного климата при грамотном проектировании. Реальная величина зависит от температуры наружного воздуха, загрузки зала (недозагруженный зал всегда имеет худший PUE) и качества наладки. Считать проект по чужому PUE нельзя — только по своему климату и своему профилю нагрузки.

Что выбрать под свою задачу

Если вы строите инференс-парк на картах до 400 Вт с плотностью 10–20 кВт на стойку — берите воздух. Он дешевле в капзатратах, не требует нового персонала и новых регламентов, а разница в PUE на таких мощностях не окупает переделку зала.

Если в планах H100, H200, B200 или GB200 — планируйте direct-to-chip сразу, даже если первый этап помещается в воздух. Подводить контуры в работающий зал вдвое дороже и болезненнее, чем закладывать их при строительстве. Помните про гибридность: воздушный контур на 10–30 % мощности всё равно понадобится.

Иммерсию рассматривайте, когда есть конкретный аргумент: жаркий климат, жёсткий дефицит площади, невозможность обеспечить водоподготовку. В остальных случаях сложность обслуживания и вопросы гарантии перевешивают выигрыш в PUE.

Компоненты инфраструктуры — CDU и контуры direct-to-chip, иммерсионные ванны, серверные шкафы, ИБП и PDU — собраны в каталоге инфраструктуры ЦОД. Посчитать тепловую нагрузку, число стоек и требуемую мощность под конкретный состав кластера можно в калькуляторе мощности ЦОД, а общий разбор оснащения машзала — на странице ЦОД.

Начинать всё же стоит с вычислительной части, потому что именно она задаёт требования к охлаждению: состав узлов и карт — в каталоге серверов с GPU и ИИ-ускорителей. А если строить машзал под первый эксперимент не хочется, разумная альтернатива — аренда вычислительных мощностей на площадке, где жидкостный контур уже смонтирован и налажен.