Почему ИИ упирается в электричество: от карты до мегаватта
Дефицит ускорителей постепенно сменился дефицитом другого рода: карты купить можно, а вот включить — не везде. Разбираем по шагам, как из 700 ватт TDP вырастает 1,8 киловатта подведённой мощности, сколько мегаватт стоит за кластером на тысячу карт и какие три ответа на это есть у рынка.
Сравнительная таблица
| Вариант | Срок до запуска | Капзатраты на 1 МВт IT (ориентир) | Основной риск | Когда выбирать |
|---|---|---|---|---|
| Строить свой машзал | 1–3 года с учётом техприсоединения | инженерная часть 90–180 млн ₽ плюс техприсоединение | сроки техусловий, замороженный капитал | загрузка выше 70 % на годы, свои данные, объём от 1 МВт |
| Colocation (стойко-места) | 1–4 месяца | 0 капзатрат, 10–25 тыс. ₽ за кВт в месяц | лимит кВт на стойку, зависимость от площадки | железо своё, машзала нет и строить не планируете |
| Аренда вычислительных мощностей | часы и дни | 0 | цена GPU-часа, доступность нужных карт | пиковые и проектные нагрузки, эксперименты, старт |
От карты к узлу: куда уходят первые полтора киловатта
Начнём с одной карты. H100 SXM — 700 Вт TDP. Восемь таких в узле — 5,6 кВт, и на этом обычно заканчивается расчёт, сделанный на салфетке. Дальше начинается обвязка.
Два серверных процессора в узле — 500–700 Вт. Оперативная память, 1–2 ТБ на узел, — 150–250 Вт. Накопители NVMe — 50–100 Вт. Сетевые карты, а в ИИ-узле их обычно четыре-восемь на 400 Гбит/с, — 150–300 Вт. Вентиляторы на воздушном охлаждении — 300–500 Вт. Блоки питания с КПД 94 % теряют ещё около 6 % от всей суммы.
Складываем: узел на восьми H100 потребляет 10–10,5 кВт. То есть на одну карту приходится примерно 1,3 кВт вместо паспортных 0,7 — коэффициент 1,85 к TDP уже на уровне узла.
Дальше идёт кластерная обвязка: коммутаторы InfiniBand или Ethernet, узлы хранения, управляющие серверы. На типичном ИИ-кластере это добавляет ещё 5–8 % — округляем до 1,4 кВт на карту в стойке.
Что сверху добавляет площадка
IT-мощность — это ещё не то, что вы берёте из сети. Есть охлаждение, потери в ИБП и трансформаторах, освещение, вентиляция, системы безопасности. Отношение полной мощности площадки к IT-мощности и называется PUE.
Реальные ориентиры: старый машзал на воздухе — PUE 1,6–1,8; современный воздушный зал с горячими коридорами — 1,4–1,5; зал с жидкостным охлаждением direct-to-chip — 1,15–1,25; иммерсия — 1,03–1,12. Разница между полутора и 1,2 — это четверть счёта за электричество и, что важнее, четверть запрашиваемой у сети мощности.
Берём средний реалистичный случай PUE 1,3 и умножаем наши 1,4 кВт на карту: получаем около 1,8 кВт подведённой мощности на одну H100. Против 700 Вт из спецификации — в два с половиной раза больше.
Оговорка, которую стоит держать в голове: PUE ухудшается на недозагруженном зале. Инженерная инфраструктура потребляет почти столько же и при 30 % загрузки, поэтому зал, построенный на вырост, первые год-два работает с PUE заметно хуже проектного. Разбор самих схем охлаждения — в материале об охлаждении ИИ-стойки.
Правило ×2,5 и что оно даёт в мегаваттах
Из расчёта выше следует простое правило для прикидок: подведённая мощность примерно равна 2,5 × TDP ускорителей. Для H100 это 1,75 кВт на карту, для B200 при 1000 Вт — 2,5 кВт, для L40S при 350 Вт — около 0,9 кВт. Правило грубое, но на этапе «влезем или не влезем» его точности достаточно.
Переводим в кластеры. 512 карт H100 — около 0,92 МВт, то есть примерно мегаватт. 1 024 карты — 1,8 МВт. 4 096 карт — 7,4 МВт. 8 192 карты — 14,7 МВт. Обратный счёт ещё нагляднее: один мегаватт подведённой мощности — это примерно 550 карт H100 или 390 карт B200.
Полезно держать в голове и годовой масштаб: один мегаватт непрерывной нагрузки — это 8,76 гигаватт-часа в год. Кластер на 8 тысяч карт потребляет за год порядка 129 ГВт·ч, на уровне небольшого промышленного предприятия.
И ещё одно наблюдение, важное для планирования: ИИ-нагрузка почти не имеет суточного профиля. Обучение идёт ровной полкой круглые сутки с коэффициентом использования 0,9 и выше, в отличие от корпоративного ЦОД с ночными провалами. Для энергетиков это одновременно и плюс (предсказуемость), и минус (нет возможности сдвинуть потребление).
Почему подведённая мощность стала дефицитом
Купить карту — вопрос денег и логистики. Получить дополнительные мегаватты на конкретной площадке — вопрос физической инфраструктуры, которая строилась десятилетиями и под другие нагрузки.
Процедурно это выглядит так: заявка в сетевую организацию, технические условия, проект, строительство своей части (кабельная линия, трансформаторная подстанция, иногда своя ячейка на питающем центре), допуск и подключение. Сроки для крупных мощностей — от года до трёх, и определяются они не бумагами, а тем, есть ли вообще свободная мощность в конкретном питающем центре. В плотных агломерациях свободной мощности во многих узлах попросту нет.
Плата за технологическое присоединение зависит от региона, уровня напряжения и категории надёжности; ориентир для крупных потребителей — десятки тысяч рублей за киловатт присоединяемой мощности, но разброс огромен, и любую цифру нужно проверять по конкретным техусловиям, а не по статье в интернете. Для мегаваттного зала это отдельная строка бюджета, сопоставимая с инженерным оснащением.
Отсюда рыночная логика последних лет: площадки с уже подведённой мощностью стали самостоятельным активом. Мощность продают, перепродают и бронируют заранее — иногда раньше, чем закупают само железо.
Сколько это стоит в год
Считаем на зале в 1 МВт IT при PUE 1,35. Из сети берём 1,35 МВт, за год это 1,35 × 8 760 ≈ 11 830 МВт·ч, то есть около 11,8 млн киловатт-часов. При тарифе порядка 6 ₽ за кВт·ч выходит примерно 71 млн ₽ в год — цифра-ориентир, тариф сильно зависит от региона, уровня напряжения и ценовой категории.
За пять лет эксплуатации набегает около 355 млн ₽. Для сравнения: 550 карт H100, которые помещаются в этот мегаватт, при ориентире 25–30 тыс. $ за карту стоят порядка 1,4–1,6 млрд ₽. То есть электричество за пятилетку — примерно четверть стоимости самого железа, и это не считая обслуживания и амортизации инженерной части.
Именно из этой пропорции растёт вся экономика энергоэффективности. Улучшение PUE с 1,5 до 1,2 на том же мегаватте экономит около 15,8 млн ₽ в год, а за пять лет — почти 80 млн. Примерно столько же стоит разница в капзатратах между воздушным и жидкостным залом, то есть эффективное охлаждение окупается счётом за электричество, а плотность достаётся бонусом.
Оговорка: все денежные цифры здесь — ориентиры для порядка величины. Тариф, курс и цена карт меняются, и считать проект нужно по своим числам, а не по этим.
Три ответа, которые есть у рынка
Первый — энергоэффективность. Переход на жидкостное охлаждение забирает 20–25 % от общего счёта и от запрашиваемой мощности. Отдельный и недооценённый приём — ограничение мощности карты. Опустив H100 с 700 до 500 Вт, вы теряете на типичных обучающих нагрузках 10–15 % производительности, но снимаете 28 % мощности. На парке, упирающемся в лимит по вводу, это означает возможность поставить примерно на треть больше карт в тот же мегаватт — почти всегда выгодная сделка, если задача не критична по срокам.
Второй — размещение. Кластер не обязан стоять там, где сидит команда. Регионы с профицитом генерации, холодным климатом (а значит, лучшим свободным охлаждением и PUE) и более низким тарифом дают экономию по двум статьям сразу. Ограничения — задержка канала связи, которая для обучения почти безразлична, и требования к размещению данных, которые уже могут быть жёсткими.
Третий — не строить вообще. Между «купить железо и построить зал» и «ничего не делать» есть два промежуточных варианта: colocation, когда своё железо ставится в чужой машзал с готовой мощностью, и аренда вычислительных мощностей, когда вы не покупаете ни железо, ни мегаватты. Сравнение всех трёх — в таблице в начале материала.
Практическое замечание по срокам: разница между «часы» и «полтора года» часто оказывается решающим аргументом независимо от денег. Проект, который надо запустить в этом квартале, просто не может ждать техусловий.
Как посчитать мощность под свой кластер
Алгоритм: возьмите число карт и их TDP, умножьте на 1,85 для получения мощности узлов, добавьте 5–8 % на сеть и хранение, умножьте на планируемый PUE. Для быстрой прикидки достаточно правила ×2,5 к суммарному TDP. Полученное число — то, что придётся запросить у сети, и именно с ним имеет смысл идти к энергетикам до, а не после закупки железа.
Сделать этот расчёт с учётом типа охлаждения, числа стоек и запаса можно в калькуляторе мощности ЦОД. Состав вычислительной части, от которого всё считается, — в каталоге ИИ-ускорителей и серверов с GPU; инженерная обвязка (ИБП, PDU, шкафы, контуры охлаждения) — в разделе инфраструктуры ЦОД, а общий разбор оснащения машзала — на странице ЦОД.
Если расчёт показал, что нужных мегаватт у вас нет и в ближайший год не будет, рабочая альтернатива стройке — аренда вычислительных мощностей: мощность там уже подведена, охлаждение налажено, срок запуска измеряется днями. Прикинуть бюджет под нужное число GPU-часов можно в калькуляторе аренды, а понять, где проходит граница выгодности покупки, — в гайде купить или арендовать GPU.
Финальная оговорка. Все коэффициенты в этой статье — 1,85 на узел, 1,3 на PUE, правило ×2,5 — рабочие ориентиры для оценки порядка величины и для разговора с энергетиками. Проектные значения считаются по конкретным моделям серверов, схеме резервирования и климату площадки и могут отличаться на 15–20 % в обе стороны.