Майнинг-фермы: как устроены и на каком оборудовании работают

Что такое майнинг-ферма и чем она не является

Майнинг-ферма — площадка, где массово размещено оборудование, круглосуточно выполняющее криптографические вычисления ради вознаграждения сети. С точки зрения инженера это обычный энергоёмкий объект: подведённая мощность, распределение, съём тепла, охрана, мониторинг. С точки зрения экономиста — предприятие, которое покупает электричество и продаёт вычислительную работу по волатильной цене.

Важное отличие от классического дата-центра: майнингу почти не нужны каналы связи, дисковое хранилище и низкая задержка. Задание приходит от пула короткими пакетами, результат уходит обратно тоже коротким пакетом. Площадке на несколько мегаватт исторически хватало интернет-канала в десятки мегабит — того, что в ЦОД считается каналом для служебного мониторинга одной стойки.

Из этого следует и обратное: майнинг-ферма — это инфраструктура без ИТ-обвязки. Там есть мегаватты, трансформаторы, вентиляция и здание, но нет резервирования уровня Tier III, нет магистральной оптики, нет СХД и нет персонала, умеющего эксплуатировать серверную платформу. Этот перекос объясняет почти всё, что происходило с отраслью дальше.

Сразу оговоримся о рамке материала: ЗероКвант не поставляет ASIC-майнеры и оборудование для майнинга — этой категории в нашем каталоге нет, и мы её не предлагаем. Разбор ниже носит аналитический характер: он нужен, чтобы понять, как устроена инфраструктура, которая сегодня частично переходит под ИИ-вычисления.

Два поколения железа: от видеокарт к ASIC

Первые фермы строились на видеокартах. Логика простая: GPU — это тысячи простых параллельных вычислителей, а хеширование идеально параллелится. Типовая единица GPU-фермы — «риг»: открытая рама, материнская плата с несколькими слотами, 6–12 видеокарт, подключённых через райзеры — переходники, которые выносят карту из слота на шлейф. Райзер обычно давал линию PCIe шириной x1: для майнинга ширина шины не имела значения, потому что данными обмениваться почти не нужно.

Второе поколение — ASIC (application-specific integrated circuit), микросхема, спроектированная под один конкретный алгоритм. Она не умеет ничего, кроме своего хеша, но делает его в сотни раз эффективнее на ватт. Как только для алгоритма появляется ASIC, GPU на нём становится экономически бессмысленным практически мгновенно: так произошло с SHA-256 (биткойн) ещё в 2013 году, позже — с рядом других алгоритмов.

Именно поэтому долгие годы существовало разделение: биткойн и всё, где есть ASIC, считали на ASIC; Ethereum и «ASIC-устойчивые» алгоритмы, специально спроектированные так, чтобы упираться в объём и скорость памяти, оставались за видеокартами. Это разделение и удерживало на плаву огромный парк GPU-ферм вплоть до 2022 года.

Разница в эксплуатации тоже принципиальна. ASIC — законченное устройство: корпус, блок питания, контроллер, веб-интерфейс, форм-фактор для монтажа на полку. GPU-риг — самосбор из потребительских компонентов, где отказывает то, что дешевле всего: райзеры, разъёмы питания, вентиляторы, блоки питания.

Как физически устроена площадка

Типовая ферма — это ангар, переоборудованный цех или контейнерный модуль. Оборудование ставится не в классические 19-дюймовые шкафы, а на стеллажи-полки: ASIC монтируется горизонтально или вертикально в ряд, GPU-риги — на открытые ярусные рамы. Плотность на полку — ориентировочно 3–5 кВт, ряд из нескольких полок выходит на 15–20 кВт.

Ключевой элемент компоновки — организация воздушного потока. Практически везде используется схема «холодная зона — горячая зона»: устройства ставятся сплошной стеной, забирают воздух с одной стороны и выбрасывают в изолированный горячий коридор, откуда он вытяжными вентиляторами уходит на улицу. Это прямоточная схема: воздух не охлаждается кондиционерами, а просто прогоняется с улицы через оборудование и наружу.

Отсюда географическая логика отрасли: холодный климат — это бесплатное охлаждение круглый год. Отсюда же и главная уязвимость: летом при +30 °C снаружи прямоток перестаёт справляться, температура на входе растёт, устройства снижают частоту или отключаются по защите. Часть площадок ставит на лето адиабатическое доувлажнение, часть просто мирится с сезонным падением производительности.

Остальная обвязка минималистична: щитовая с автоматами и УЗО, шинопроводы или силовые кабели до полок, простая система мониторинга (температура, ток, статус устройств), пожарная сигнализация, охрана. Фальшпола, прецизионных кондиционеров, резервных лучей питания и генераторов, как правило, нет — они не окупаются, потому что стоимость простоя майнинга измеряется недополученной выручкой, а не штрафами по SLA.

Питание: главный и единственный настоящий лимит

Размер фермы измеряется не количеством устройств, а подведённой мощностью. Это величина, зафиксированная в договоре технологического присоединения к сети, и получить её сложнее, чем купить любое железо. Площадка на 1 МВт — это уже промышленный потребитель со своей трансформаторной подстанцией, обычно на 6 или 10 кВ.

Прикинем на числах. Устройство мощностью 3 кВт, тысяча устройств — 3 МВт только на нагрузке. Плюс вентиляция: при прямоточной схеме это ориентировочно 5–10 % сверху, то есть примерно 3,2–3,3 МВт полной мощности. Чтобы завести такую мощность, нужна как минимум одна подстанция на 4 МВА с запасом, кабельная линия от питающего центра и техусловия, которые в дефицитных энергорайонах могут выдаваться годами или не выдаваться вовсе.

Внутри площадки распределение выглядит так: ввод → главный распределительный щит → секции по рядам → полочные щитки с автоматами на группу устройств. Балансировка по фазам критична: перекос в трёхфазной сети при такой мощности быстро выводит из строя оборудование и сам ввод. Отдельная типовая проблема — качество монтажа силовых соединений: подавляющее большинство пожаров на фермах приходится не на само вычислительное оборудование, а на плохо затянутые контакты и перегруженные разъёмы.

Резервирования питания на майнинговых площадках обычно нет по экономическим причинам. ИБП на мегаватты и дизель-генераторы стоят как заметная доля всего проекта, а защищают они выручку, которая при часовом простое теряется примерно на 1/8760 годовой. Это ровно та статья, которую придётся строить с нуля, если площадку переводят под задачи, где простой стоит денег по договору.

Охлаждение, шум и что с ними не так

Вся подведённая мощность превращается в тепло: полезной механической работы вычисления не производят. Ферма на 3 МВт — это 3 МВт тепла, которое надо вынести из здания. При прямотоке считают по расходу воздуха: чтобы снять 1 кВт при перепаде температур в 15 °C, нужно ориентировочно 200 м³/ч воздуха. На 3 МВт это порядка 600 000 м³/ч — десятки промышленных осевых вентиляторов, работающих непрерывно.

Отсюда шум. Один ASIC даёт ориентировочно 75–85 дБ — уровень отбойного молотка в паре метров. Ряд из сотен устройств плюс вытяжные вентиляторы превращают площадку в объект, который невозможно разместить рядом с жильём: отсюда и жалобы, и типовые конфликты с местными жителями там, где фермы ставили в черте населённых пунктов. GPU-риги тише (ориентировочно 55–70 дБ), но их всё равно не поставить в офисном здании.

Пыль — вторая скрытая проблема прямотока. Через оборудование прогоняются сотни тысяч кубометров уличного воздуха; без фильтрации радиаторы забиваются за месяцы, теплоотвод падает, устройства перегреваются. Фильтры же создают сопротивление и требуют регулярной замены — на площадке это отдельная эксплуатационная статья, которую в бизнес-планах обычно недооценивают.

Часть операторов уходила в иммерсионное охлаждение — погружение устройств в диэлектрическую жидкость. Это снимает шум и пыль, позволяет разгонять оборудование и резко поднимает плотность, но требует ванн, усиленных полов и другой эксплуатации. Подробный разбор подходов к съёму тепла — в материале об охлаждении ИИ-стойки; физика там ровно та же.

Экономика: почему всё решает тариф

Структура затрат майнинга нетипична для ИТ: на электричество приходится основная доля операционных расходов, обычно 60–80 %, остальное — амортизация оборудования, аренда, персонал, обслуживание. Ни одна другая статья не влияет на результат так сильно, поэтому вся отрасль исторически мигрировала туда, где киловатт-час дешевле.

Посмотрим на чувствительность. Устройство потребляет 3 кВт круглосуточно — это 3 × 24 × 365 ≈ 26 300 кВт·ч в год. При тарифе 3 ₽/кВт·ч это около 79 тыс. ₽ в год, при 6 ₽ — около 158 тыс. ₽. Разница в 3 рубля на киловатт-час удваивает главную статью расходов; на площадке в тысячу устройств это ориентировочно 79 млн ₽ в год разницы. Именно поэтому фермы строились рядом с ГЭС, у избыточной генерации и в регионах со специальными тарифами, а не там, где удобно.

Вторая особенность — доход не контролируется оператором вообще. Он зависит от курса актива, от общей сложности сети (она растёт по мере подключения новых мощностей во всём мире) и от событий протокола вроде халвинга, вдвое снижающего вознаграждение. Оператор управляет только затратами; выручка — внешняя переменная с высокой волатильностью.

Третья — быстрое обесценивание железа. Выход нового поколения ASIC с лучшей эффективностью на терахеш делает предыдущее поколение убыточным при том же тарифе. Горизонт окупаемости приходится закладывать короткий, а остаточная стоимость к концу срока стремится к нулю, потому что перепродать узкоспециализированное устройство можно только другому майнеру, причём в тот момент, когда оно стало невыгодным сразу для всех.

И четвёртая — регуляторная. В России промышленный майнинг с 2024 года переведён в правовое поле с реестром, отчётностью и региональными ограничениями вплоть до полных сезонных запретов в энергодефицитных районах. Для оператора это означает, что даже при хорошем тарифе площадка может простаивать по административным причинам. Мы не даём здесь юридических оценок и не консультируем по майнинговому регулированию — упоминаем этот фактор только как одну из причин, по которой владельцы площадок ищут альтернативную загрузку.

Почему GPU-майнинг фактически умер

15 сентября 2022 года сеть Ethereum завершила переход с алгоритма Proof-of-Work на Proof-of-Stake — событие, известное как The Merge. Право формировать блоки перестало зависеть от вычислительной работы и стало зависеть от размера заблокированной доли. Вознаграждение за хеширование исчезло в один момент.

Для GPU-ферм это была не просадка, а обнуление основного источника дохода. Ethereum был главной и почти единственной по-настоящему ёмкой нишей для видеокарт: остальные GPU-алгоритмы имели на порядки меньшую суммарную капитализацию. Освободившиеся мощности за считаные дни хлынули на монеты второго эшелона, доходность там мгновенно упала до уровня ниже стоимости электричества, и большинство площадок оказались убыточными при любом реалистичном тарифе.

Дальше сработала простая арифметика: если выручка карты меньше, чем стоимость потребляемого ею электричества, её выгоднее выключить и продать. Что и произошло — на вторичный рынок вышел огромный парк видеокарт, цены на б/у карты рухнули, а сборка новых GPU-ригов под майнинг прекратилась как класс.

Отдельно стоит зафиксировать: сам майнинг никуда не делся — биткойн и другие PoW-сети продолжают работать. Умер именно GPU-майнинг как массовое явление. Всё, что считается на ASIC, считается на ASIC; видеокартам в этой экономике места не осталось.

Что стало с парком карт и с площадками

Судьба железа разошлась по трём направлениям. Часть карт ушла на вторичный рынок частным покупателям и небольшим студиям — с известной осторожностью относительно износа. Часть осталась лежать на складах в ожидании неизвестно чего и постепенно морально устарела. И часть попробовали переиспользовать под задачи, где GPU действительно нужен: рендеринг, научные расчёты и, начиная с 2023 года, ИИ-вычисления.

С каждой из этих судеб есть нюанс. Майнинговая карта работала круглосуточно под полной нагрузкой, часто с изменёнными частотами и напряжениями, в запылённом прямоточном потоке. Кристалл такой режим переносит в целом неплохо — постоянная нагрузка без термоциклирования для полупроводника мягче, чем скачки, — а вот вентиляторы, термоинтерфейс и электролитические конденсаторы в цепях питания вырабатывают ресурс заметно быстрее. Оценивать такой парк надо индивидуально, а не по паспортным характеристикам модели.

Гораздо интереснее оказалась судьба самих площадок. Здание, подстанция на мегаватты, готовое техприсоединение, вентиляция, охрана и персонал — это активы, которые никуда не исчезли, а их дефицит на рынке только вырос. Подведённая мощность в 2020-х стала более дефицитным ресурсом, чем оборудование: технологическое присоединение на мегаватты в развитом энергорайоне занимает годы, а собрать сервер можно за недели.

И ровно в этот момент появился спрос, которому нужны именно мегаватты: ИИ-вычисления. Требования к инженерной части у ИИ-кластера и у майнинг-фермы совпадают по существу — та же подведённая мощность, тот же вопрос съёма тепла, те же стойки и щиты. А вот всё остальное — сеть, хранилище, резервирование, плотность на стойку, эксплуатация — отличается радикально, и именно эта разница определяет, во что реально обходится переход.

Куда двигаться дальше

Если вы читаете это, потому что смотрите на инфраструктуру с точки зрения ИИ-нагрузки, полезнее всего сразу перейти к количественной части. Сколько киловатт потребует конкретный состав кластера, сколько стоек и какой запас по мощности закладывать — считается в калькуляторе мощности ЦОД. Почему подведённая мощность вообще стала главным ограничением отрасли — разобрано в материале о том, почему ИИ упирается в электричество.

Инженерная часть машзала — шкафы, ИБП, PDU, контуры охлаждения — собрана в каталоге инфраструктуры ЦОД; вычислительная часть, под которую эта инфраструктура и проектируется, — в каталоге ИИ-ускорителей. Общий разбор оснащения машзала — на странице ЦОД.

Повторим важное: ASIC-майнеров, GPU-ригов, райзеров и прочего майнингового оборудования у нас нет и мы их не подбираем. Наша область — вычислительное оборудование под ИИ и научные расчёты, инфраструктура ЦОД и аренда вычислительных мощностей.

Отдельная большая тема — что конкретно требуется, чтобы майнинговая площадка стала пригодной для ИИ-нагрузки: какие карты годятся, какая нужна сеть, какая плотность на стойку и во что обходится доделка. Этому посвящён следующий материал — «Из майнинга в ИИ: как фермы переходят на аренду вычислений».