ИИ-ускорители и GPU для обучения и инференса

Как выбрать ИИ-ускоритель

Первый критерий выбора — объём и тип памяти. Обучение и инференс больших языковых моделей упираются в память: чем больше модель, тем важнее объём HBM на карту. H100 несёт 80 ГБ, H200 — 141 ГБ, B200 и MI300X — до 192 ГБ, B300 — 288 ГБ. Больше памяти на карту означает меньше карт на модель и меньше затрат на межсоединения в кластере.

Второй критерий — экосистема ПО. NVIDIA работает на CUDA — самом зрелом стеке с максимальной совместимостью фреймворков. AMD Instinct использует ROCm: он подрос, но требует времени на перенос и профилирование кода. Huawei Ascend работает на CANN/MindSpore — это отдельный стек, зато поставка идёт из Китая без оглядки на санкции США.

Третий критерий — задача. Для обучения LLM с нуля нужны флагманы Hopper и Blackwell с быстрым NVLink. Для продуктового инференса часто достаточно A100, L40S или китайского Ascend. Для генеративной графики, VDI и небольших моделей L40S на 48 ГБ ставится в обычный сервер без специальной инфраструктуры.

Четвёртый критерий — питание и охлаждение. Флагманы Blackwell потребляют около киловатта на карту и часто требуют жидкостного охлаждения. Это уже вопрос инфраструктуры ЦОД, а не только закупки GPU — питание, стойки и охлаждение мы разбираем в разделе инфраструктуры и в лид-странице по строительству ЦОД.

Пятый вопрос — покупать или арендовать. Для нерегулярной и короткой нагрузки аренда GPU-мощностей в РФ дешевле, для постоянной — покупка окупается. Мы сравниваем оба пути честно и даём калькулятор точки безубыточности, а не склоняем к покупке.