Подбор GPU под ИИ-модель: сколько нужно VRAM

Как считается требуемая VRAM

Базовая величина — память под веса модели: число параметров, умноженное на количество байт на параметр. В FP16/BF16 это 2 байта, в FP8/INT8 — 1 байт, в INT4 — 0,5 байта, поэтому квантование напрямую снижает требования к памяти. Для инференса к весам добавляется overhead рантайма (~20%) и KV-кэш, который растёт с длиной контекста и числом параллельных запросов (batch). Кэш считается для архитектуры GQA (grouped-query attention) — общие ключи и значения на группу голов внимания: так устроены все актуальные открытые модели, и памяти под кэш им нужно в разы меньше, чем моделям прежнего поколения на полном внимании MHA. Допущение названо здесь намеренно: расчёт по старой схеме завышает требование в разы, а вместе с ним и закупку. Для обучения и дообучения памяти нужно в разы больше: помимо весов в неё попадают градиенты, состояния оптимизатора Adam и активации — ориентир ×3–4 к весам, а полное дообучение с FP32-Adam бывает выше; методы LoRA и QLoRA снижают требования в разы. Число карт вычисляется делением требуемой VRAM на объём памяти конкретного ускорителя с округлением вверх — калькулятор показывает это сразу по нескольким моделям и рекомендует оптимальную конфигурацию: одна карта, узел на 8 GPU или кластер. Все расчёты ориентировочные: фактический расход памяти зависит от движка инференса, длины контекста и числа одновременных запросов, поэтому конфигурацию проверяют на своих числах.