GLM-5.3
Флагман открытого семейства GLM, которое шлюзы продают по API. Крупная MoE: на ней видно, во что обходится отказ от API — сколько карт держит одни только веса.
Модель на 753,3 млрд параметров. При режиме «INT8, контекст 8192 токена, восемь одновременных запросов» нужно 909,9 ГБ памяти — это 4× NVIDIA B300. Доступ к весам: веса скачиваются свободно. Лицензия: в карточке заявлено «other», нашего разбора ещё нет. Внимание: это MoE-модель — в памяти обязаны лежать все веса, а не только активные. Проверить сценарий до закупки можно на арендованной карте.
Характеристики
Сняты роботом из карточки модели и файла конфигурации, которые публикует сам автор.
Ревизия c5087a76d148. Проверено 14.10.2026.
Сколько нужно памяти
Считается по снятой архитектуре модели: веса плюс KV-кэш под контекст, с надбавкой на накладные расходы рантайма. Меняются только длина контекста и число одновременных запросов — и требование к железу уезжает в разы. Именно поэтому «столько-то гигабайт под модель» без указания нагрузки ничего не значит.
| Сценарий | Контекст | Одновременно | FP16 / BF16 | FP8 / INT8 | INT4 |
|---|---|---|---|---|---|
| Один пользователь, короткий запрос | 4 096 | 1 | 1 808,4 ГБ 7× NVIDIA B300 | 904,4 ГБ 4× NVIDIA B300 | 452,4 ГБ 2× NVIDIA B300 |
| Небольшая группа | 8 192 | 4 | 1 810,9 ГБ 7× NVIDIA B300 | 906,9 ГБ 4× NVIDIA B300 | 454,9 ГБ 2× NVIDIA B300 |
| Отдел, длинные документы | 32 768 | 8 | 1 831,5 ГБ 7× NVIDIA B300 | 927,6 ГБ 4× NVIDIA B300 | 475,6 ГБ 2× NVIDIA B300 |
| Много пользователей, длинный контекст | 32 768 | 32 | 1 902,2 ГБ 7× NVIDIA B300 | 998,2 ГБ 4× NVIDIA B300 | 546,2 ГБ 2× NVIDIA B300 |
Это MoE-модель: считается полный размер весов, потому что в памяти обязаны находиться все эксперты — маршрутизатор выбирает их на лету. Число активных экспертов влияет на скорость, а не на память. KV-кэш считается в 16 битах даже там, где веса ужаты сильнее: кэш почти никогда не квантуется вместе с весами. Подбор карт — оценка сверху по памяти из нашего справочника ускорителей; скорость ответа, питание и охлаждение считаются отдельно. Подбор идёт по объёму памяти и не учитывает программный стек: Ascend и AMD требуют другого инференс-сервера, чем NVIDIA, и это отдельный разговор при проектировании.
Во что обходится миллион токенов
Два счёта рядом: платить за токены чужому поставщику или держать модель на арендованной карте. Обе цифры наши — цену токена мы снимаем с прайсов, ставку аренды с площадок, — и обе с датой. Порог ниже это условие, а не совет: он говорит, при каком объёме счета сравниваются, а не что вам выбрать.
⚠️ Базы НДС у этих двух чисел разные или не названы у одного из них — значит порог показан приблизительно и смещён в сторону API. Приводить их к одной базе домножением мы не будем: там, где режим налогообложения не указан, это была бы догадка. Карты в конфигурации складываются по памяти: собрать из них один работающий узел и получить на нём нужную скорость — отдельная инженерная задача, и её цена сюда не входит. Расчёт идёт по средней нагрузке из таблицы выше: INT8, контекст 8192 токена, восемь одновременных запросов. Свои условия — в расчёте под нагрузку. Вся картина по токенам — на странице цены миллиона.
Что разрешает лицензия
Нашего разбора этой лицензии по первоисточнику пока нет. В карточке модели заявлено «other» — это метаданные, а не прочитанный нами текст лицензии, и на них нельзя опираться в корпоративном решении. Разобранные лицензии — здесь.
19-я по размеру из 22 моделей класса «языковая модель»
Размер решает, на чём модель поедет: 753,3 млрд параметров — это легче 3 моделей класса и тяжелее 18 моделей. Ряд ниже — модели того же класса по числу параметров; расчёт памяти у каждой свой.
Что дальше
Сколько памяти нужно этой модели
Расчёт под ваш контекст и число одновременных запросов: сколько видеопамяти займут веса и кэш и на скольких картах это поместится.
Контекст и batch учитываются в KV-кэше для инференса; кэш считается для архитектуры GQA — так устроены все актуальные открытые модели. Оценка ориентировочная (rule-of-thumb), не профилировщик.
- Все площадки с B300 (3) →
- Все площадки с H100 (18) →
- Все площадки с H200 (12) →
- Все площадки с A100 (22) →
- Все площадки с L40S (9) →
- Все площадки с RTX PRO 6000 Blackwell (5) →
- Все площадки с L4 (8) →
- Все площадки с RTX 5090 (5) →
- Все площадки с RTX 4090 (10) →
- Все площадки с RTX 3090 (3) →
- Все площадки с RTX A4000 (7) →
Инференс: веса ×1,2 (overhead рантайма) + оценка KV-кэша по контексту и батчу. Архитектура модели здесь неизвестна — вы задаёте только размер, — поэтому она угадывается по числу параметров и предполагается GQA: так устроены Llama 3, Qwen 2.5, Mistral и другие актуальные открытые модели. Сверка по 11 моделям нашего каталога 26.08.2026: у моделей на полном внимании MHA кэш выходит примерно в 10 раз больше оценки, у DeepSeek-V3 со сжатым вниманием MLA — в 21 раз меньше. Если модель известна, точное число есть на её странице в каталоге.