Где запускать ИИ
Главная/Запуск ИИ/Локальная нейросеть
ЛОКАЛЬНЫЙ ЗАПУСК

Локальная нейросеть: что поднимется на вашей карте

Вопрос «какая видеокарта нужна» задан не с той стороны. С той — «что поднимется на той, что у меня есть или которую я готов купить». Ниже ответ по каждой карте нашего справочника: сколько открытых языковых моделей в неё помещается, какая из них самая крупная и во что карта обходится купить и арендовать.

1 Чем запустить Ollama и LM Studio: что это за программы, чем отличаются по назначению и что у них общего — карта и память. 2 Какую модель Каталог открытых моделей: размер, архитектура, память под контекст — снято роботом, а не переписано из карточки. 3 На каких условиях Лицензии по первоисточникам с цитатами: что можно в коммерческом продукте, а что нет. 4 На каком железе Таблица ниже: сколько моделей помещается в каждую карту и во что она обходится купить и арендовать. 5 Если данные закрытые Закрытый контур — не отдельный способ запуска, а режим данных поверх своего железа.
Коротко

Считаем по 20 языковым моделям каталога из 22: у остальных не снята архитектура, а без числа слоёв и KV-голов память под контекст не считается — приписать их к поместившимся значило бы занизить ответ молча. Нижняя граница входа среди карт с наблюдаемой ценой — AMD Radeon RX 9060 XT на 16 ГБ за 68 990 ₽: на ней помещается 3 модели при работе в одиночку и 1 — когда в неё смотрят восемь человек разом. Потолок справочника — AMD Instinct MI355X на 288 ГБ: 13 моделей из 20. Ни в одну карту справочника не помещается 7 модели — Kimi-K3, DeepSeek-V4-Pro, DeepSeek-V4.1-Flash, GLM-5.3, DeepSeek-V3, MiniMax-M3, MiMo-V2.5: они живёт только на нескольких картах разом. ⚠️ Считается помещение в одну карту: сборка из нескольких — это уже сервер, другой разговор и другие деньги.

Сколько моделей поднимет одна карта

Режим тот же, что на страницах моделей: INT8, контекст 8192 токена. Две колонки различаются только числом одновременных запросов — и это главное, что здесь видно: KV-кэш растёт линейно по числу пользователей, поэтому «хватило коллеге» не значит «хватит отделу».

Карта Память один человек отдел, 8 запросов разом Потолок карты Купить Аренда, ₽/час
NVIDIA RTX 5070Blackwell, GDDR7, шина 192 бит, потребительская 12 ГБ 3 0 Qwen3-8B 8,2 млрд параметров 93 990 ₽ наблюдение, 19.10.2026 —
NVIDIA A164 GPU по 16 ГБ GDDR6 ECC на плате; 250 Вт на всю плату; арендуется по одному GPU или долями (vGPU) 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 299 536 ₽ наблюдение, 05.10.2026 —
NVIDIA RTX A4000Ampere workstation, GDDR6, однослотовая 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 130 000 ₽ оценка редакции 24–24
NVIDIA RTX 5060 TiBlackwell, 16 или 8 ГБ GDDR7, шина 128 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 83 990 ₽ наблюдение, 19.10.2026 —
NVIDIA RTX 5070 TiBlackwell, GDDR7, шина 256 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 148 990 ₽ наблюдение, 19.10.2026 —
NVIDIA RTX 4060 TiAda, 16 или 8 ГБ GDDR6 (165 или 160 Вт), шина 128 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров по запросу оценка редакции —
AMD Radeon RX 9070 XTRDNA 4, GDDR6, шина 256 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 109 770 ₽ наблюдение, 19.10.2026 —
AMD Radeon RX 9070RDNA 4, GDDR6, шина 256 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 85 440 ₽ наблюдение, 19.10.2026 —
AMD Radeon RX 9060 XTRDNA 4, 16 или 8 ГБ GDDR6, шина 128 бит, потребительская 16 ГБ 3 1 Qwen3-8B 8,2 млрд параметров 68 990 ₽ наблюдение, 19.10.2026 —
NVIDIA L4Ada, GDDR6, однослотовая низкопрофильная 24 ГБ 4 3 Vikhr-Nemo-12B-Instruct-R 12,2 млрд параметров по запросу оценка редакции —
NVIDIA RTX 4090Ada, GDDR6X, потребительская 24 ГБ 4 3 Vikhr-Nemo-12B-Instruct-R 12,2 млрд параметров 584 080 ₽ наблюдение, 14.10.2026 32–100 оценка
NVIDIA RTX 3090Ampere, GDDR6X, потребительская 24 ГБ 4 3 Vikhr-Nemo-12B-Instruct-R 12,2 млрд параметров 250 850 ₽ наблюдение, 19.10.2026 34–71
NVIDIA RTX PRO 4000 BlackwellBlackwell workstation, GDDR7 ECC, однослотовая 24 ГБ 4 3 Vikhr-Nemo-12B-Instruct-R 12,2 млрд параметров 319 990 ₽ наблюдение, 19.10.2026 —
NVIDIA RTX 5090Blackwell, GDDR7, потребительская 32 ГБ 7 5 Mistral Small 3.1 24B Instruct 24 млрд параметров 819 990 ₽ наблюдение, 19.10.2026 66–224
NVIDIA L40SAda, GDDR6, PCIe 48 ГБ 11 7 Qwen3-32B 32,8 млрд параметров 874 296 ₽ наблюдение, 05.10.2026 194–194
RTX 6000 AdaAda Generation workstation/server, GDDR6 ECC 48 ГБ 11 7 Qwen3-32B 32,8 млрд параметров 708 291 ₽ наблюдение, 05.10.2026 105–105
Huawei Ascend 910CПрямой ввоз из КНР, HBM 64 ГБ 11 10 Qwen3-32B 32,8 млрд параметров 1 500 000 ₽ оценка редакции 90–270 оценка
NVIDIA H100HBM3, SXM5 80 ГБ 11 10 Qwen3-32B 32,8 млрд параметров 1 874 859 ₽ наблюдение, 05.10.2026 353–359
NVIDIA A100Ampere, HBM2e, SXM4 80 ГБ 11 10 Qwen3-32B 32,8 млрд параметров 886 698 ₽ наблюдение, 05.10.2026 179–223
RTX PRO 6000Blackwell workstation/server, GDDR7 96 ГБ 12 10 Qwen2.5-72B-Instruct 72,7 млрд параметров 2 399 990 ₽ наблюдение, 19.10.2026 167–185
NVIDIA H200HBM3e, SXM5 141 ГБ 13 12 gpt-oss-120b 116,8 млрд параметров 5 852 766 ₽ наблюдение, 05.10.2026 481–481
NVIDIA B200Blackwell, HBM3e 192 ГБ 13 13 gpt-oss-120b 116,8 млрд параметров 5 600 000 ₽ оценка редакции 730–730
AMD Instinct MI300XCDNA3, HBM3 192 ГБ 13 13 gpt-oss-120b 116,8 млрд параметров 2 600 000 ₽ оценка редакции 150–430 оценка
NVIDIA B300Blackwell Ultra, HBM3e 288 ГБ 13 13 gpt-oss-120b 116,8 млрд параметров 6 800 000 ₽ оценка редакции 1 116–1 116
AMD Instinct MI355XCDNA 4, HBM3E, модуль OAM 288 ГБ 13 13 gpt-oss-120b 116,8 млрд параметров по запросу оценка редакции —

Цена покупки: 17 карт из 25 с наблюдаемой ценой, остальные — оценка редакции, и это помечено в каждой строке. Ставка аренды — рыночный диапазон, разбор в индексе ставок. ⚠️ Подбор идёт по объёму памяти и не учитывает программный стек: Ascend и AMD требуют другого инференс-сервера, чем NVIDIA, и это отдельный разговор.

Методология Память считается по снятой архитектуре модели, цена карты — по наблюдению или оценке — как мы считаем. Что исправляли

Чего этот расчёт не говорит

Помещается — не значит быстро. Здесь считается только память. Сколько токенов в секунду карта выдаст, зависит от модели, длины запроса и числа пользователей; своих замеров мы не проводим, чужие опубликованные с условиями и датами лежат на странице цены миллиона токенов.
INT4 экономит память и тратит качество. Вдвое меньше под веса — но потери на длинном контексте и на русском больше, чем в англоязычных замерах, а KV-кэш почти никогда не квантуется вместе с весами. Поэтому в таблице INT8.
Скачать веса и иметь право их применять — разные вещи. У части моделей в лицензии стоит порог или перенос ограничений в ваши договоры. Разбор по первоисточникам — лицензии открытых LLM.
Проверить дешевле, чем купить. Пока непонятно, какая модель решает вашу задачу, покупка фиксирует выбор железом. Арендованная карта отвечает на тот же вопрос за дни.

Свои условия: контекст, число запросов, разрядность

В таблице выше профиль один на всех. Здесь можно задать свой и посмотреть, во что он превращает требование к памяти.

Контекст и batch учитываются в KV-кэше для инференса; кэш считается для архитектуры GQA — так устроены все актуальные открытые модели. Оценка ориентировочная (rule-of-thumb), не профилировщик.

Требуемая VRAM ≈ 169 ГБ
Память под веса140 ГБ
KV-кэш (инференс)1,3 ГБ
Достаточно одной карты
Сколько карт нужно
NVIDIA H100 80 ГБ 3×
NVIDIA H200 141 ГБ 2×
NVIDIA B200 192 ГБ 1×
NVIDIA B300 288 ГБ 1×
NVIDIA A100 80 ГБ 3×
NVIDIA L40S 48 ГБ 4×
RTX PRO 6000 96 ГБ 2×
RTX 6000 Ada 48 ГБ 4×
AMD Instinct MI300X 192 ГБ 1×
Huawei Ascend 910C 64 ГБ 3×
NVIDIA A16 16 ГБ 11×
NVIDIA L4 24 ГБ 8×
NVIDIA RTX 5090 32 ГБ 6×
NVIDIA RTX 4090 24 ГБ 8×
NVIDIA RTX 3090 24 ГБ 8×
NVIDIA RTX A4000 16 ГБ 11×
NVIDIA RTX 5060 Ti 16 ГБ 11×
NVIDIA RTX 5070 12 ГБ 15×
NVIDIA RTX 5070 Ti 16 ГБ 11×
NVIDIA RTX 4060 Ti 16 ГБ 11×
NVIDIA RTX PRO 4000 Blackwell 24 ГБ 8×
AMD Radeon RX 9070 XT 16 ГБ 11×
AMD Radeon RX 9070 16 ГБ 11×
AMD Radeon RX 9060 XT 16 ГБ 11×
AMD Instinct MI355X 288 ГБ 1×
Где арендовать под этот объём

Эти карты в каталоге ускорителей →

Инференс: веса ×1,2 (overhead рантайма) + оценка KV-кэша по контексту и батчу. Архитектура модели здесь неизвестна — вы задаёте только размер, — поэтому она угадывается по числу параметров и предполагается GQA: так устроены Llama 3, Qwen 2.5, Mistral и другие актуальные открытые модели. Сверка по 11 моделям нашего каталога 26.08.2026: у моделей на полном внимании MHA кэш выходит примерно в 10 раз больше оценки, у DeepSeek-V3 со сжатым вниманием MLA — в 21 раз меньше. Если модель известна, точное число есть на её странице в каталоге.

Что дальше
Важно. Расчёт ориентировочный (rule-of-thumb) и не является офертой. Реальная потребность в VRAM зависит от архитектуры модели, движка инференса, длины контекста, метода дообучения (полное / LoRA / QLoRA) и параллелизма. Данные карт (память, TDP) — ориентир, требуют выверки по datasheet. Результат является справочной оценкой, которую нужно самостоятельно проверить на своей модели и программном стеке.

Что ещё спрашивают про локальный запуск

GGUF и квантование Во что разрядность обходится по памяти и по деньгам: одна модель при трёх разрядностях и карта под каждую. Если видеокарты нет Mac, обычный компьютер, телефон, одноплатник: сколько памяти — столько моделей, и где потолок скорости. Модель для кодинга Что запускают под разработку, на каком железе и во что обходится миллион токенов против API. LM Studio или Ollama На что этот выбор влияет, а на что нет: по железу и по деньгам — ни на что.

Частые вопросы

Зависит от того, какую модель вы поднимаете и сколько человек в неё смотрит. Самая дешёвая карта с наблюдаемой ценой, на которой в нашем каталоге поднимается хотя бы одна языковая модель, — AMD Radeon RX 9060 XT (16 ГБ, 68 990 ₽). На ней помещается 3 модели при работе в одиночку и 1 — когда в неё смотрят восемь человек разом. Это не рекомендация, а нижняя граница: выше по таблице карт больше памяти и больше моделей.
Следующий шаг
Открытые модели (LLM)Что можно поставить у себя и сколько памяти это требует.Аренда GPU в РоссииПлощадки, ставки и рейтинг с открытой методологией.Закрытый ИИ-контурКогда данные нельзя выпускать наружу и модель живёт в периметре.