Локальный ИИ и мини-компьютеры для запуска LLM

Как запустить ИИ локально: что выбрать

Локальный ИИ — это запуск языковых моделей и ассистентов на своём железе, без облака. Причины растущего спроса три: приватность (данные не уходят наружу и не попадают в чужие логи), отсутствие абонентской платы и работа офлайн. Для бизнеса, вузов и госсектора приватность часто решающий аргумент — особенно там, где облачные ИИ-сервисы недоступны или запрещены политикой безопасности.

Главный дефицит при локальном запуске LLM — не скорость, а память. Модель на 70 миллиардов параметров даже в 4-битном квантовании требует под 40 ГБ, и обычная видеокарта на 24 ГБ её просто не вмещает. Поэтому вырос новый класс — мини-ПК с большой унифицированной памятью: AMD Ryzen AI Max+ 395 даёт до 128 ГБ, делимых между CPU и графикой, и запускает модели до ~70B там, где дискретный GPU пасует. Скорость генерации ниже, чем у HBM-ускорителя, зато модель целиком помещается в память по цене настольного компьютера.

Самая доступная точка входа в локальный ИИ — одноплатные компьютеры (SBC): платы размером с ладонь за $49–400. Правило простое: сколько гигабайт памяти у платы — настолько крупную модель она держит, а мощность NPU (в TOPS) задаёт скорость генерации. Плата с NPU 6 TOPS и 8–16 ГБ (NanoPi R76S на RK3576, Raspberry Pi 5) тянет малые LLM 1–7B в квантовании и компьютерное зрение; 32 ГБ на Rockchip RK3588 (Radxa Rock 5B+, Orange Pi 5 Plus, Khadas) поднимают потолок до ~14B. Для тех, кто хочет открытую архитектуру без лицензий x86/Arm, есть платы на RISC-V (Milk-V, Sipeed). Итог — приватный офлайн-ассистент или edge-узел за цену роутера, без облака и абонентской платы.

Когда одноплатника мало, следующий уровень edge — модули с зрелым стеком и большей мощностью: NVIDIA Jetson Orin Nano Super даёт 67 TOPS, 8 ГБ и полный CUDA/TensorRT за $249; Huawei Atlas на ускорителях Ascend закрывают видеоаналитику и инференс средних моделей в контуре импортозамещения (прямой ввоз из КНР). А если нужна именно большая модель локально, но без сервера — выбирают память: мини-ПК AMD Ryzen AI Max+ 395 (128 ГБ унифицированной) или Orange Pi AI Studio Pro на Ascend (до 192 ГБ) держат то, что не влезает в видеокарту, при настольном форм-факторе.

Когда локальной модели мало и нужно обучение или тяжёлый инференс, следующий шаг — ИИ-станция на 2–4 профессиональных GPU (RTX PRO 6000, L40S) или настольный суперкомпьютер NVIDIA DGX Spark/Station на Grace Blackwell с большой унифицированной памятью и стеком CUDA. Это по-прежнему «настольный» класс — ставится в офис или лабораторию без инфраструктуры ЦОД, но уже позволяет обучать и дообучать модели, а не только запускать готовые.

Выбор сводится к трём вопросам: какого размера модель нужно держать локально (отсюда объём памяти), нужна ли приватность или достаточно облака, и хватит ли инференса или потребуется обучение. Мы подбираем конфигурацию под эти ответы и показываем канал поставки — китайские edge-платформы прямым ввозом из КНР, западные мини-ПК и станции по параллельному импорту. Если локальная работа разовая или пиковая, честно сравниваем с арендой GPU-мощностей в РФ, а не склоняем к покупке.