Своя LLM на предприятии — без выхода данных наружу
Когда данные нельзя отдавать в чужое облако, модель размещают в собственной инфраструктуре. На странице собраны сведения о моделях, памяти, количестве карт и сравнении с арендой. Это справочный материал для самостоятельной оценки, а не услуга проектирования или внедрения. Закрытый контур — четвёртый и самый дорогой вариант исполнения: если режим данных его не требует, разумно сравнить его с другими способами запуска.
Закрытый ИИ-контур — языковая модель с открытыми весами на оборудовании предприятия: данные не покидают периметр, работа не зависит от внешнего сервиса. На странице собраны справочные сведения о памяти, GPU, масштабе и правовых ограничениях. ЗероКвант не проектирует и не внедряет контуры, не подбирает оборудование или исполнителей. Сценарий аренды приведён в разделе аренды GPU, нормы — в правовом навигаторе.
Когда публичного ИИ-сервиса недостаточно
Причина почти всегда одна из четырёх — и это вопрос допустимости, а не удобства. Если ни одна не про вас, честнее начать с аренды GPU: дешевле и быстрее.
Персональные данные
Обработка ПДн на своих мощностях снимает вопрос трансграничной передачи и упрощает разговор с проверяющим: данные физически не покидают ваш контур.
Коммерческая тайна и NDA
Договоры, исходный код, конструкторская документация, переписка с клиентами. Условия NDA часто прямо запрещают передачу третьим лицам — а публичный ИИ-сервис это именно третье лицо.
Отраслевые и внутренние требования
Банки, медицина, промышленность: внутренние политики часто закрывают внешние сервисы раньше закона. А в госсекторе с 1 марта 2026 года это уже прямая норма — требования ФСТЭК запрещают передавать разработчику модели сведения ограниченного доступа.
Автономность и предсказуемость
Контур работает без интернета и не зависит от того, поднимет ли зарубежный поставщик цены, сменит ли лицензию или отключит доступ. Модель у вас — значит, она у вас.
Из чего состоит контур
Шесть слоёв. Пропущенный слой обычно и становится тем местом, где проект встаёт после закупки железа.
Какая LLM и на каких условиях
Открытые веса с лицензией, допускающей коммерческое использование в закрытом контуре, — это первый вопрос, а не последний. Размер модели определяет всё железо ниже.
GPU, память, узел
Карты подбираются под размер модели, длину контекста и число одновременных пользователей. Избыточная память — деньги на полке, недостаточная — модель просто не запустится.
Инференс-сервер и оркестрация
Слой, который превращает веса в сервис: пакетная обработка запросов, работа с контекстом, очереди, отказоустойчивость. От него зависит, сколько людей обслужит одна карта.
Корпоративная база знаний и RAG
Модель без ваших данных отвечает как публичная. Поиск по документам, векторная база и конвейер обновления — то, ради чего контур обычно и строится.
Сеть, доступ, журналирование
Контур без выхода наружу, разграничение прав, журнал обращений к модели. Это же и есть предмет проверки, когда придёт служба безопасности или аудит.
Питание, охлаждение, обновление
GPU-узел греется и потребляет заметно больше обычного сервера. Мощность ввода, охлаждение и порядок обновления моделей считаются заранее, а не после монтажа.
Три типовых масштаба
Объёмы памяти в таблице посчитаны тем же калькулятором, что стоит на /tools/podbor-gpu, — из размера модели, разрядности, длины контекста и числа одновременных запросов. Это ориентир под конфигурацию, а не замена расчёту под вашу задачу.
Рабочая группа
Отдел или проектная команда: помощник по внутренним документам, черновики, поиск по базе знаний.
- Модель
- 8 млрд параметров, INT8 / FP8
- Контекст
- 8 192 токенов
- Одновременных запросов
- 4
- Нужно видеопамяти
- ≈ 12 ГБ
- из них веса модели
- 8 ГБ
- Масштаб
- Достаточно одной карты — например, 1× NVIDIA A16
Одна рабочая станция или сервер в существующей серверной. Отдельная стойка не нужна.
Отдел или филиал
Десятки пользователей, поиск по корпоративному архиву (RAG), разбор обращений, помощь разработчикам.
- Модель
- 32 млрд параметров, INT8 / FP8
- Контекст
- 16 384 токенов
- Одновременных запросов
- 8
- Нужно видеопамяти
- ≈ 63,8 ГБ
- из них веса модели
- 32 ГБ
- Масштаб
- Достаточно одной карты — например, 1× Huawei Ascend 910C
Один GPU-сервер в стойке. Обычно вписывается в имеющееся охлаждение и питание.
Предприятие
Модель уровня публичных сервисов на своих данных: длинные документы, много одновременных пользователей, дообучение под отрасль.
- Модель
- 70 млрд параметров, FP16
- Контекст
- 32 768 токенов
- Одновременных запросов
- 16
- Нужно видеопамяти
- ≈ 337 ГБ
- из них веса модели
- 140 ГБ
- Масштаб
- Один узел (сервер) на 2× GPU — например, 2× NVIDIA B200
Выделенный узел или несколько; здесь уже считается питание и охлаждение стойки.
Карта в строке «масштаб» — самая экономная из тех, что закрывают объём наименьшим числом штук; это не единственный вариант и не рекомендация к покупке. Подбор идёт по объёму памяти и не учитывает программный стек, а он в закрытом контуре решает не меньше: под ускорители Huawei и AMD инференс-сервер другой, чем под NVIDIA, и переносимость готовых решений там ниже. Это отдельный вопрос проекта, который следует проверить до закупки. Данные для самостоятельного сравнения по наличию и бюджету собраны в каталоге ускорителей, цены аренды тех же карт — в разделе аренды.
Свой контур или аренда GPU
Это два разных вопроса: один про деньги, другой про допустимость. На портале опубликованы справочные данные и калькуляторы для самостоятельного сравнения.
- Нагрузка непостоянная: пики, эксперименты, разовое дообучение.
- Нужно проверить гипотезу быстро и без капитальных затрат.
- Данные допускают обработку у стороннего провайдера в РФ.
- Нет своей серверной, питания и людей, кто будет это обслуживать.
- Данные нельзя выпускать за периметр ни при каких условиях.
- Загрузка постоянная — тогда своё железо со временем окупается.
- Нужна работа без интернета и независимость от внешнего поставщика.
- Требования безопасности или отраслевые правила прямо запрещают внешние сервисы.
Как обычно строится проект
Задача и класс данных
Сначала определяют, что должна делать модель, кто ею пользуется, какие данные она увидит и какие ограничения на них лежат. Части задач достаточно арендованной GPU в РФ.
Оценка ресурсов
Требуемая память зависит от модели, контекста и нагрузки. Справочные калькуляторы помогают оценить порядок величин; совместимость и статус ввоза проверяются отдельно.
Профильные исполнители
Поставка оборудования, монтаж, инженерия модели и защита информации требуют разных компетенций. Их состав и ответственность определяет заказчик проекта самостоятельно.
Проектирование и внедрение
Проектную спецификацию, монтаж, пусконаладку и гарантии обеспечивает выбранный заказчиком исполнитель. ЗероКвант в этих работах не участвует.
Кто что делает
Для каждой части проекта нужна отдельная компетенция. Заказчик самостоятельно выбирает исполнителей и закрепляет их ответственность в договорах.
- ЗероКвант. Публикует справочные данные и материалы. Не проектирует контур, не подбирает оборудование или исполнителей и не ведёт проект.
- Поставщик. Поставляет оборудование. Договор, оплата и гарантия — напрямую между вами и им.
- Монтажник. Выполняет монтаж и пусконаладку и отвечает за них по договору с вами.
- Инженер по моделям. Разворачивает модель, настраивает инференс-сервер и поиск по вашим документам.
- Лицензиат ФСТЭК и ФСБ. Проводит аттестацию, когда задача касается защиты гостайны; необходимость таких работ определяет заказчик с профильным специалистом.