Где запускать ИИ
Главная/Запуск ИИ/Задачи/Поиск и ответы по внутренним документам
ЗАДАЧА / ЗНАНИЯ И ДОКУМЕНТЫ

Поиск и ответы по внутренним документам

Сотрудник спрашивает обычными словами — «что у нас по гарантии на партию 2024 года» — и получает ответ со ссылкой на конкретный документ. Внутри это RAG: документы превращаются в векторы, поиск находит нужные куски, модель отвечает по ним.

языковая модель персональные данные и коммерческая тайна
Коротко

Что получаете: Ответ за секунды вместо получаса поисков по папкам, и всегда со ссылкой на первоисточник. Что нужно: модель уровня Qwen3-32B при контексте 16 384 токенов и 8 одновременных запросах — это 73,7 ГБ памяти, то есть 1× NVIDIA H100. Модель увидит и персональные данные, и коммерческую тайну. Это тот случай, когда закрытый контур обсуждают первым, а не последним. Проверить сценарий до закупки дешевле на арендованной карте.

РАЗБОР ЭТОЙ ЗАДАЧИ
Где её запускать и сколько это стоит
Три варианта исполнения рядом — API, аренда карты, свой сервер — с наблюдаемыми ценами и датами. Аренда карты сравнивается с API на 656 млн—3,1 млрд токенов в месяц.
Открыть разбор →

Что нужно, чтобы это заработало

  • Модель эмбеддингов для поиска — без неё RAG не существует
  • Векторная база и конвейер обновления документов
  • Разграничение прав на уровне документа: модель должна отвечать только по тому, что сотруднику и так доступно

Это не список покупок, а список решений. Дешевле всего они принимаются до закупки железа: конфигурация зависит от них сильнее, чем от выбора вендора карты.

Сколько железа

Посчитано по характеристикам модели Qwen3-32B под типовую нагрузку этой задачи. Меняются контекст и число одновременных запросов — меняется и требование к железу, поэтому оба числа названы явно.

МодельQwen3-32B
Размер32,8 млрд
Контекст16 384 токенов
Одновременных запросов8
Веса32,8 ГБ
Память под контекст34,4 ГБ
Всего памяти73,7 ГБ
Карты1× NVIDIA H100

Доступ к весам модели: веса скачиваются свободно. Подбор карт — оценка сверху по памяти из нашего справочника ускорителей; скорость ответа, питание и охлаждение считаются отдельно, а программный стек под Ascend и AMD отличается от NVIDIA.

Модели этого класса в нашем каталоге

BGE-M3 Поиск по корпоративной базе знаний начинается не с языковой модели, а с модели эмбеддингов. Без неё RAG-контур не строится, а в каталогах о ней обычно забывают. multilingual-e5-large Вторая рабочая модель эмбеддингов с поддержкой русского. Нужна для сравнения: выбор одной без альтернативы — не выбор.

Данные и правовой режим

Что увидит модель: Внутренние регламенты, договоры, переписка, техдокументация.

Модель увидит и персональные данные, и коммерческую тайну. Это тот случай, когда закрытый контур обсуждают первым, а не последним.

Это информирование, а не юридическая консультация: решение о допустимости конкретного сценария принимает ваш юрист. Разбор лицензий самих моделей — на отдельной странице, устройство закрытого контура целиком — здесь.

Кого звать в проект

Инженер по языковым моделям с опытом RAG и разграничения доступа.

Мы называем профиль компетенции, а не список подрядчиков: под эту задачу нужен специалист именно этого профиля, и подбираем мы его под вашу задачу, а не по удобству. Разбор задачи, расчёт конфигурации и сборка команды — наша часть работы; сами работы выполняет и гарантирует тот, кто их делает, по договору с вами.

Рядом в семействе «знания и документы»

Разбор входящих документов Счета, накладные, договоры — в поля учётной системы Протоколы совещаний и поручения Запись встречи — в протокол, решения и задачи

Сколько памяти нужно модели под эту задачу

Расчёт под ваш контекст и число одновременных запросов: сколько видеопамяти займут веса и кэш и на скольких картах это поместится.

Контекст и batch учитываются в KV-кэше для инференса; кэш считается для архитектуры GQA — так устроены все актуальные открытые модели. Оценка ориентировочная (rule-of-thumb), не профилировщик.

Требуемая VRAM ≈ 169 ГБ
Память под веса140 ГБ
KV-кэш (инференс)1,3 ГБ
Достаточно одной карты
Сколько карт нужно
NVIDIA H100 80 ГБ 3×
NVIDIA H200 141 ГБ 2×
NVIDIA B200 192 ГБ 1×
NVIDIA B300 288 ГБ 1×
NVIDIA A100 80 ГБ 3×
NVIDIA L40S 48 ГБ 4×
RTX PRO 6000 96 ГБ 2×
RTX 6000 Ada 48 ГБ 4×
AMD Instinct MI300X 192 ГБ 1×
Huawei Ascend 910C 64 ГБ 3×
NVIDIA A16 16 ГБ 11×
NVIDIA L4 24 ГБ 8×
NVIDIA RTX 5090 32 ГБ 6×
NVIDIA RTX 4090 24 ГБ 8×
NVIDIA RTX 3090 24 ГБ 8×
NVIDIA RTX A4000 16 ГБ 11×
Где арендовать под этот объём

Эти карты в каталоге ускорителей →

Инференс: веса ×1,2 (overhead рантайма) + оценка KV-кэша по контексту и батчу. Архитектура модели здесь неизвестна — вы задаёте только размер, — поэтому она угадывается по числу параметров и предполагается GQA: так устроены Llama 3, Qwen 2.5, Mistral и другие актуальные открытые модели. Сверка по 11 моделям нашего каталога 26.08.2026: у моделей на полном внимании MHA кэш выходит примерно в 10 раз больше оценки, у DeepSeek-V3 со сжатым вниманием MLA — в 21 раз меньше. Если модель известна, точное число есть на её странице в каталоге.

Что дальше
Важно. Расчёт ориентировочный (rule-of-thumb) и не является офертой. Реальная потребность в VRAM зависит от архитектуры модели, движка инференса, длины контекста, метода дообучения (полное / LoRA / QLoRA) и параллелизма. Данные карт (память, TDP) — ориентир, требуют выверки по datasheet. Точный подбор под вашу модель эксперт подтверждает по запросу.
ЗАЯВКА

Разобрать задачу «поиск и ответы по внутренним документам»

Опишите, как это устроено у вас: объём, число пользователей и какие данные увидит модель. Посчитаем конфигурацию, сравним со сценарием аренды и скажем, какой специалист нужен в проект.

TELEGRAM@zeroexportBot
Следующий шаг
Как выбрать способ запускаГде считает модель и что разрешено с данными — две оси выбора.Разборы: где и почёмГотовые расчёты под типовые сценарии запуска.Открытые модели (LLM)Что можно поставить у себя и сколько памяти это требует.