Мы подбираем, развёртываем и сопровождаем GPU-серверы, чтобы вы могли запускать большие языковые модели (LLM) и AI-нагрузки в собственном ЦОД.
Подбор, поставка, развёртывание и сопровождение GPU-серверов для AI-нагрузок: инференс LLM, RAG-приложения, дообучение и компьютерное зрение. Начинаем с размера модели и охватываем VRAM, архитектуру сервера, сеть, питание, охлаждение и программный слой в одном плане.
Каждый запрос и документ, отправленный в публичный AI-сервис, покидает организацию. Для нагрузок с данными клиентов, договорами, исходным кодом или коммерческой тайной это может быть неприемлемо. С LLM на собственном GPU-сервере данные остаются внутри.
Взамен инвестиции в оборудование и эксплуатация ложатся на вас. Если нагрузка периодическая или проект на стадии пилота, разумнее начать с GPU Cloud.
Первый шаг в подборе LLM-сервера — модель должна поместиться в память GPU (VRAM). Грубая оценка для весов: число параметров × байт на параметр. 2 байта в FP16/BF16, 1 байт при 8-битной квантизации, около 0,5 байта при 4-битной.
| Размер модели | FP16 / BF16 | 8-bit | 4-bit |
|---|---|---|---|
| 7–8B | ~16 GB | ~8 GB | ~4–5 GB |
| 13–14B | ~28 GB | ~14 GB | ~7–8 GB |
| 32–34B | ~64–68 GB | ~32–34 GB | ~16–18 GB |
| 70B | ~140 GB | ~70 GB | ~35–40 GB |
Таблица учитывает только веса модели. Больше одновременных пользователей и длиннее контекст — больше памяти под KV-кэш; на практике оставляют запас не менее 20–30%. Например, модель 70B в FP16 не помещается в один GPU на 80 ГБ и распределяется на несколько GPU.
Подходящий GPU зависит от размера модели, числа одновременных пользователей и того, нужен инференс или обучение. Распространённые GPU NVIDIA для ЦОД:
Доступность, сроки поставки и цены быстро меняются, поэтому модель GPU окончательно выбирается вместе на этапе предложения.
Организациям, которые хотят использовать LLM без передачи данных наружу; командам, создающим внутреннего ассистента (RAG) по документам и базам знаний; R&D-подразделениям, обучающим или дообучающим свои модели; производственным и охранным компаниям с проектами компьютерного зрения.
Гипотетическая юридическая фирма хочет искать и резюмировать архив договоров с помощью LLM, но документы не должны покидать компанию. Квантизованная до 4 бит модель 70B работает на vLLM на сервере с двумя GPU по 48 ГБ; документы находятся через RAG с учётом прав пользователя.
Зависит от размера модели, числа одновременных пользователей и типа нагрузки. L4 или L40S для малых и средних моделей, H100 или H200 для больших моделей и высокой производительности, платформы Blackwell для нагрузок нового поколения и самых крупных моделей.
Только для весов — около 140 ГБ в FP16, 70 ГБ в 8-bit и 35–40 ГБ в 4-bit. Сверху добавляется KV-кэш для одновременных пользователей и длины контекста, поэтому оставляют запас не менее 20–30%.
При постоянной высокой загрузке и требовании хранить данные внутри собственный сервер в долгосрочной перспективе может быть выгоднее. Для пилотов, периодического обучения или неопределённого спроса GPU Cloud позволяет начать без инвестиций.
Данные остаются в вашей инфраструктуре, что снижает риски трансграничной передачи и обработки третьими лицами. Права доступа, журналирование, хранение и удаление всё равно нужно проектировать вместе с техническими мерами защиты.
Широко применяются семейства с открытыми весами: Llama, Qwen, Mistral, Gemma. Условия лицензий различаются; коммерческое использование и ограничения по числу пользователей проверяются до развёртывания.
Для ответов по документам компании обычно достаточно RAG, и при обновлении документов переобучение не требуется. Дообучение применяется, чтобы изменить стиль, формат или поведение модели в конкретной задаче.
Зависит от числа и модели GPU; высокопроизводительный сервер с 8 GPU может потреблять около 10 кВт. Мощность стойки, охлаждение и ИБП планируются до развёртывания.
