Получите доступ к GPU без покупки оборудования; увеличивайте или уменьшайте ресурсы для инференса LLM, дообучения и обучения моделей по мере необходимости.
Мы предоставляем GPU-мощности для ваших AI-проектов в облачной модели: виртуальные серверы с GPU или выделенные GPU-серверы вместе с хранилищем, сетью и настройкой доступа. Модель GPU, объём, размещение данных и модель оплаты определяются на этапе предложения.
Обе модели используют одни и те же GPU; разница в том, на ком инвестиции, эксплуатация и гибкость.
| Критерий | GPU Cloud | Собственный GPU-сервер |
|---|---|---|
| Начальные инвестиции | Нет, оплата по использованию | Покупка оборудования |
| Время запуска | Короткое при наличии мощностей | Сроки поставки и развёртывания |
| Масштабирование | Увеличение и уменьшение по потребности | Нужна покупка оборудования |
| Долгосрочная стоимость | Выгоднее при периодической нагрузке | Выгоднее при постоянной высокой загрузке |
| Размещение данных | Определяется на этапе предложения | Полностью внутри компании |
| Эксплуатация | На стороне провайдера | Ваша команда |
Практическое правило: если GPU будут загружены большую часть дня в течение долгого времени, обычно выгоднее свой сервер; если нагрузка периодическая или пока неясна — GPU Cloud. Подробное сравнение — на странице GPU- и LLM-серверов.
Выбор начинается с того, чтобы модель поместилась в память. Грубая оценка весов: число параметров × байт на параметр (2 в FP16, 1 в 8-bit, около 0,5 в 4-bit). Модели 7–8B нужно около 16 ГБ VRAM в FP16, модели 70B — около 140 ГБ; плюс запас под KV-кэш.
Организациям, которые хотят начать AI-проект без инвестиций в оборудование; R&D-командам с периодической высокой потребностью в GPU; тем, кто хочет проверить расчёт перед покупкой своего GPU-сервера; компаниям-разработчикам ПО.
Гипотетическая e-commerce компания хочет попробовать LLM для автоматического написания описаний товаров. В течение двух недель на GPU Cloud тестируются модели разного размера; когда квантизованная до 8 бит модель среднего размера оказывается достаточной, определяется подходящая мощность для постоянной работы.
GPU Cloud — использование мощностей серверов с GPU для AI и высокопроизводительных вычислений как услуги вместо покупки. Оборудование, электропитание и эксплуатация инфраструктуры остаются на стороне провайдера.
Модель GPU и объём определяются на этапе предложения с учётом вашей нагрузки и текущей доступности. Для инференса рассматриваются GPU класса L4 и L40S, для больших моделей и обучения — класса H100 и выше.
Модель оплаты определяется на этапе предложения в зависимости от длительности использования и того, общие ресурсы или выделенные. Периодические задачи и постоянные мощности тарифицируются по-разному.
Размещение данных, субобработчики и условия передачи письменно согласуются до подписания договора. Для нагрузок с персональными данными требования соответствия оцениваются на этом этапе.
Да. Среда построена на контейнерах, поэтому можно запускать собственные модели, модели с открытыми весами и свой код приложений.
Да. Благодаря контейнерам и стандартным движкам инференса нагрузку можно перенести на собственный GPU-сервер; данные об использовании в GPU Cloud помогают рассчитать этот сервер.
