Donanım yatırımı yapmadan GPU kapasitesine erişin; LLM inference, fine-tuning ve model eğitimi için kaynağı ihtiyaca göre büyütün veya küçültün.
Yapay zeka projeleriniz için ihtiyaç duyduğunuz GPU kapasitesini bulut modeliyle sağlıyoruz: GPU'lu sanal sunucular veya size ayrılmış GPU sunucular, depolama, ağ ve erişim yapılandırmasıyla birlikte. GPU modeli, kapasite, veri konumu ve faturalama modeli teklif aşamasında ihtiyacınıza göre netleştirilir.
İki model de aynı GPU'ları kullanır; fark yatırımın, işletimin ve esnekliğin kimde olduğundadır.
| Kriter | GPU Cloud | Kendi GPU sunucunuz |
|---|---|---|
| Başlangıç yatırımı | Yok, kullanım kadar ödeme | Donanım satın alımı |
| Başlangıç süresi | Kapasite uygunsa kısa sürede | Tedarik ve kurulum süresi |
| Ölçekleme | İhtiyaca göre artırılıp azaltılır | Yeni donanım alımı gerekir |
| Uzun vadeli maliyet | Dönemsel kullanımda avantajlı | Sürekli yüksek kullanımda avantajlı |
| Veri konumu | Teklif aşamasında netleştirilir | Tamamen kurum içinde |
| İşletim | Altyapı sağlayıcıda | Sizin ekibinizde |
Pratik kural: GPU'lar günün büyük bölümünde ve uzun süre dolu çalışacaksa kendi sunucunuz, kullanım dönemsel veya henüz belirsizse GPU Cloud daha ekonomik olur. Detaylı karşılaştırma için GPU ve LLM sunucu sayfamıza bakabilirsiniz.
Kaynak seçimi modelin belleğe sığmasıyla başlar. Model ağırlıkları için kaba hesap: parametre sayısı × parametre başına bayt (FP16'da 2, 8-bit'te 1, 4-bit'te yaklaşık 0,5). Örneğin 7–8B bir model FP16'da yaklaşık 16 GB, 70B bir model ise yaklaşık 140 GB VRAM ister; buna KV önbelleği için pay eklenir.
Yapay zeka projesine donanım yatırımı yapmadan başlamak isteyen kurumlar, dönemsel olarak yoğun GPU ihtiyacı olan AR-GE ekipleri, kendi GPU sunucusunu almadan önce boyutlandırmayı test etmek isteyenler ve yazılım şirketleri için uygundur.
Hipotetik bir e-ticaret şirketi, ürün açıklamalarını otomatik üreten bir LLM'i denemek istiyor. İki hafta boyunca GPU Cloud üzerinde farklı model boyutları test ediliyor; 8-bit kuantize edilmiş orta boy bir modelin yeterli olduğu görülünce sürekli kullanım için uygun kapasite belirleniyor.
GPU Cloud, yapay zeka ve yüksek performanslı hesaplama iş yükleri için GPU'lu sunucu kapasitesinin satın almak yerine hizmet olarak kullanılmasıdır. Donanım, enerji ve altyapı işletimi sağlayıcı tarafında kalır.
GPU modeli ve kapasite, iş yükünüze ve güncel bulunabilirliğe göre teklif aşamasında belirlenir. İnference için L4 ve L40S sınıfı, büyük modeller ve eğitim için H100 ve üstü sınıf GPU'lar değerlendirilir.
Faturalama modeli kullanım süresine ve kaynağın paylaşımlı veya ayrılmış olmasına göre teklif aşamasında belirlenir. Dönemsel işler ile sürekli kapasite ihtiyacı farklı modellerle fiyatlanır.
Veri konumu, alt işleyenler ve aktarım koşulları sözleşme öncesinde yazılı olarak netleştirilir. Kişisel veri içeren iş yüklerinde KVKK gereklilikleri bu aşamada birlikte değerlendirilir.
Evet. Ortam container tabanlı kurulduğu için kendi modelinizi, açık ağırlıklı modelleri ve kendi uygulama kodunuzu çalıştırabilirsiniz.
Evet. Container tabanlı yapı ve standart inference motorları sayesinde iş yükü kendi GPU sunucunuza taşınabilir; GPU Cloud'da ölçülen kullanım verisi sunucu boyutlandırmasında kullanılır.
