Büyük dil modellerini (LLM) ve yapay zeka iş yüklerini kendi veri merkezinizde çalıştırmak için GPU sunucuyu doğru boyutlandırıyor, kuruyor ve işletiyoruz.
LLM inference, RAG uygulamaları, fine-tuning ve görüntü işleme gibi yapay zeka iş yükleri için GPU sunucu seçimi, tedariki, kurulumu ve işletimi. Model boyutundan başlayıp VRAM, sunucu mimarisi, ağ, güç-soğutma ve yazılım katmanına kadar her şeyi tek planda ele alıyoruz.
Genel yapay zeka servislerine gönderilen her istem (prompt) ve belge kurum dışına çıkar. Müşteri verisi, sözleşme, kaynak kod veya ticari sır içeren iş yüklerinde bu, KVKK ve gizlilik açısından kabul edilemeyebilir. Kendi GPU sunucunuzda çalışan bir LLM ile veri kurum içinde kalır.
Karşılığında donanım yatırımı ve işletim sorumluluğu sizdedir. Kullanım dönemselse veya henüz pilot aşamasındaysanız GPU Cloud ile başlamak daha mantıklı olabilir.
LLM sunucusu boyutlandırmanın ilk adımı modelin GPU belleğine (VRAM) sığmasıdır. Model ağırlıkları için kaba hesap: parametre sayısı × parametre başına bayt. FP16/BF16'da 2 bayt, 8-bit kuantizasyonda 1 bayt, 4-bit'te yaklaşık 0,5 bayt.
| Model boyutu | FP16 / BF16 | 8-bit | 4-bit |
|---|---|---|---|
| 7–8B | ~16 GB | ~8 GB | ~4–5 GB |
| 13–14B | ~28 GB | ~14 GB | ~7–8 GB |
| 32–34B | ~64–68 GB | ~32–34 GB | ~16–18 GB |
| 70B | ~140 GB | ~70 GB | ~35–40 GB |
Tablo yalnızca model ağırlıklarını gösterir. Eşzamanlı kullanıcı sayısı ve bağlam uzunluğu arttıkça KV önbelleği için ek bellek gerekir; pratikte en az %20–30 pay bırakılır. Örneğin 70B bir model FP16'da tek 80 GB GPU'ya sığmaz, birden fazla GPU'ya bölünür.
Doğru GPU, model boyutuna, eşzamanlı kullanıcı sayısına ve inference mı eğitim mi yapılacağına göre seçilir. Yaygın NVIDIA veri merkezi GPU'ları:
Güncel bulunabilirlik, teslim süresi ve fiyat hızla değiştiği için GPU modeli teklif aşamasında birlikte netleştirilir.
Verisini dışarıya göndermeden LLM kullanmak isteyen kurumlar, belge ve bilgi tabanı üzerinde kurum içi asistan (RAG) kuracak ekipler, kendi modelini eğitmek veya ince ayar yapmak isteyen AR-GE birimleri ve görüntü işleme projeleri yürüten üretim ve güvenlik şirketleri için uygundur.
Hipotetik bir hukuk bürosu, sözleşme arşivinde arama ve özetleme için LLM kullanmak istiyor ancak belgelerin dışarı çıkmaması gerekiyor. 4-bit kuantize edilmiş 70B bir model, iki adet 48 GB GPU'lu sunucuda vLLM ile çalıştırılıyor; belgeler RAG ile kullanıcı yetkisine göre aranıyor.
Model boyutu, eşzamanlı kullanıcı sayısı ve iş yükü tipine bağlıdır. Küçük ve orta modellerde L4 veya L40S, büyük modellerde ve yüksek verimde H100 veya H200, yeni nesil ve en büyük iş yüklerinde Blackwell platformları değerlendirilir.
Yalnızca ağırlıklar için FP16'da yaklaşık 140 GB, 8-bit'te 70 GB, 4-bit'te 35–40 GB gerekir. Buna eşzamanlı kullanıcı ve bağlam uzunluğuna göre KV önbelleği eklenir; bu yüzden en az %20–30 pay bırakılır.
Kullanım sürekli ve yüksekse ve verinin kurum içinde kalması gerekiyorsa kendi sunucunuz uzun vadede daha ekonomik olabilir. Pilot, dönemsel eğitim veya belirsiz talep için GPU Cloud yatırım yapmadan başlamayı sağlar.
Veri kurum altyapısında kaldığı için yurt dışı aktarım ve üçüncü taraf işleme riskini azaltır. Yine de erişim yetkisi, kayıt, saklama ve silme politikaları KVKK teknik tedbirleriyle birlikte tasarlanmalıdır.
Llama, Qwen, Mistral, Gemma gibi açık ağırlıklı model aileleri yaygın kullanılır. Her modelin lisans koşulları farklıdır; ticari kullanım ve kullanıcı sayısı sınırları kurulumdan önce kontrol edilmelidir.
Kurum belgelerine dayalı soru-cevap için çoğu zaman RAG yeterlidir ve belgeler güncellendikçe yeniden eğitim gerektirmez. Fine-tuning ise modelin üslubunu, formatını veya belirli bir görevdeki davranışını değiştirmek için kullanılır.
GPU sayısına ve modeline göre değişir; 8 GPU'lu yüksek performanslı bir sunucu 10 kW civarında güç çekebilir. Kurulumdan önce kabin güç kapasitesi, soğutma ve UPS planı yapılmalıdır.
