Karar Rehberi
Yapay zekâ iş yükleri için GPU seçimi: VRAM, mimari ve gerçekçi beklentiler
Yapay zekâ modelleriyle çalışırken GPU seçimini belirleyen asıl faktör çekirdek sayısı değil, VRAM kapasitesi ve bellek bant genişliğidir.
Yapay zekâ iş yükleri için GPU seçerken en sık yapılan hata, oyun performans karşılaştırmalarında öne çıkan çekirdek sayısı veya saat hızı gibi metriklere odaklanmaktır. Model eğitimi ve çıkarım (inference) için asıl belirleyici faktör, GPU'nun VRAM kapasitesi ve bellek bant genişliğidir.
VRAM neden bu kadar kritik?
Bir modelin parametreleri, ara hesaplama sonuçları (aktivasyonlar) ve eğitim sırasında gradyanlar GPU belleğinde tutulur. Model VRAM'e sığmıyorsa eğitim/çıkarım ya hiç çalışmaz ya da bellek arasında sürekli veri taşıyarak (offloading) ciddi performans kaybına uğrar. Bu nedenle 'kaç TFLOPS' sorusundan önce 'kaç GB VRAM' sorusu sorulmalıdır.
İş yükü türüne göre kaba VRAM beklentisi
| İş yükü türü | Tipik VRAM ihtiyacı | Not |
|---|---|---|
| Küçük modellerle çıkarım (inference) | Düşük-orta | Model boyutuna ve kuantizasyona göre büyük ölçüde değişir |
| Orta ölçekli model fine-tuning | Orta-yüksek | LoRA gibi parametre-verimli yöntemler ihtiyacı azaltabilir |
| Büyük model eğitimi/tam fine-tuning | Yüksek, genellikle çoklu GPU | Genellikle tek GPU'nun kapasitesini aşar |
Tüketici mi, kurumsal/veri merkezi GPU'su mu?
Tüketici GPU'ları (oyun kartları) genellikle daha uygun maliyetlidir ama VRAM kapasitesi sınırlıdır ve resmi sürücü/garanti koşulları kurumsal sürekli çalışma senaryoları için tasarlanmamıştır. Kurumsal/veri merkezi GPU'ları daha yüksek VRAM, ECC bellek desteği ve 7/24 çalışma için sertifikalandırılmış donanım sunar, ancak maliyeti önemli ölçüde daha yüksektir.
Bulut mu, yerel donanım mı?
- Deneysel/değişken yoğunluklu iş yükleri için bulut GPU kiralama, büyük bir sermaye yatırımı yapmadan esneklik sağlar
- Sürekli, öngörülebilir yüksek kullanım varsa yerel/sahip olunan donanım, uzun vadede toplam maliyeti düşürebilir
- Veri gizliliği/uyumluluk gereksinimleri, bazı kurumları veriyi kendi altyapısında tutmaya zorlayabilir
Karar verirken sorulacak doğru sorular
- Çalıştıracağım modelin (veya model ailesinin) minimum VRAM gereksinimi resmi dokümantasyonda ne kadar belirtiliyor?
- İş yükü tek GPU'ya mı sığıyor, yoksa çoklu GPU/dağıtık eğitim mi gerekiyor?
- Kullanım sürekli mi yoksa dönemsel mi — bulut kiralama mı yoksa satın alma mı daha mantıklı?
- Güncel fiyat/performans karşılaştırması için üreticinin (NVIDIA/AMD) resmi ürün sayfası ne diyor?
Sonuç
GPU pazarı hızla değiştiği için belirli bir model önerisi çabuk güncelliğini yitirir. Sabit kalan ilke şudur: karar VRAM kapasitesinden başlamalı, iş yükünüzün gerçek bellek ihtiyacını üreticinin güncel resmi dokümantasyonundan doğrulayarak ilerlemelisiniz.
