Yapay Zekâ İçin Ekran Kartı: Yerel LLM ve Görüntü Üretimi Rehberi
Yerel dil modelleri (LLM), Stable Diffusion ve diğer yapay zekâ uygulamaları için hangi ekran kartı alınmalı? VRAM, CUDA, ROCm ve nicemleme hakkında bilmeniz gerekenler.
Yerel yapay zekâ için en önemli özellik VRAM'dir; model belleğe sığmazsa ya çalışmaz ya da çok yavaşlar. 4-bit nicemlemeyle 8 GB yaklaşık 7-8 milyar, 16 GB yaklaşık 20 milyar, 24 GB yaklaşık 32 milyar parametreli modelleri çalıştırır. NVIDIA kartlar CUDA sayesinde en geniş yazılım desteğine sahiptir; AMD ve Intel kartlar da llama.cpp gibi araçlarla giderek daha iyi destekleniyor.
Yapay zekâ modellerini buluta bağlı kalmadan kendi bilgisayarınızda çalıştırmak; gizlilik, maliyet ve özelleştirme açısından giderek daha cazip hâle geliyor. Ancak yapay zekâ iş yükleri oyunlardan farklı önceliklere sahiptir ve ekran kartı seçimi buna göre yapılmalıdır.
Yapay zekâda en önemli özellik: VRAM
Bir dil modelinin çalışabilmesi için ağırlıklarının (parametrelerinin) ve bağlam verilerinin (KV önbellek) belleğe sığması gerekir. Model VRAM'e sığmazsa:
- Bazı araçlar modeli hiç yüklemez.
- llama.cpp gibi araçlar katmanların bir kısmını sistem belleğine taşır; model çalışır ama hız 5-20 kat düşebilir.
Bu yüzden yapay zekâda, oyunun aksine, daha fazla VRAM'e sahip daha yavaş bir kart, daha az VRAM'e sahip daha hızlı bir karttan çoğu zaman daha kullanışlıdır.
Nicemleme (quantization) nedir?
Nicemleme, modelin ağırlıklarını 16-bit'ten 8, 5, 4 veya 3 bit'e indirerek boyutunu küçültür. 4-bit (ör. Q4_K_M) nicemleme, kalite kaybını küçük tutarken belleği yaklaşık dörtte birine indirir ve yerel kullanımda en popüler seçenektir.
Yaklaşık bellek ihtiyacı (yalnızca ağırlıklar):
| Model boyutu | FP16 | 8-bit | 4-bit |
|---|---|---|---|
| 8 milyar parametre | ~16 GB | ~8,5 GB | ~5 GB |
| 14 milyar | ~28 GB | ~15 GB | ~8,5 GB |
| 32 milyar | ~64 GB | ~34 GB | ~19-20 GB |
| 70 milyar | ~140 GB | ~74 GB | ~40-42 GB |
Bunlara bağlam uzunluğuna göre birkaç GB ek bellek eklenmelidir. Kendi hesabınız için LLM VRAM hesaplayıcıyı kullanın.
İkinci önemli özellik: bellek bant genişliği
Dil modellerinde metin üretme hızı (token/saniye) büyük ölçüde bellek bant genişliğine bağlıdır: Her yeni token için modelin ağırlıklarının büyük kısmı bellekten okunur. Bu nedenle 1.792 GB/s bant genişliğine sahip RTX 5090 veya 1.008 GB/s'lik RTX 4090 ve RTX 3090, aynı modeli 128-bit veri yollu kartlardan çok daha hızlı çalıştırır.
Görüntü üretiminde (Stable Diffusion, Flux vb.) ise ham işlem gücü ve Tensor çekirdeği performansı daha belirleyicidir.
NVIDIA, AMD ve Intel: yazılım desteği
- NVIDIA (CUDA): Yapay zekâ ekosisteminin fiilî standardı. PyTorch, Ollama, LM Studio, ComfyUI, vLLM gibi neredeyse tüm araçlar ilk önce CUDA'yı destekler. Sorunsuz bir deneyim istiyorsanız en güvenli seçenektir.
- AMD (ROCm ve Vulkan): ROCm desteği özellikle RX 7900 ve RX 9000 serisinde gelişti; llama.cpp tabanlı araçlar (Ollama, LM Studio) Vulkan veya ROCm ile iyi çalışır. Bazı araştırma kodlarında ek uğraş gerekebilir. RX 7900 XTX, 24 GB VRAM'i sayesinde fiyat/VRAM oranında öne çıkar.
- Intel (oneAPI, OpenVINO, IPEX-LLM): Arc kartlar llama.cpp (SYCL/Vulkan) ve Intel'in kendi araçlarıyla kullanılabilir. Uygun fiyata 12-16 GB VRAM sunar, ancak ekosistem daha dardır.
Bütçeye göre öneriler
| Bütçe | Öneri | Neden |
|---|---|---|
| Giriş | RTX 3060 12 GB (ikinci el), Arc B580 | 12 GB VRAM, düşük maliyet |
| Orta | RTX 5060 Ti 16 GB, RTX 4060 Ti 16 GB | 16 GB + CUDA |
| Üst-orta | RTX 5070 Ti, RX 9070 XT | 16 GB + yüksek bant genişliği |
| VRAM odaklı | RTX 3090 (ikinci el), RX 7900 XTX | 24 GB VRAM |
| En üst | RTX 5090 | 32 GB GDDR7, en yüksek bant genişliği |
Çoklu GPU ve diğer seçenekler
Birden fazla ekran kartı, dil modeli araçlarının çoğunda modeli kartlar arasında bölerek toplam VRAM'i artırabilir (ör. 2× RTX 3090 = 48 GB). Ancak güç kaynağı, anakart yuvaları ve soğutma ciddi planlama gerektirir. Oyundaki SLI/CrossFire mantığından farklı olarak burada çoklu GPU gerçekten işe yarar.
Sık Sorulan Sorular
Yerel yapay zekâ için kaç GB VRAM gerekir?
Küçük modeller (7-8 milyar parametre) için 8 GB yeterlidir. Daha yetenekli 14-20 milyar parametreli modeller için 12-16 GB, 32 milyar parametre sınıfı için 24 GB önerilir.
AMD ekran kartı yapay zekâ için uygun mu?
Evet, özellikle llama.cpp tabanlı araçlarla (Ollama, LM Studio) dil modellerini çalıştırmak için uygundur. Ancak yazılım desteği NVIDIA CUDA kadar geniş değildir; bazı araştırma projelerinde ek kurulum gerekebilir.
Oyun için iyi olan kart yapay zekâ için de iyi midir?
Her zaman değil. Oyunda işlem gücü öndeyken yapay zekâda VRAM miktarı ve bant genişliği daha belirleyicidir. Örneğin 24 GB'lık eski bir RTX 3090, bazı yapay zekâ işlerinde 12 GB'lık daha yeni bir karttan daha kullanışlı olabilir.
Bu rehberde geçen ekran kartları
GeForce RTX 5090
- VRAM
- 32 GB GDDR7
- Güç
- 575 W
- Çıkış fiyatı
- $1.999
GeForce RTX 3090
- VRAM
- 24 GB GDDR6X
- Güç
- 350 W
- Çıkış fiyatı
- $1.499
GeForce RTX 5060 Ti 16 GB
- VRAM
- 16 GB GDDR7
- Güç
- 180 W
- Çıkış fiyatı
- $429
Radeon RX 7900 XTX
- VRAM
- 24 GB GDDR6
- Güç
- 355 W
- Çıkış fiyatı
- $999
GeForce RTX 4060 Ti 16 GB
- VRAM
- 16 GB GDDR6
- Güç
- 165 W
- Çıkış fiyatı
- $499