LLM VRAM hesaplayıcı
Model parametre sayısını, nicemleme (quantization) seviyesini ve bağlam uzunluğunu seçin; gereken yaklaşık VRAM'i ve uygun ekran kartlarını görün.
Sık sorulan sorular
Bu hesap ne kadar doğru?
Hesap, model ağırlıkları + bağlam (KV önbellek) + çalışma payı için yaklaşık bir tahmindir. Gerçek değer model mimarisine (ör. GQA kullanımı), çalıştırma yazılımına ve ayarlara göre %10-30 farklı olabilir.
Model VRAM'e sığmazsa ne olur?
llama.cpp gibi araçlar modelin bir kısmını sistem belleğine taşıyabilir; model çalışır ancak hız ciddi şekilde düşer. Daha düşük nicemleme veya daha küçük model seçmek genellikle daha iyi sonuç verir.