Ekran kartı sözlüğü
Quantization nedir?
Diğer adları: Nicemleme
Tanım
Quantization, yapay zekâ modellerinin ağırlıklarının daha düşük bit hassasiyetine (örneğin 16-bit'ten 4-bit'e) indirilmesidir. Model boyutunu ve gereken VRAM'i büyük ölçüde azaltır; 4-bit bir 8 milyar parametreli model yaklaşık 5-6 GB VRAM ile çalışabilir.