Kuantizasyon Nedir? Model Boyutunu Küçültmenin Bedeli

Kuantizasyon nedir? Kuantizasyon (quantization, Türkçesiyle nicemleme), bir yapay zeka modelinin ağırlıklarını daha az sayıda bitle — örneğin 16-bit yerine 8-bit ya da 4-bit — temsil ederek modelin bellek boyutunu küçülten ve çıkarımı hızlandıran bir model sıkıştırma tekniğidir. Kısacası modeli aynı bırakır, ama içindeki sayıları daha ucuz saklar; karşılığında küçük bir kalite kaybı doğar.

Büyük dil modellerinin en somut sorunu boyutlarıdır: milyarlarca parametre, doğrudan çalıştırıldığında pahalı ve büyük GPU'lar ister. Kuantizasyon tam olarak bu duvarı aşmak için vardır — modeli küçük, ucuz ve erişilebilir donanımda çalıştırılabilir kılar. Bu sayede, aksi halde yalnızca büyük veri merkezlerinde çalışabilecek modeller, mütevazı bir sunucuda, hatta bir dizüstü bilgisayarda hayat bulur; işte kuantizasyonun kurumsal ve bireysel çekiciliği buradan gelir. Bu rehberde kuantizasyon nedir, neden gerekli, nasıl çalışır, INT8 ve INT4 gibi seviyeler arasındaki fark nedir, bellek tasarrufu ne kadardır, kalite kaybı nerede görülür, PTQ ile QAT arasındaki fark nedir, GPTQ/AWQ/GGUF gibi yöntemler ne işe yarar, ne zaman uygun değildir ve kuantizasyonun kalitesi nasıl ölçülür sorularını bir danışman titizliğiyle ele alıyoruz.

Tanım

Kuantizasyon (Quantization / Nicemleme)

Bir yapay zeka modelinin ağırlıklarını ve kimi zaman aktivasyonlarını daha az sayıda bitle — örneğin 16-bit yerine 8-bit (INT8) veya 4-bit (INT4) — temsil ederek modelin bellek boyutunu küçülten ve çıkarımı hızlandıran bir model sıkıştırma tekniği. Sayıları daha kaba bir ızgaraya yuvarladığı için ölçülebilir bir kalite kaybı doğurur; ancak INT8 çoğu zaman neredeyse kayıpsızdır ve INT4 küçük bir kaliteyi büyük bir bellek tasarrufu ile takas eder.

Ayrıca: Quantization, nicemleme, model kuantizasyonu, INT8/INT4 kuantizasyon, model sıkıştırma

Kuantizasyon nedir sorusunun en kısa cevabı şudur: bir modelin sayısal değerlerini daha az bitle, yani daha kaba bir çözünürlükle temsil etmek. Bir dil modeli, öğrendiği her şeyi milyarlarca sayıda (ağırlıkta) saklar. Bu sayılar normalde 16-bit veya 32-bit kayan noktalı (floating point) biçimde tutulur; her biri geniş bir aralıkta çok ince farkları ifade edebilir. Kuantizasyon, bu ince çözünürlüğü bilinçli olarak azaltır: her sayıyı 8-bit (INT8) ya da 4-bit (INT4) gibi çok daha az yer kaplayan bir tam sayı ızgarasına yuvarlar.

Bir benzetme yardımcı olur. Yüksek çözünürlüklü bir fotoğrafı düşünün: milyonlarca renk tonu içerir ve büyük bir dosyadır. Aynı fotoğrafı daha az renkle kaydederseniz dosya küçülür, ama gözle bakınca fark çoğu zaman fark edilmez; yalnızca çok dikkatli bakarsanız bazı geçişlerin kabalaştığını görürsünüz. Kuantizasyon da modele bunu yapar: sayıların "renk paletini" küçültür. Model çok daha az yer kaplar, çoğu görevde çıktı neredeyse aynıdır, ama hassas noktalarda küçük bir kalite kaybı ortaya çıkabilir.

Neden bu işe yarar? Cevap, büyük modellerin doğasında saklıdır. Bir dil modelinin milyarlarca ağırlığının çoğu, tek tek bakıldığında aşırı hassasiyete ihtiyaç duymaz; modelin davranışı, tek bir sayının son basamağına değil, milyarlarca sayının toplu örüntüsüne bağlıdır. Bu "fazlalık" (redundancy), kuantizasyonun getirdiği küçük yuvarlama hatalarını büyük ölçüde emer; işte bu yüzden bir modeli yarı hassasiyete indirmek çoğu zaman neredeyse bedava gelir. Ama bu tolerans sonsuz değildir: bit genişliğini yeterince düşürürseniz, fazlalık hatayı ememez hale gelir ve kalite düşmeye başlar. Kuantizasyon sanatı, tam olarak bu "tolerans sınırının" nerede olduğunu göreve göre bulmaktır.

Bu ayrım kritik bir noktayı netleştirir: kuantizasyon modelin mimarisini, katman sayısını veya ne öğrendiğini değiştirmez; yalnızca öğrendiklerini nasıl sakladığını değiştirir. Model hâlâ aynı modeldir, aynı bilgiyi taşır; sadece bu bilgiyi daha ucuz bir biçimde temsil eder. İşte bu yüzden kuantizasyon, bir model sıkıştırma tekniği olarak bu kadar caziptir: mimariye dokunmadan, yeniden eğitim gerektirmeden, modeli küçültür. Modellerin sayılarla nasıl çalıştığının temeli için tensör nedir ve modelin parametrelerinin ne olduğu için parametre ve hiperparametre yazıları iyi bir başlangıçtır.

Kuantizasyon nedir sorusuna verilecek en ikna edici cevap, hangi sorunu çözdüğünü göstermektir. Büyük dil modellerinin en temel kısıtı boyutlarıdır. Bir modelin kaç parametresi olduğu doğrudan ne kadar belleğe ihtiyaç duyduğunu belirler; ve bu bellek, çoğu zaman pahalı GPU belleğidir (VRAM). Model belleğe sığmazsa hiç çalışmaz; sığsa bile ne kadar büyükse o kadar yavaş ve pahalı çalışır.

Somut bir çerçeve kuralım. 16-bit (FP16) temsilde her parametre 2 bayt yer kaplar. Bu basit aritmetiğe göre 7 milyar parametreli bir model kabaca 14 GB, 13 milyar parametreli bir model ~26 GB, 70 milyar parametreli bir model ise ~140 GB ağırlık belleği ister (bu sayılar yalnızca ağırlıklar içindir; aktivasyonlar ve KV önbelleği bunun üzerine eklenir). Bu rakamlar bir benchmark değil, doğrudan "parametre sayısı × bayt" aritmetiğidir. 70 milyarlık bir model FP16'da tek bir tüketici GPU'suna sığmaz; ama kuantize edilirse durum değişir.

İşte kuantizasyonun devreye girdiği yer burasıdır. Her parametreyi 8-bit'e (1 bayt) indirdiğinizde model kabaca yarıya, 4-bit'e (0,5 bayt) indirdiğinizde yaklaşık dörtte bire iner. Böylece 70 milyarlık model INT8'de ~70 GB'a, INT4'te ~35 GB'a düşer; daha küçük ve ucuz donanıma sığar hale gelir. Bu bellek tasarrufu yalnızca "sığdırma" meselesi değildir: daha küçük model daha az bellek bant genişliği kullanır, bu da çıkarımı hızlandırır ve maliyeti düşürür. Çıkarım maliyetini düşürmenin diğer yollarını LLM çıkarım maliyeti optimizasyonu yazısında ele alıyoruz.

Kuantizasyon nedir kadar önemli bir soru da nasıl çalıştığıdır. Temel fikir, geniş bir sayı aralığını (örneğin -1 ile +1 arasındaki tüm kesirli değerleri) sonlu sayıda tam sayı basamağına eşlemektir. FP16 gibi bir biçim milyonlarca farklı değeri ifade edebilirken, INT8 yalnızca 256 farklı değer (2 üzeri 8), INT4 ise yalnızca 16 farklı değer (2 üzeri 4) tutabilir. Kuantizasyonun işi, modeldeki gerçek sayıları bu sınırlı basamaklara en az hatayla yerleştirmektir.

Bu eşleme iki küçük yardımcı parametreyle yapılır: ölçek (scale) ve sıfır noktası (zero-point). Ölçek, gerçek sayı aralığının kaç basamağa bölüneceğini belirler; sıfır noktası ise ızgaranın nereye hizalanacağını ayarlar. Bir sayıyı kuantize etmek, onu ölçeğe bölüp en yakın tam sayıya yuvarlamak; geri açmak (dequantize) ise tam sayıyı ölçekle çarpmaktır. Yuvarlamadan kaynaklanan küçük fark, "kuantizasyon hatası"dır ve kalite kaybının kaynağıdır. Amaç, bu hatayı modelin çıktısını bozmayacak kadar küçük tutmaktır.

Bu yuvarlama hatasının neden kritik olduğunu bir örnekle görelim. Diyelim ki gerçek bir ağırlık 0,732 değerinde ve kuantizasyon ızgarası bu değeri en yakın basamağa, örneğin 0,75'e yuvarladı. Tek bir ağırlıkta bu fark önemsizdir; ama bir katmanda milyonlarca ağırlık aynı anda yuvarlanır ve bu küçük hatalar birleşerek katmanın çıktısını biraz kaydırır. Model derinleştikçe, her katmanın küçük hatası bir sonrakine taşınır. İşte iyi bir kuantizasyon yöntemi, bu hataları rastgele bırakmak yerine, birbirini dengeleyecek biçimde dağıtmaya ve en kritik ağırlıklarda en aza indirmeye çalışır. Amaç, tek tek ağırlıkların değil, modelin toplam davranışının korunmasıdır.

Kritik bir ayrıntı, kuantizasyonun tek bir ölçekle değil, gruplar halinde yapılmasıdır. Tüm ağırlıklara tek bir ölçek uygulamak kabadır; çünkü bazı ağırlıklar çok büyük, bazıları çok küçüktür ve tek ölçek ikisine de kötü uyar. Bu yüzden modern yöntemler ağırlıkları küçük gruplara böler (kanal başına, blok başına) ve her gruba kendi ölçeğini verir. Ayrıca bazı "aykırı" ağırlıklar (outlier) diğerlerinden çok büyüktür; bunları özel olarak ele almak (daha yüksek hassasiyette tutmak), kaliteyi belirgin biçimde korur. İşte GPTQ, AWQ gibi yöntemleri birbirinden ayıran şey, tam olarak bu "hangi ağırlığa ne kadar hassasiyet" kararını ne kadar akıllı verdikleridir.

Kuantizasyon nedir sorusunu tam kavramak için, modellerin sayıları hangi biçimlerde tuttuğunu bilmek gerekir; çünkü kuantizasyon aslında bir sayı biçiminden diğerine geçiştir. Modeller geleneksel olarak 32-bit kayan nokta (FP32) ile eğitilirdi; her sayı 4 bayt yer kaplar ve çok geniş bir aralıkta çok ince farkları ifade eder. Ama FP32 çıkarım için savurgandır; bu yüzden pratikte 16-bit biçimlere geçilir.

16-bit dünyasında iki önemli biçim vardır: FP16 ve BF16 (bfloat16). İkisi de 2 bayt yer kaplar ama farklı bir denge kurar: FP16 daha çok kesir basamağı (hassasiyet) ayırırken, BF16 daha geniş bir üs aralığı (dinamik aralık) sağlar. BF16, çok büyük ve çok küçük sayıları temsil etmede daha dayanıklı olduğu için modern eğitim ve çıkarımda giderek standart hale gelmiştir. Bu iki biçim pratikte "referans kalite" kabul edilir; kuantizasyonun ölçüldüğü taban çizgisi genellikle buradadır.

Tam sayı kuantizasyonu (INT8, INT4) ise kayan noktadan tam sayıya geçiştir. Kayan nokta biçimleri sayıyı "üs + kesir" olarak tutarken, tam sayı biçimleri sabit bir ızgara üzerinde çalışır; işte ölçek ve sıfır noktası tam bu yüzden gereklidir — kayan nokta esnekliğini sabit ızgaraya çevirirler. Son yıllarda bir ara biçim daha öne çıktı: FP8 (8-bit kayan nokta). FP8, INT8 ile aynı bit sayısını kullanır ama kayan nokta esnekliğini koruduğu için bazı görevlerde daha az kalite kaybı verebilir; özellikle yeni nesil donanımlarda destekleniyor. Bu biçimlerin altında yatan sayısal temeller için derin öğrenme nedir ve modelin katmanlarının nasıl hesap yaptığını gösteren yapay sinir ağı nedir yazıları bağlam sağlar.

Yaygın sayı biçimleri ve pratik konumları

Biçim	Bit / bayt	Öne çıkan özelliği	Pratik rol
FP32	32-bit / 4 bayt	En yüksek hassasiyet	Klasik eğitim, çıkarımda savurgan
FP16	16-bit / 2 bayt	Yüksek hassasiyet, dar aralık	Yaygın çıkarım tabanı
BF16	16-bit / 2 bayt	Geniş dinamik aralık	Modern eğitim/çıkarım standardı
FP8	8-bit / 1 bayt	Kayan nokta esnekliği	Yeni donanımda verimli çıkarım
INT8 / INT4	8-4 bit	Sabit ızgara, en ucuz	Kuantizasyonun ana hedefi

Bu tablodan çıkan pratik sonuç şudur: "kuantize model" dediğimizde çoğu zaman bir kayan nokta tabanından (FP16/BF16) bir tam sayı hedefine (INT8/INT4) geçişi kastederiz. Hangi tabandan başladığınız da önemlidir; BF16 tabanlı bir modeli kuantize etmek ile FP16 tabanlı bir modeli kuantize etmek arasında ince farklar olabilir. Bu yüzden kuantizasyonu değerlendirirken yalnızca hedef seviyeyi değil, başlangıç biçimini de not etmek gerekir.

Kuantizasyon tek bir şey değildir; bir seviye yelpazesidir. Her seviye, bit genişliği ile kalite arasında farklı bir denge kurar. Aşağıdaki tablo, kuantizasyon seviyesi ile etkisini yan yana koyarak "hangi seviye neyi takas eder" sorusunu netleştirir; bu, kuantizasyon nedir sorusunun en pratik cevabıdır.

Kuantizasyon seviyesi × etki: bellek, hız ve kalite dengesi (kalite etkileri illustratif ve göreve bağlıdır)

Seviye	Bit	Bellek (FP16'ya göre)	Tipik kalite etkisi	En uygun kullanım
FP16 / BF16	16-bit	Taban (1x)	Referans, kayıpsız	Kaliteye en duyarlı üretim
INT8	8-bit	~1/2	Çok az, çoğu zaman hissedilmez	Dengeli varsayılan
INT4	4-bit	~1/4	Küçük ama ölçülebilir	Belleğe/maliyete duyarlı iş
INT3 / INT2	3-2 bit	~1/5 ve altı	Belirgin, hızla bozulur	Deneysel, çoğu üretimde önerilmez

Tabloyu okurken üç noktayı akılda tutmak gerekir. Birincisi, "kayıpsız" görece bir kelimedir: FP16 bile 32-bit'e (FP32) göre bir kuantizasyondur, ama pratikte referans kabul edilir. İkincisi, bellek oranları aritmetiktir (bit genişliği oranı), ama gerçek bellek kullanımı aktivasyonlar, KV önbelleği ve ölçek parametreleriyle bu orandan biraz sapar. Üçüncüsü ve en önemlisi, kalite etkileri göreve bağlıdır ve buradaki nitelemeler illustratiftir; kendi göreviniz için gerçek etkiyi yalnızca ölçerek bilebilirsiniz.

En yaygın pratik ikili, INT8 ve INT4'tür. Bu iki seviye — yani int8 int4 ekseni — kurumsal kuantizasyon kararlarının neredeyse tamamını kapsar: biri kaliteyi korumaya, diğeri belleği en aza indirmeye yaslanır. Aradaki ara seviyeler (örneğin 5-bit veya 6-bit GGUF varyantları) bu iki uç arasında ince ayar sunar; ama karar çoğunlukla yine int8 int4 arasındaki dengeye iner. INT4'ün altındaki seviyeler (INT3, INT2) araştırma açısından ilginçtir, ama çoğu üretim senaryosunda kaliteyi fazla bozdukları için önerilmez. Bit genişliği ile kalite arasındaki bu eğri doğrusal değildir: INT8'e inmek neredeyse bedavayken, her ek bit indirimi giderek daha pahalıya mal olur.

Kuantizasyonun en somut vaadi bellek tasarrufu ve hızdır. Bu ikisini ayrı ayrı anlamak, kuantizasyon nedir sorusunu pratiğe bağlamanın en iyi yoludur; çünkü ikisi her zaman aynı oranda gelmez.

Bellek tarafı en öngörülebilir olandır. Bit genişliğini yarıya indirmek, ağırlık belleğini kabaca yarıya indirir; bu doğrudan aritmetiktir. FP16'dan INT8'e geçiş yaklaşık %50 bellek tasarrufu, INT4'e geçiş ise yaklaşık %75 bellek tasarrufu sağlar. Bu, pratikte üç kapı açar: modeli daha küçük bir GPU'ya sığdırmak, aynı GPU'da daha büyük bir model çalıştırmak veya aynı modeli daha büyük bir bağlam penceresiyle (daha çok KV önbelleği) çalıştırmak. Bağlam penceresinin belleği nasıl tükettiğini context window nedir ve KV önbelleğinin rolünü KV cache nedir yazılarında ele alıyoruz.

Hız tarafı daha inceliklidir. Kuantizasyon iki şekilde hızlandırır: daha az veri taşınır (bellek bant genişliği kazancı) ve bazı donanımlarda düşük hassasiyetli işlemler daha hızlı yapılır (hesaplama kazancı). Çıkarımın büyük kısmı bellekten veri okumaya bağlı (memory-bound) olduğu için, bellek trafiğini azaltmak çoğu zaman gözle görülür bir hızlanma getirir. Ancak bu kazanç donanıma bağlıdır: eğer GPU'nuzun o bit genişliği için optimize edilmiş çekirdekleri yoksa, model belleğe sığar ama beklenen hız gelmez. Gecikmeyi neyin belirlediğini LLM gecikme (latency) yazısında ayrıntılandırıyoruz.

Bir başka önemli ayrım, ağırlık belleği ile toplam bellek arasındaki farktır. Kuantizasyon esas olarak ağırlık belleğini düşürür; ama bir modelin çalışması sırasında kullandığı toplam bellek, ağırlıkların yanı sıra aktivasyonları ve KV önbelleğini de içerir. Uzun bağlamlarda KV önbelleği çok büyüyebilir ve bazen ağırlıklardan bile fazla yer kaplar. Bu yüzden yalnızca ağırlıkları kuantize etmek, uzun bağlamlı bir uygulamada beklenen toplam tasarrufu vermeyebilir; bu durumlarda KV önbelleğini de ayrıca yönetmek veya kuantize etmek gerekir. Toplam bellek bütçesini planlarken bu üç kalemi birlikte düşünmek, sürprizleri önler.

Kuantizasyon bedava değildir; bedeli kalite kaybıdır. Ama bu kayıp her yerde eşit dağılmaz; nerede ve ne zaman ortaya çıktığını anlamak, kuantizasyon nedir sorusunun en kritik parçasıdır. Genel ilke şudur: kayıp, seviye düştükçe artar ve görev zorlaştıkça belirginleşir.

Basit görevlerde kalite kaybı çoğu zaman fark edilmez. Kısa özetleme, sınıflandırma, basit soru-cevap gibi işlerde INT8 pratikte kayıpsızdır, INT4 bile çoğu zaman kabul edilebilir kalır. Zorluk, görev inceldikçe ve uzadıkça artar. Uzun zincirleme akıl yürütme, çok adımlı matematik, kod üretimi ve hassas sayısal görevler kuantizasyona en duyarlı alanlardır; çünkü bu görevlerde küçük bir hata sonraki adımlara yayılır ve büyür. Akıl yürütmenin nasıl adım adım ilerlediğini zincirleme düşünme nedir yazısında ele alıyoruz.

Kalite kaybının ikinci bir yüzü, "ortalama iyi, uçlarda kötü" davranışıdır. Kuantize bir model çoğu soruya neredeyse orijinal kalitede cevap verirken, nadir ve zor durumlarda daha sık hata yapabilir. Bu, ortalama metriklere bakınca gözden kaçar; çünkü nadir hatalar ortalamayı çok az düşürür ama gerçek kullanımda önemli olabilir. Üçüncü bir etki, dil ve alan duyarlılığıdır: bazı kuantize modeller İngilizcede kaliteyi korurken Türkçe gibi eğitim verisinde daha az temsil edilen dillerde daha çok bozulabilir. Bu yüzden Türkçe ağırlıklı bir uygulamada kuantizasyonu mutlaka Türkçe test kümesiyle ölçmek gerekir.

Kalite kaybının göreve göre tipik duyarlılığı (illustratif, kesin değer değil)

Görev türü	INT8 duyarlılığı	INT4 duyarlılığı
Sınıflandırma / kısa özet	Çok düşük	Düşük
Genel sohbet / bilgi	Çok düşük	Düşük-orta
Kod üretimi	Düşük	Orta
Uzun akıl yürütme / matematik	Düşük-orta	Orta-yüksek
Az temsil edilen dil (ör. Türkçe nüans)	Düşük	Orta-yüksek

Kalite kaybının bir başka önemli boyutu, model boyutuyla ilişkisidir. Büyük modeller kuantizasyona küçük modellerden daha dayanıklıdır; çünkü barındırdıkları fazlalık, yuvarlama hatasını daha iyi emer. Bu yüzden 70 milyar parametreli bir modeli INT4'e indirmek, 3 milyar parametreli bir modeli INT4'e indirmekten çoğu zaman daha güvenlidir. Pratik bir sonuç: büyük bir modeli agresif kuantize etmek, küçük bir modeli hafif kuantize etmekten daha iyi bir denge kurabilir. Yani "hangi model + hangi seviye" kararı birlikte verilmelidir; büyük-kuantize ile küçük-tam hassasiyet arasındaki seçim, hem belleği hem kaliteyi aynı anda etkiler.

Buradan çıkan pratik ders şudur: kalite kaybı bir "genel sayı" değil, göreve özgü bir profildir. "INT4 modeli %3 kötü" gibi tek bir cümle yanıltıcıdır; doğru soru "benim görevimde, benim verimle, benim kabul edilebilirlik eşiğimde ne oluyor" sorusudur. Bu yüzden kuantizasyon kararı her zaman bir ölçüm kararıdır; ve bu ölçüm, tek bir metriğe değil, göreve özgü bir dizi ölçüte dayanmalıdır.

Kalite kaybı deyince akla hemen "yanlış cevap" gelir; ama kuantizasyonun modelin davranışına etkisi çoğu zaman daha ince ve sinsidir. Bu görünmeyen etkileri tanımak, kuantizasyon nedir sorusunun deneyimli bir cevabını verir; çünkü bir kuantize modelin sorunu her zaman "açıkça yanlış" olmaz, bazen "biraz farklı" olur.

Birinci görünmeyen etki tutarlılık kaybıdır. Kuantize bir model, aynı soruya farklı zamanlarda biraz daha değişken cevaplar verebilir; yuvarlama hatası, modelin kararsız kaldığı sınır durumlarda çıktıyı bir yöne ya da diğerine itebilir. İkinci etki üslup ve ayrıntı kaymasıdır: model doğru cevabı verse bile, daha kısa, daha yüzeysel ya da daha az nüanslı yazabilir. Bu, ortalama doğruluk metriğinde görünmez ama kullanıcı deneyiminde hissedilir. Üçüncü etki, talimat izlemede zayıflamadır: karmaşık, çok koşullu talimatlarda kuantize model bazı koşulları atlayabilir; çünkü ince ayrımları taşıyan hassasiyet biraz azalmıştır.

Dördüncü ve en kritik etki, uzun çıktılarda hata birikmesidir. Bir dil modeli metni token token üretir ve her token bir sonrakinin bağlamı olur; kuantizasyonun getirdiği küçük sapmalar, uzun bir üretimde adım adım birikebilir ve sonlara doğru kaliteyi düşürebilir. Bu yüzden kuantizasyon, kısa yanıtlarda neredeyse görünmezken uzun rapor, uzun kod veya uzun akıl yürütme zincirlerinde daha belirgin olur. Modelin metni nasıl adım adım ürettiğini token nedir yazısında ele alıyoruz.

Bu etkilerin hepsi seviyeyle ölçeklenir: INT8'de çoğu neredeyse yokken, INT4'te belirginleşir ve daha düşük seviyelerde ciddileşir. İyi haber şu ki, bu etkiler öngörülebilir ve ölçülebilirdir; kötü haber, ölçmezseniz sizi üretimde, en kötü anda yakalarlar. Bu yüzden kuantizasyonu değerlendirirken yalnızca "doğru mu" değil, "ne kadar tutarlı, ne kadar eksiksiz, uzun çıktıda ne kadar dayanıklı" sorularını da sormak gerekir.

Kuantizasyon iki büyük aileye ayrılır ve bu ayrım, kalite ile maliyet arasındaki en temel takası belirler: eğitim sonrası kuantizasyon (PTQ, Post-Training Quantization) ve kuantizasyona duyarlı eğitim (QAT, Quantization-Aware Training).

PTQ, adından anlaşılacağı gibi, zaten eğitilmiş bir modeli, yeniden eğitmeden kuantize eder. Modelin ağırlıkları alınır, bir kalibrasyon verisiyle uygun ölçekler hesaplanır ve ağırlıklar düşük bit genişliğine yuvarlanır. Bu işlem hızlı ve ucuzdur — çoğu zaman dakikalar veya saatler sürer — ve büyük eğitim altyapısı gerektirmez. Açık kaynak modelleri kuantize etmenin baskın yolu PTQ'dur; GPTQ ve AWQ gibi popüler yöntemler birer PTQ tekniğidir. PTQ'nun ayrıntısını post-training quantization yazısında ele alıyoruz.

QAT ise farklı bir felsefeye dayanır: modeli, düşük hassasiyete alışacak biçimde eğitim veya ince ayar sırasında kuantizasyona hazırlar. Eğitim sırasında kuantizasyon hatası simüle edilir, böylece model ağırlıklarını bu hatayı tolere edecek şekilde ayarlar. Sonuç genellikle PTQ'dan daha yüksek kalitedir, özellikle çok düşük bit genişliklerinde (INT4 ve altı) fark açılır. Ama bedeli vardır: QAT eğitim maliyeti, veri ve süre gerektirir. QAT'ın mantığını quantization-aware training yazısında ayrıntılandırıyoruz.

PTQ ile QAT ne zaman tercih edilir

Kriter	PTQ (eğitim sonrası)	QAT (eğitime duyarlı)
Yeniden eğitim	Gerekmez	Gerekir
Maliyet ve süre	Düşük (dakika-saat)	Yüksek (eğitim gerektirir)
Kalite (düşük bit)	İyi, uçlarda zorlanır	Daha yüksek
Uygulama kolaylığı	Yüksek, hazır araçlar	Düşük, uzmanlık ister
En iyi kullanım	Hızlı, çoğu senaryo	Kaliteye çok duyarlı, agresif kuantizasyon

Pratik kural nettir: önce PTQ deneyin. Çoğu senaryoda PTQ ile INT8 veya INT4 yeterli kaliteyi verir ve hiç eğitim gerektirmez. Yalnızca kalite kaybı sizin eşiğinizin altına düşerse ve düşük bit genişliği zorunluysa QAT'a geçmek anlamlıdır. Çoğu kurum için doğru yol, ucuz ve hızlı olan PTQ'dan başlayıp, ancak kanıtlanmış bir ihtiyaç varsa QAT maliyetine katlanmaktır.

Eğitim sonrası kuantizasyonun (PTQ) kalitesini belirleyen ama çoğu zaman gözden kaçan bir bileşen vardır: kalibrasyon verisi. Kuantizasyon nedir sorusunun teknik cevabında ölçek ve sıfır noktasından söz etmiştik; işte bu ölçekler kalibrasyon verisi üzerinden hesaplanır. Model, küçük bir örnek metin kümesinden geçirilir, ağırlıkların ve aktivasyonların hangi aralıklarda gezindiği gözlemlenir ve ölçekler buna göre ayarlanır. Yani kalibrasyon verisi, "sayıları hangi ızgaraya yerleştireceğimizi" belirler.

Bu, önemli bir sonuç doğurur: kalibrasyon verisi gerçek kullanımı temsil etmiyorsa, ölçekler yanlış ayarlanır ve kalite kaybı gereksiz yere büyür. Örneğin bir modeli yalnızca İngilizce metinle kalibre edip Türkçe bir uygulamada kullanırsanız, Türkçe aktivasyonların aralığı iyi temsil edilmemiş olabilir; sonuç, Türkçede daha büyük bir kalite kaybıdır. Aynı şekilde, kod üretimi için kullanılacak bir modeli yalnızca düz metinle kalibre etmek, kod dağılımını kaçırabilir. İyi kalibrasyon verisi, modelin gerçekte göreceği içeriği örnekler.

Kalibrasyon verisinin miktarı da önemlidir ama abartılmamalıdır: genellikle birkaç yüz temsili örnek yeterlidir; amaç istatistiksel olarak aralıkları yakalamaktır, modeli yeniden eğitmek değil. Burada asıl mesele nicelik değil, temsil gücüdür. Türkçe ağırlıklı bir uygulama için kalibrasyon kümesine Türkçe örnekler koymak, doğru embedding modeli seçmek kadar önemli bir ayrıntıdır; benzer bir dil duyarlılığı tartışmasını Türkçe embedding modeli seçimi yazısında da ele alıyoruz.

Kuantizasyon dünyasında sık karşılaşılan bir isim karmaşası vardır: GPTQ, AWQ, GGUF, bitsandbytes... Bunları ayırmak, kuantizasyon nedir sorusunu pratik araç seçimine bağlamak için gereklidir. Kabaca ikisi yöntem (nasıl kuantize edileceği), ikisi ise daha çok format/kütüphane bağlamındadır; ama sınırlar iç içedir.

GPTQ, ağırlıkları katman katman kuantize ederken her adımda oluşan hatayı bir sonraki ağırlıklarla telafi etmeye çalışan bir PTQ yöntemidir; özellikle GPU üzerinde 4-bit çıkarım için yaygındır. AWQ (Activation-aware Weight Quantization) ise hangi ağırlıkların çıktı için "önemli" olduğunu aktivasyonlara bakarak belirler ve bu önemli ağırlıkları korur; böylece düşük bit genişliğinde kaliteyi daha iyi tutmayı hedefler. İkisi de PTQ ailesindendir ve amaçları aynıdır: 4-bit gibi agresif seviyelerde kalite kaybını en aza indirmek.

GGUF ise bir yöntem değil, bir dosya formatıdır; llama.cpp ekosisteminde kuantize modelleri saklamak ve CPU/GPU'da çalıştırmak için kullanılır. GGUF, tek bir bit genişliği değil, bir dizi kuantizasyon varyantı (örneğin 4-bit, 5-bit, 6-bit ve farklı grup ayarları) sunar; bu yüzden aynı model için "hangi GGUF kuantizasyonu" diye bir seçim yaparsınız. Bitsandbytes ise daha çok bir kütüphanedir: eğitim ve çıkarım sırasında 8-bit ve 4-bit kuantizasyonu kolaylaştırır ve özellikle QLoRA ile ince ayarın temelini oluşturur. Kuantize bir modeli yerelde çalıştırmanın pratik yollarını Ollama nedir yazısında ele alıyoruz.

Yaygın kuantizasyon yöntem ve formatları (kaba bir yönelim; ekosistem hızla değişir)

Ad	Türü	Öne çıktığı yer
GPTQ	PTQ yöntemi	GPU'da 4-bit çıkarım
AWQ	PTQ yöntemi	Önemli ağırlıkları koruyarak kalite
GGUF (llama.cpp)	Dosya formatı	CPU/dizüstü ve esnek varyantlar
bitsandbytes	Kütüphane	8/4-bit + QLoRA ince ayar

Bu isimlerin çokluğu gözünüzü korkutmasın: seçim çoğu zaman donanımınız ve aracınız tarafından belirlenir. GPU'da hizmet verecekseniz GPTQ/AWQ tabanlı 4-bit yaygın bir tercihtir; CPU veya dizüstünde çalıştıracaksanız GGUF doğal seçenektir; kuantize bir modeli ince ayarlayacaksanız bitsandbytes/QLoRA yolunu izlersiniz. Önemli olan yöntemin adı değil, hedef donanımınızda ölçtüğünüz kalite ve hızdır.

Kuantizasyon, model sıkıştırma ailesinin en popüler üyesidir; ama tek üyesi değildir. Bir modeli küçültmenin ve hızlandırmanın birkaç farklı yolu vardır ve bunları ayırt etmek, kuantizasyonu doğru konumlandırmak için gereklidir. En önemlisi, bu teknikler rakip değil, çoğu zaman tamamlayıcıdır.

Budama (pruning), modeldeki önemsiz veya sıfıra yakın ağırlıkları silerek modeli seyrekleştirir; kuantizasyon her sayıyı daha ucuz saklarken, budama bazı sayıları tümüyle atar. Bilgi damıtma (knowledge distillation, distilasyon) farklı bir fikirdir: büyük bir "öğretmen" modelin davranışını, küçük bir "öğrenci" modele öğreterek daha küçük ama benzer kalitede bir model üretir. Kuantizasyon mevcut modeli ucuzlaştırırken, distilasyon baştan daha küçük bir model doğurur. Düşük ranklı uyarlama (LoRA/QLoRA) ise sıkıştırmadan çok verimli uyarlama tekniğidir, ama kuantizasyonla iç içedir. LoRA ve QLoRA'nın ne olduğunu LoRA nedir ve QLoRA yazılarında, üçünün birlikte kullanımını ise LoRA, QLoRA ve distilasyon yazısında ele alıyoruz.

Bu teknikler arasındaki en güzel sinerji QLoRA'da görülür: model önce 4-bit'e kuantize edilir (bellek tasarrufu), sonra üzerine küçük LoRA katmanları eklenerek ince ayar yapılır. Böylece devasa bir modeli tek bir GPU'da hem kuantize hem de ince ayarlamak mümkün olur. Benzer biçimde, distilasyonla üretilmiş küçük bir modeli ayrıca kuantize edebilir, ya da budanmış bir modeli kuantize ederek iki kazancı birleştirebilirsiniz. Parametre sayısını en baştan düşük tutan yaklaşım için küçük dil modelleri ve SLM ince ayarı yazısı da bu tabloyu tamamlar.

Model sıkıştırma teknikleri: neyi değiştirirler

Teknik	Neyi değiştirir	Kuantizasyonla ilişkisi
Kuantizasyon	Sayıların bit genişliği	Temel teknik
Budama (pruning)	Önemsiz ağırlıkları siler	Birlikte kullanılabilir
Distilasyon	Küçük modele bilgi aktarır	Tamamlayıcı
LoRA / QLoRA	Az parametreyle uyarlar	QLoRA kuantizasyonu içerir

Buradan çıkan sonuç şudur: kuantizasyonu izole bir hüner değil, bir verimlilik araç kutusunun parçası olarak düşünmek gerekir. Doğru strateji genellikle "yalnızca kuantizasyon" değil, göreve ve kısıtlara göre bu tekniklerin akıllı bir bileşimidir.

Kuantizasyon yalnızca hazır bir modeli ucuza çalıştırmak için değil, bir modeli ucuza uyarlamak için de kritik bir kaldıraçtır. Bu birleşimin en güzel örneği QLoRA'dır ve kuantizasyon nedir sorusunun pratik değerini en somut gösteren senaryolardan biridir. QLoRA, bir modeli önce 4-bit'e kuantize eder (böylece devasa model tek bir GPU'nun belleğine sığar), sonra üzerine küçük, eğitilebilir LoRA katmanları ekleyerek ince ayar yapar. Böylece normalde çok pahalı bir donanım gerektiren ince ayar, tek bir mütevazı GPU'da mümkün hale gelir.

Bu neden bu kadar önemli? Çünkü büyük bir modeli klasik yöntemle ince ayarlamak, tüm ağırlıkları yüksek hassasiyette bellekte tutmayı gerektirir; bu da çoğu kurum ve bireyin erişemeyeceği bir donanım demektir. QLoRA, kuantizasyonun sağladığı bellek tasarrufu sayesinde bu duvarı yıkar. İnce ayar sırasında ana model dondurulmuş ve kuantize halde kalır; yalnızca küçük LoRA katmanları eğitilir. Bu yaklaşımın ayrıntısını QLoRA ve temel LoRA mantığını LoRA nedir yazılarında ele alıyoruz.

Burada dikkat edilmesi gereken bir incelik var: kuantize bir modeli ince ayarlamak, kuantize bir modeli çalıştırmaktan farklı bir denge kurar. İnce ayar sırasında düşük hassasiyet, eğitim kararlılığını etkileyebilir; bu yüzden QLoRA gibi yöntemler, hesabın hassas kısımlarını daha yüksek hassasiyette tutan özel teknikler kullanır. Yine de temel fikir aynıdır: kuantizasyon, hem çıkarımı hem de uyarlamayı ucuzlaştıran ortak bir zemindir. İnce ayarın ne zaman gerekli olduğunu ve alternatiflerini fine-tuning nedir ve uyarlama tekniklerinin sırasını LoRA, QLoRA ve distilasyon yazılarında değerlendiriyoruz.

Sonuç olarak, kuantizasyonu yalnızca "modeli küçültme" olarak düşünmek eksik olur; o aynı zamanda "modeli uyarlanabilir kılma" aracıdır. Kısıtlı donanıma sahip bir kurum, kuantizasyon ve QLoRA sayesinde hem büyük bir açık kaynak modeli çalıştırabilir hem de onu kendi verisiyle özelleştirebilir. Bu, kuantizasyonun neden yalnızca bir optimizasyon hilesi değil, erişimi demokratikleştiren bir yetenek olduğunu gösterir.

Kuantizasyon nedir sorusunu anladıktan sonra en pratik soru gelir: benim durumumda hangi seviye? Cevap tek bir sayı değil, birkaç eksende verilen bir karardır. İşte int8 int4 arasındaki seçimin ve FP16'da kalmanın karar kriterleri.

Birinci eksen kalite toleransıdır. Görev hataya ne kadar duyarlıysa, o kadar yüksek hassasiyette kalmalısınız. Hukuki analiz, tıbbi bilgi, finansal hesaplama gibi düşük hata toleranslı işlerde INT8'i tavan, FP16'yı güvenli liman olarak düşünün. Genel sohbet, öneri, taslak üretme gibi hataya toleranslı işlerde INT4 çoğu zaman fazlasıyla yeterlidir. İkinci eksen donanım kısıtıdır. Model hedef donanımınıza FP16'da sığıyorsa, kuantizasyona hiç gerek olmayabilir; sığmıyorsa, sığdıran en yüksek seviye (önce INT8, yetmezse INT4) tercih edilir.

Üçüncü eksen ölçek ve maliyettir. Çok yüksek hacimli, maliyete duyarlı bir serviste, INT4'ün sağladığı bellek ve hız kazancı doğrudan bütçeye yansır; burada küçük bir kalite kaybı, büyük bir maliyet tasarrufuyla takas edilebilir. Buna karşılık, düşük hacimli ama kaliteye çok duyarlı bir uygulamada, aynı takas mantıksızdır; birkaç isteğin maliyeti önemsizken kalite her şeydir. Dördüncü eksen dildir: Türkçe gibi görece az temsil edilen dillerde INT4'ün riski daha yüksektir, bu yüzden Türkçe ağırlıklı işlerde INT8'e daha temkinli yaklaşın. Bu dört ekseni birlikte tartmak, int8 int4 arasındaki seçimi bir tahmin olmaktan çıkarıp bilinçli bir mühendislik kararına dönüştürür. Bu kararı bir bütün olarak vermek için modeli hangi biçimde sunacağınızı da düşünmek gerekir; seçenekleri model servis etme seçenekleri yazısında ele alıyoruz.

Pratikte kuantizasyonla ilgili en sık karşılaşılan karar, "hazır kuantize edilmiş bir model mi indirsem, yoksa modeli kendim mi kuantize etsem" sorusudur. Açık kaynak ekosisteminde birçok popüler model, topluluk tarafından çeşitli seviyelerde (INT8, INT4, farklı GGUF varyantları) önceden kuantize edilmiş halde paylaşılır. Bu, kuantizasyon nedir sorusunu bir mühendislik görevinden çoğu zaman basit bir indirme kararına dönüştürür — ama bu kolaylığın kendi tuzakları vardır.

Hazır kuantize modelin avantajı açıktır: hızlı ve zahmetsizdir; birinin zaten yaptığı işi tekrarlamazsınız. Dezavantajı ise şudur: o modelin hangi veriyle kalibre edildiğini, hangi yöntemle ve hangi ayarlarla kuantize edildiğini çoğu zaman tam bilemezsiniz. Bu, özellikle Türkçe gibi az temsil edilen dillerde risklidir; İngilizce kalibrasyonla üretilmiş bir kuantize model, sizin Türkçe uygulamanızda beklenenden fazla kalite kaybı gösterebilir. Ayrıca kaynağın güvenilirliği de önemlidir: kuantize model dosyaları da diğer model dosyaları gibi güvenilir kaynaklardan alınmalıdır.

Kendin kuantize etmenin avantajı denetimdir: kalibrasyon verisini kendi kullanımınıza göre seçersiniz, yöntemi ve seviyeyi kontrol edersiniz ve sonucu kendi değerlendirme kümenizle doğrularsınız. Dezavantajı ek emek ve uzmanlıktır. Pratik bir orta yol şudur: hızlı bir başlangıç için hazır kuantize bir modelle prototip kurun, ama üretime almadan önce onu kendi göreviniz ve kendi dilinizle mutlaka ölçün. Kalite kabul edilebilir değilse, kendi kalibrasyon verinizle yeniden kuantize etmeyi düşünün. Kuantize modelleri yerelde çalıştırmanın pratik araçlarını Ollama nedir ve açık kaynak model seçim çerçevesini açık kaynak LLM nedir yazılarında ele alıyoruz.

Kuantizasyon güçlü bir araçtır, ama her derde deva değildir. Bazı durumlarda kazanç riski karşılamaz veya kuantizasyon gereksizdir. Bu sınırları bilmek, kuantizasyon nedir sorusuna dürüst bir cevap vermenin parçasıdır.

Birinci durum: model zaten sığıyorsa. Küçük bir modeli (örneğin birkaç milyar parametre) FP16'da rahatça çalıştırabilen bir donanımınız varsa, kuantizasyon size çok az kazandırır ama küçük bir kalite riskini boşuna alırsınız. Bu durumda "sorun yoksa dokunma" ilkesi geçerlidir. İkinci durum: görev kaliteye aşırı duyarlıysa. Hatanın maliyeti çok yüksekse (kritik karar destek, güvenlik, hassas sayısal işlem), kuantizasyonun getirdiği küçük kalite kaybı bile kabul edilemez olabilir; burada bellek tasarrufu için kaliteyi feda etmek yanlış bir takastır.

Üçüncü durum: çok küçük modellerde agresif kuantizasyon. Kuantizasyon büyük modellerde görece güvenlidir, çünkü fazlalık (redundancy) hatayı emer; ama çok küçük modellerde her ağırlık daha kritiktir ve INT4 gibi agresif seviyeler kaliteyi orantısız bozabilir. Dördüncü durum: donanım desteği yoksa. Hedef donanımınız düşük bit genişliği için optimize çekirdeklere sahip değilse, bellek tasarrufu gelse bile beklenen hız gelmez ve dequantize yükü işi yavaşlatabilir. Kuantize bir modeli kurumsal olarak barındırmadan önce donanım boyutlandırmasını on-premise LLM donanım boyutlandırma yazısında değerlendiriyoruz.

Kuantizasyon bir takas olduğu için, o takasın değip değmediğini ancak ölçerek bilebilirsiniz. "Kuantize model iyi mi" sorusu, bir tahmin değil, bir değerlendirme sorusudur. Ölçüm iki katmanda yapılır: genel dil kalitesi ve göreve özgü başarı.

Genel dil kalitesi için en yaygın kaba gösterge perplexity'dir (şaşkınlık): modelin bir metni ne kadar iyi öngördüğünü ölçen bir sayı. Kuantizasyondan sonra perplexity'nin ne kadar arttığına bakmak, kalite kaybının hızlı bir işaretini verir; ama perplexity tek başına yeterli değildir, çünkü gerçek görev başarısını her zaman yansıtmaz. Perplexity'nin ne olduğunu ve sınırlarını perplexity nedir yazısında ele alıyoruz.

Göreve özgü ölçüm çok daha önemlidir. Kendi kullanım senaryonuza uygun etiketli bir değerlendirme kümesi hazırlar, aynı soruları hem FP16 hem kuantize modele sorar ve sonuçları karşılaştırırsınız. Kod üretiyorsanız testlerin geçme oranına, özet çıkarıyorsanız insan değerlendirmesine, sınıflandırma yapıyorsanız doğruluğa bakarsınız. Kritik olan, ortalamaya değil dağılıma da bakmaktır: kuantize model ortalamada iyi görünse bile, belirli zor durumlarda sistematik olarak bozuluyorsa bunu yakalamanız gerekir. Model değerlendirmesinin genel yöntemlerini LLM değerlendirme nedir yazısında ayrıntılandırıyoruz.

Ölçümde sık yapılan bir hata, yalnızca kuantize modeli test edip onu tabana karşı karşılaştırmamaktır. "INT4 model şu skoru aldı" demek tek başına anlamsızdır; asıl soru "aynı görevde FP16 tabanına göre ne kadar düştü" sorusudur. Bu yüzden her kuantizasyon değerlendirmesi bir karşılaştırmadır: taban çizgisi olmadan bir sayı, iyi mi kötü mü olduğunu söyleyemez. Ayrıca ölçümde hem otomatik metrikleri hem de birkaç örneğin insan gözüyle incelenmesini birlikte kullanmak, sayıların gizlediği nitel bozulmaları (üslup, tutarlılık, eksik koşul) yakalamaya yardımcı olur.

Ölçümü bir kez değil, sürekli yapmak gerekir. Model güncellenir, kuantizasyon aracı değişir, kullanım deseni evrilir; bu yüzden bir değerlendirme kümesi kurup her değişiklikte tekrar çalıştırmak, kuantizasyonun getirdiği kaliteyi zaman içinde güvence altına alır. Üretimde bu davranışı izlemek için gözlemlenebilirlik gerekir; bunu LLM izleme ve loglama yazısında ele alıyoruz. Kuantizasyonu değerlendirmenin özü şudur: ölçmediğiniz bir kalite kaybını yönetemezsiniz.

Kuantizasyonun değeri, büyük ölçüde donanımla ilişkisinden gelir. Aynı kuantize model, farklı donanımlarda çok farklı davranır; bu yüzden kuantizasyon nedir sorusunu tam kavramak için donanım tarafını da görmek gerekir.

GPU'larda kuantizasyonun ana faydası, daha büyük modelleri daha küçük kartlara sığdırmak ve bellek bant genişliğini rahatlatmaktır. Modern GPU'lar INT8 ve giderek INT4 işlemleri için özel çekirdekler sunar; bu çekirdekler varsa hem bellek hem hız kazancı birlikte gelir. GPU'nun kurumsal rolünü GPU nedir (kurumsal AI) ve temel kavramı GPU nedir yazılarında ele alıyoruz. CPU tarafında ise kuantizasyon bambaşka bir kapı açar: GGUF/llama.cpp gibi araçlar sayesinde, GPU'suz sıradan sunucularda ve hatta dizüstü bilgisayarlarda kuantize modeller çalıştırılabilir. Bu, yüksek GPU maliyetinden kaçınmak isteyen senaryolarda kritik bir seçenektir.

Kenar cihazlar (edge) kuantizasyonun en dramatik faydayı sağladığı yerdir. Bir telefonun, gömülü bir cihazın veya çevrimdışı bir terminalin sınırlı belleği ve işlemcisi, kuantize edilmemiş bir modeli asla kaldıramaz; ama agresif kuantize edilmiş bir model bu cihazlarda çalışabilir. Böylece veri cihazdan hiç çıkmadan yerel çıkarım mümkün olur — bu hem gecikme hem de gizlilik açısından değerlidir. Yerel ve şirket içi çalıştırmanın bütününü on-prem LLM kurulumu yazısında ele alıyoruz.

Donanım ile kuantizasyon arasındaki ilişkinin altın kuralı şudur: kuantizasyon seviyesini donanımdan bağımsız seçmeyin. Hedef donanımınızın hangi bit genişliklerini verimli desteklediğini bilmek, doğru seviyeyi seçmenin ön koşuludur. Bir seviye kağıt üzerinde harika görünse bile, donanımınız onu verimli çalıştırmıyorsa pratik faydası sınırlı kalır. Bu yüzden karar her zaman "model + seviye + donanım" üçlüsü olarak birlikte verilmelidir.

Kuantizasyon, bir modeli hızlandırmanın ve ucuzlatmanın tek yolu değildir; daha büyük bir çıkarım optimizasyonu ailesinin en temel üyesidir. Kuantizasyon nedir sorusunu tam yerine oturtmak için, onu bu ailenin diğer üyeleriyle birlikte görmek gerekir; çünkü gerçek üretim sistemleri bu tekniklerin çoğunu bir arada kullanır.

Birinci komşu teknik, spekülatif çözümleme (speculative decoding) gibi üretim hızlandırma yöntemleridir: küçük ve hızlı bir modelin tahminlerini büyük modelin doğrulaması sayesinde üretim hızlanır. Bu, kuantizasyondan bağımsız bir kazanç kanalıdır ve onunla birlikte kullanılabilir; ikisini birleştirmek çarpan etkisi yaratır. Bu tekniği speculative decoding ve çıkarım servisinin bütünsel optimizasyonunu LLM çıkarım servisi optimizasyonu yazısında ele alıyoruz. İkinci komşu, bellek yönetimi optimizasyonlarıdır: özellikle KV önbelleğinin verimli yönetimi, uzun bağlamlarda belleği belirleyen ana etkendir ve kuantizasyonla birlikte belleği rahatlatır.

Üçüncü ilgili yaklaşım, modelin mimarisiyle ilgilidir: uzmanlar karışımı (Mixture of Experts) gibi mimariler, her token için modelin yalnızca bir kısmını çalıştırarak hesabı azaltır. Bu, kuantizasyondan farklı bir eksende verimlilik sağlar ve kuantizasyonla birleştirilebilir. MoE mimarisini Mixture of Experts yazısında ele alıyoruz. Dördüncüsü, toplu işleme (batching) ve akışlı yanıt gibi servis düzeyi tekniklerdir; bunlar modeli değiştirmeden verimi artırır.

Bu resmin dersi şudur: kuantizasyonu izole bir çözüm değil, bir optimizasyon yığınının parçası olarak düşünmek gerekir. Kuantizasyon belleği ve model boyutunu düşürür; spekülatif çözümleme üretimi hızlandırır; verimli bellek yönetimi uzun bağlamı mümkün kılar; toplu işleme verimi artırır. Doğru üretim sistemi, bu tekniklerin göreve göre akıllı bir bileşimidir. Gecikme ile bu tekniklerin ilişkisini LLM gecikme (latency) yazısında ayrıntılandırıyoruz. Kuantizasyon bu yığında genellikle ilk ve en getirili adımdır, çünkü hem belleği hem maliyeti aynı anda düşürür — ama tek başına değil, bir bütünün parçası olarak en yüksek değeri üretir.

Kuantizasyonun kurumsal değeri en çok şirket içi (on-premise) LLM senaryolarında belirginleşir. Verinin dışarı çıkmaması gereken, KVKK ve veri egemenliği kaygısı taşıyan kurumlar için modeli kendi altyapısında çalıştırmak çekicidir; ama en büyük engel donanım maliyetidir. İşte kuantizasyon tam bu noktada kritik bir kaldıraçtır: gerekli GPU yatırımını belirgin biçimde düşürür.

Somut bir çerçeve düşünelim. Bir kurum, açık kaynak büyük bir modeli şirket içinde çalıştırmak istiyor. FP16'da model birden fazla yüksek uçlu GPU gerektirebilirken, INT4 kuantizasyon aynı modeli çok daha az karta sığdırabilir; bu, hem donanım maliyetini hem de enerji ve soğutma yükünü düşürür. Bu bellek tasarrufu, "şirket içi LLM ekonomik değil" diyen bir kurumu "artık mümkün" noktasına taşıyabilir. Şirket içi ile bulut/API arasındaki kararı self-hosted LLM mi API mi yazısında, altyapının bütününü ise on-premise AI altyapısı yazısında ele alıyoruz.

Ama kurumsal bağlamda kuantizasyon bir mühendislik kararı olduğu kadar bir risk kararıdır da. Kalite kaybının hangi görevlerde kabul edilebilir olduğunu belirlemek, iş birimleriyle birlikte yapılması gereken bir çalışmadır. Örneğin bir iç bilgi asistanında INT4'ün küçük kalite kaybı sorun olmayabilirken, sözleşme analizi yapan bir asistanda INT8 veya FP16 gerekebilir. Doğru yaklaşım, tek bir kuantizasyon seviyesini tüm kuruma dayatmak değil, göreve göre seviye seçmektir. Açık kaynak modelleri kurumsal olarak değerlendirmek için açık kaynak LLM nedir yazısı iyi bir çerçeve sunar.

Kurumsal bağlamda sık atlanan bir nokta da yönetişim ve tekrarlanabilirliktir. Hangi modelin hangi seviyede, hangi kalibrasyon verisiyle ve hangi araçla kuantize edildiği kayıt altına alınmalıdır; aksi halde bir sorun çıktığında "bu modeli nasıl ürettik" sorusuna cevap veremezsiniz. Kuantize model, tıpkı kaynak model gibi bir varlıktır ve sürüm yönetimi, denetlenebilirlik ve yeniden üretilebilirlik gerektirir. Özellikle regüle sektörlerde, üretime alınan bir modelin nasıl elde edildiğini gösterebilmek bir uyum gerekliliğidir; bu yüzden kuantizasyon adımını da model yaşam döngüsünün belgelenen bir parçası olarak ele almak gerekir.

Son olarak, kurumsal kuantizasyon bir defalık bir iş değildir. Model güncellendiğinde yeniden kuantize etmek, kaliteyi yeniden ölçmek ve seviye kararını gözden geçirmek gerekir. Kuantizasyonu bir "kur ve unut" adımı değil, model yaşam döngüsünün sürekli bir parçası olarak ele alan kurumlar, hem maliyet hem kalite açısından sürdürülebilir bir denge kurar. Bu bütünsel bakış, kuantizasyonu bir hüner olmaktan çıkarıp bir kurumsal yeteneğe dönüştürür. Kuantizasyonu bir kurumsal yetenek haline getirmek isteyen ekipler için doğru başlangıç, küçük bir pilotta taban çizgisi kurup ölçerek büyümek; ve bu disiplini kurumun model verimliliği kültürüne yerleştirmektir.

Kuantizasyon teknik bir hüner olduğu kadar bir maliyet kararıdır da; ve kuantizasyon nedir sorusunun kurumsal cevabı, çoğu zaman bir bütçe cümlesiyle biter. Kuantizasyonun getirisi üç kanaldan gelir ve her biri somut biçimde ölçülebilir: donanım maliyeti, çıkarım maliyeti ve erişilebilirlik.

Birinci kanal donanım maliyetidir. Bir modeli FP16 yerine INT4'te çalıştırmak, gereken GPU sayısını ve sınıfını düşürebilir; bu doğrudan sermaye harcamasına (satın alma) veya işletme harcamasına (bulut kiralama) yansır. Yüksek uçlu GPU'ların pahalı ve kimi zaman zor bulunur olduğu düşünülürse, bu bellek tasarrufu bazen bir projeyi "mümkün değil"den "uygun maliyetli"ye taşır. İkinci kanal çıkarım başına maliyettir: daha küçük ve daha hızlı bir model, aynı donanımda daha çok istek işler; bu, istek başına düşen maliyeti düşürür. Yüksek hacimli bir serviste bu, ölçekle çarpıldığında ciddi bir tasarruf demektir. Çıkarım maliyetini bütünsel yönetmenin yollarını LLM çıkarım maliyeti optimizasyonu ve genel maliyet çerçevesini LLM maliyet optimizasyonu yazılarında ele alıyoruz.

Ama getiri hesabında bir denge unutulmamalıdır: kuantizasyonun sağladığı maliyet tasarrufu, getirdiği kalite kaybının iş üzerindeki etkisiyle birlikte değerlendirilmelidir. Eğer INT4'e inmek bir destek asistanının doğru cevap oranını düşürüyor ve bu da daha çok insana eskalasyon demekse, kağıt üzerindeki donanım tasarrufu gerçek dünyada silinebilir. Doğru hesap, yalnızca "ne kadar GPU tasarrufu" değil, "kalite kaybının iş metriğine maliyeti" ile birlikte yapılan hesaptır. Yapay zeka projelerinde getirinin nasıl hesaplanacağını yapay zeka ROI nasıl hesaplanır yazısında ayrıntılandırıyoruz; kuantizasyon için de aynı disiplin geçerlidir.

Üçüncü ve çoğu zaman en değerli kanal erişilebilirliktir. Kuantizasyon, aksi halde ulaşılamayacak modelleri erişilebilir kılar: sınırlı bütçeli bir ekip, büyük bir açık kaynak modeli mütevazı donanımda çalıştırabilir; veri dışarı çıkamayan bir kurum, modeli kendi altyapısında barındırabilir; bir geliştirici, güçlü bir modeli kendi dizüstünde deneyebilir. Bu erişilebilirlik, doğrudan bir para tasarrufu olarak görünmese de, yenilik hızını ve bağımsızlığı artıran stratejik bir değerdir. Kuantizasyonun gerçek getirisi, çoğu zaman bu üç kanalın toplamıdır.

Kuantizasyon nedir sorusunu somutlaştırmanın en iyi yollarından biri, tek bir kararın nasıl verildiğini izlemektir. Danışmanlık pratiğinde tipik bir senaryo şöyle ilerler: Bir kurum, veri gizliliği nedeniyle bulut API yerine kendi sunucusunda açık kaynak bir model çalıştırmak istiyor; ama eldeki GPU, modeli FP16'da kaldıramıyor. Soru net: kuantize edip sığdıralım mı, yoksa daha pahalı donanım mı alalım?

İlk adım, aceleci bir seviye seçimi değil, bir taban çizgisi kurmaktır. Model, geçici olarak yeterli belleğe sahip bir ortamda FP16'da çalıştırılır ve kurumun gerçek sorularından oluşan bir değerlendirme kümesiyle kalitesi ölçülür; bu, karşılaştırmanın referansıdır. Ardından INT8 kuantizasyon denenir ve aynı kümeyle ölçülür. Çoğu senaryoda INT8 ile kalite farkı hissedilmez düzeydedir ve model artık eldeki GPU'ya rahatça sığar; bu durumda karar kolaydır: INT8 yeterlidir, pahalı donanım gereksizdir.

Ama diyelim ki INT8 bile sığmıyor ve INT4'e inmek gerekiyor. Burada dikkatli olmak gerekir: INT4 ile aynı değerlendirme kümesi tekrar çalıştırılır ve kalite kaybı, göreve göre incelenir. Eğer kurumun kullanımı genel bilgi ve özet ağırlıklıysa, INT4'ün küçük kalite kaybı kabul edilebilir olabilir. Ama kullanım hassas sayısal analiz veya uzun akıl yürütme içeriyorsa, INT4'teki düşüş eşiği aşabilir; bu durumda ya donanımı yükseltmek ya da kuantizasyona duyarlı eğitim (QAT) gibi daha maliyetli bir yola gitmek gerekir. Karar, kör bir tercih değil, ölçüme dayalı bir dengedir.

Bu anlatının dersi şudur: kuantizasyon kararı asla soyut bir "hangisi daha iyi" tartışması değildir; her zaman "benim modelim, benim görevim, benim donanımım ve benim kalite eşiğim" bağlamında verilen somut bir karardır. Kurumunuza özel bu kararı doğru vermek ve bir model verimliliği stratejisi kurmak için model servis etme seçenekleri yazısı iyi bir başlangıç sunar; bütünsel bir yol haritası için ise bir uzmanla konuşmak en hızlı yoldur.

Kuantizasyon nedir sorusunu teoride anlamak kolaydır; zor olan, onu üretimde doğru uygulamaktır. Deneyimli bir gözle bakıldığında, başarısız kuantizasyon denemeleri benzer hatalarla bozulur. En yaygınları şunlardır:

• Ölçmeden kuantize etmek: En sık ve en pahalı hata. Kalite etkisini kendi göreviyle ölçmeden bir modeli kuantize edip üretime almak, gizli bir kalite kaybını görünmez kılar.
• Yanlış seviyeyi seçmek: Her işe INT4 dayatmak ya da her yerde FP16'da kalmak. Doğru seviye göreve göre değişir; tek bir seviyeyi kör bir varsayılan yapmak yanlıştır.
• Donanımı hesaba katmamak: Donanımın desteklemediği bir bit genişliğini seçmek; bellek tasarrufu gelir ama beklenen hız gelmez.
• Sadece ortalamaya bakmak: Kalite kaybını yalnızca ortalama metrikle değerlendirmek; nadir ama kritik durumlardaki bozulmayı kaçırmak.
• Dil duyarlılığını atlamak: İngilizce testlerle karar verip Türkçe gibi az temsil edilen dillerdeki daha büyük kalite kaybını gözden kaçırmak.
• Aktivasyon kuantizasyonunu hafife almak: Ağırlıkları kuantize etmek görece güvenliyken, aktivasyonları da agresif kuantize edip aykırı değerlerin yol açtığı bozulmayı öngörmemek.
• Kuantizasyonu tek çözüm sanmak: Distilasyon, budama veya küçük modelin daha uygun olduğu bir durumda ısrarla büyük modeli kuantize etmeye çalışmak.

Bu hatalardan kaçınmanın en pratik yolu, küçük ve ölçülü ilerlemektir: bir taban çizgisi kur, bir seviye in, ölç, kabul edilebilirse devam et. Bu disiplin, kuantizasyonu bir kumar olmaktan çıkarıp öngörülebilir bir mühendislik adımına dönüştürür. Bir başka koruyucu alışkanlık, kararı belgelemektir: hangi seviyeyi neden seçtiğinizi, hangi kalite eşiğini kabul ettiğinizi ve ölçüm sonuçlarını yazılı tutmak, hem gelecekteki kendinize hem de ekibinize yol gösterir. Ölçülmeyen ve belgelenmeyen bir kuantizasyon kararı, zamanla kimsenin nedenini hatırlamadığı bir "kara kutu"ya dönüşür; oysa iyi belgelenmiş bir karar, model güncellendiğinde tekrar üretilebilir ve güvenle gözden geçirilebilir.

Aşağıdaki kontrol listesi, bir modeli fikirden üretime sağlıklı biçimde kuantize etmek için pratik bir rehberdir. Kuantizasyon nedir sorusunu bir uygulamaya dönüştürürken bu adımları sırayla işaretleyebiliyorsanız, sağlam bir temel kurmuşsunuz demektir.

Nasıl Yapılır

Kuantizasyon uygulama kontrol listesi

Bir modeli güvenli biçimde kuantize edip üretime almak için adım adım kontrol listesi.

1. 1

   Hedefi ve kısıtı netleştir

   Neden kuantize ediyorsun: belleğe sığdırmak mı, maliyeti düşürmek mi, hız mı? Hedef donanımı ve kabul edilebilir kalite eşiğini baştan tanımla.

2. 2

   Taban çizgisi kur

   Kuantize etmeden önce modeli FP16'da çalıştır ve kendi görevinle kaliteyi ölç; bu, karşılaştırma için referanstır.

3. 3

   Değerlendirme kümesi hazırla

   Gerçek kullanım senaryona uygun, etiketli bir soru-cevap veya görev kümesi oluştur.

4. 4

   Önce INT8'i dene (PTQ)

   Eğitim gerektirmeyen PTQ ile INT8 kuantize et ve kaliteyi tabanla karşılaştır; çoğu zaman fark yoktur.

5. 5

   Gerekirse INT4'e in

   Daha fazla bellek tasarrufu gerekiyorsa INT4'e in (GPTQ/AWQ/GGUF) ve kaliteyi yeniden ölç.

6. 6

   Donanımda hız ölç

   Hedef donanımında gerçek gecikme ve verimi ölç; bellek tasarrufunun beklenen hıza dönüşüp dönüşmediğini doğrula.

7. 7

   Dağılımı ve uçları incele

   Yalnızca ortalamaya değil, zor ve nadir durumlardaki kalite kaybına da bak.

8. 8

   İzle ve yeniden değerlendir

   Üretimde kaliteyi izle; model güncellendiğinde yeniden kuantize et ve seviyeyi gözden geçir.

Bu listeyi izlemek, kuantizasyonu bir tahmin olmaktan çıkarıp kanıta dayalı bir karara dönüştürür. Küçük ama ölçülmüş bir kazanç, büyük ama doğrulanmamış bir vaatten her zaman daha değerlidir. Kurumunuza özel bir kuantizasyon ve model verimliliği stratejisi kurmak için yapay zeka danışmanlığı ile başlayabilir, ekiplerinizin yetkinliği için kurumsal eğitim seçeneklerini inceleyebilir ve tüm kavramları öğrenme merkezinde derinleştirebilirsiniz.

Kuantizasyon ne demek?

Kuantizasyon (nicemleme), bir modelin ağırlıklarını ve bazen aktivasyonlarını daha az sayıda bitle temsil etmek demektir. Model normalde her sayıyı 16-bit (FP16) gibi yüksek çözünürlükte tutar; kuantizasyon bu sayıları 8-bit (INT8) veya 4-bit (INT4) gibi daha kaba bir ızgaraya yuvarlar. Böylece model daha az yer kaplar ve daha hızlı çalışır. Kısacası kuantizasyon, sayıları daha az hassasiyetle ama daha ucuza saklamanın bir yoludur; modelin ne yaptığını değil, sayıları nasıl temsil ettiğini değiştirir.

Kuantizasyonda kalite ne kadar düşer?

Bu tamamen seviyeye ve göreve bağlıdır. INT8 kuantizasyon çoğu görevde neredeyse kayıpsızdır; kullanıcı farkı genellikle hissetmez. INT4'te küçük ama ölçülebilir bir kalite kaybı görülür; basit görevlerde fark neredeyse yokken, uzun akıl yürütme, kod veya hassas sayısal görevlerde düşüş belirginleşebilir. INT4'ün altına (INT3, INT2) inildikçe kalite hızla bozulur. Kritik olan şudur: kalite kaybı tek bir sayı değildir; kendi göreviniz ve kendi verinizle ölçülmeden bilinemez.

Hangi kuantizasyon seviyesi tercih edilmeli?

Genel kural şudur: kaliteye duyarlı, hata toleransı düşük işlerde INT8 tercih edin, çünkü neredeyse kayıpsızdır. Belleğe ve maliyete duyarlı, modeli küçük bir GPU'ya veya kenar cihaza sığdırmanız gereken işlerde INT4 tercih edin, çünkü en büyük bellek tasarrufu sağlar. Kaliteye çok duyarlı üretim işlerinde ise ya FP16'da kalın ya da kuantizasyona duyarlı eğitim (QAT) düşünün. Her durumda karar, kendi değerlendirme kümenizle iki seçeneği karşılaştırmadan verilmemelidir; kısacası int8 int4 seçimi bir tahmin değil, bir ölçüm işidir.

PTQ ile QAT arasındaki fark nedir?

PTQ (eğitim sonrası kuantizasyon), zaten eğitilmiş bir modeli, yeniden eğitmeden, birkaç dakika/saat içinde kuantize eder; hızlı ve ucuzdur, açık kaynak modellerde en yaygın yoldur. QAT (kuantizasyona duyarlı eğitim) ise modeli eğitim/ince ayar sırasında düşük hassasiyete alışacak biçimde eğitir; daha yüksek kalite verir ama eğitim maliyeti ve süresi gerektirir. Pratik kural: önce PTQ deneyin; kalite kaybı kabul edilemezse QAT'a geçin.

Kuantizasyon ile model sıkıştırmanın diğer yolları arasındaki fark nedir?

Kuantizasyon sayıların bit genişliğini düşürür. Diğer model sıkıştırma teknikleri farklı şeyleri hedefler: budama (pruning) önemsiz ağırlıkları siler; bilgi damıtma (distilasyon) büyük bir modelin davranışını küçük bir modele öğretir; düşük ranklı uyarlama (LoRA/QLoRA) ise modeli az sayıda ek parametreyle uyarlar. Bunlar rakip değil, tamamlayıcıdır; örneğin QLoRA, 4-bit kuantize bir modeli LoRA ile ince ayarlar. Doğru yaklaşım genellikle bunları birlikte kullanmaktır.

Kuantize model çalıştırmak için özel donanım gerekir mi?

Genellikle hayır, ama donanım desteği kazancı belirler. INT8 ve INT4 çekirdekleri modern GPU'larda ve giderek CPU'larda desteklenir; llama.cpp/GGUF gibi araçlar kuantize modelleri sıradan dizüstü bilgisayarlarda bile çalıştırabilir. Yine de gerçek hız kazancı, donanımın o bit genişliği için optimize edilmiş çekirdeklere sahip olmasına bağlıdır. Bazı durumlarda model belleğe sığar ama beklenen hız artışı gelmez; bu yüzden hedef donanımınızda ölçüm yapmak şarttır.

Özetle kuantizasyon nedir sorusunun cevabı şudur: bir yapay zeka modelinin ağırlıklarını daha az bitle temsil ederek modelin bellek boyutunu küçülten ve çıkarımı hızlandıran bir model sıkıştırma tekniğidir. Ana kazanç bellek tasarrufu ve hızdır — FP16'dan INT8'e geçiş belleği kabaca yarıya, INT4'e geçiş yaklaşık dörtte bire indirir. Bedeli ise kalite kaybıdır: INT8 çoğu zaman neredeyse kayıpsızdır, INT4 küçük ama ölçülebilir bir düşüş getirir, daha agresif seviyeler kaliteyi hızla bozar.

En önemli mesaj şudur: kuantizasyon bir tahmin değil, bir ölçüm işidir. Doğru seviye — int8 int4 arasındaki seçim veya FP16'da kalmak — göreve, donanıma, maliyete ve dile göre değişir; ve yalnızca kendi değerlendirme kümenizle bir taban çizgisine karşı ölçerek bilinebilir. PTQ ile hızlı başlayın, gerekirse QAT'a geçin; kuantizasyonu distilasyon, budama ve LoRA gibi diğer model sıkıştırma teknikleriyle birlikte düşünün. Temel kavramlar için LLM nedir, fine-tuning nedir ve derin öğrenme nedir rehberlerine göz atabilir; kurumunuza özel bir model verimliliği ve kuantizasyon yol haritası için bizimle iletişime geçebilir ve gelişmeleri takip etmek için bültenimize kaydolabilirsiniz.