Büyük Dil Modelleri Nasıl Çalışır? Transformer, Tokenization, Attention ve Inference Mantığı

Büyük dil modelleri, son birkaç yıl içinde yapay zekâ alanının en görünür ve en dönüştürücü sistemlerinden biri haline geldi. Bugün kod yazdırmadan kurumsal asistanlara, belge özetlemeden arama, ajan sistemleri ve çok modlu uygulamalara kadar birçok alanın merkezinde bu modeller yer alıyor. Buna rağmen büyük dil modellerinin nasıl çalıştığı çoğu zaman aşırı basitleştirilmiş cümlelerle anlatılıyor. “İnternetteki çok fazla metni okuyup sonraki kelimeyi tahmin eden sistemler” ifadesi başlangıç düzeyi için faydalı olabilir; ancak transformer mimarisi, tokenization, attention, temsil öğrenimi ve inference süreci anlaşılmadan bu modellerin neden bu kadar güçlü olduğu da, neden bazen hata yaptığı da tam olarak kavranamaz.

Çünkü büyük dil modelleri yalnızca kelime ezberleyen sistemler değildir. Bu modeller, dili ham semboller düzeyinde değil; yüksek boyutlu temsiller, bağlamsal ilişkiler, dikkat mekanizmaları ve olasılık dağılımları üzerinden işler. Başka bir deyişle, bir LLM’in davranışını anlamak için yalnızca “hangi veride eğitildi?” sorusunu sormak yetmez. Aynı zamanda şu soruları da sormak gerekir: Metin nasıl parçalanıyor? Model girdiyi nasıl sayısallaştırıyor? Token’lar birbirini nasıl etkiliyor? Hangi token’a ne kadar dikkat verileceği nasıl belirleniyor? Model eğitim sırasında ne öğreniyor ve inference aşamasında gerçekte ne yapıyor?

Bu yazıda, büyük dil modellerinin çalışma mantığını sistematik ve teknik bir çerçevede ele alacağım. Özellikle tokenization, embedding, transformer mimarisi, self-attention, training ve inference ayrımı, context window, sampling ve LLM davranışının sınırları üzerinde duracağım. Amaç, bu sistemleri hem teorik olarak doğru hem de pratikte anlamlı bir derinlikte açıklamaktır.

LLM’ler bugün o kadar yaygınlaştı ki, birçok ekip onları yalnızca bir uygulama katmanı olarak kullanmaya başladı. Prompt yazılıyor, çıktı alınıyor, gerekiyorsa RAG ekleniyor, ardından agent ya da workflow tasarlanıyor. Bu pratik yaklaşım çoğu zaman doğru ve verimli olabilir. Ancak modelin iç mantığı anlaşılmadığında şu tür yanlış beklentiler çok sık ortaya çıkar:

• Modelin bilgi tabanı ile retrieval sistemi birbirine karıştırılır
• Attention mekanizması “gerçek anlamda anlama” ile eş tutulur
• Inference sırasında modelin mantıksal düşünce yaptığı sanılır
• Token sınırları ve context window kısıtları göz ardı edilir
• Sampling davranışı deterministik doğruluk gibi yorumlanır
• Hallucination, yalnızca veri eksikliği problemi sanılır

Oysa bir LLM’in güçlü ve zayıf yanlarını doğru yorumlayabilmek için, bu modelin nasıl temsil ürettiğini, nasıl ilişki kurduğunu ve neden çıktıyı olasılık temelli biçimde oluşturduğunu bilmek gerekir. Bu bilgi yalnızca teorik merak için değil; pratikte daha iyi sistem tasarlamak için de gereklidir.

"

Kritik gerçek: Büyük dil modelleri metni “okuyup anlamlandıran” insanlar gibi çalışmaz; bağlamsal temsiller ve olasılık dağılımları üzerinden sonraki token davranışını hesaplayan yüksek boyutlu fonksiyonlar gibi çalışır.

Bir büyük dil modelinin en temel görevi, kendisine verilen bağlam üzerinden bir sonraki token’ın olasılık dağılımını tahmin etmektir. Bu ifade teknik olarak son derece önemlidir; çünkü modelin temel hedefi “doğru cevabı bulmak” değil, “verilen bağlam altında hangi token’ın gelme olasılığının daha yüksek olduğunu hesaplamak”tır.

Bu basit gibi görünen hedefin neden güçlü sonuçlar üretebildiğini anlamak için şu noktayı görmek gerekir: Dilin yapısı, yalnızca yüzeysel ardışıklıklardan ibaret değildir. Anlam, sözdizimi, bağlam, dünya bilgisi, stil, mantıksal ilişki, konu devamlılığı ve görev yapısı; hepsi token dizileri içinde istatistiksel ve yapısal örüntüler olarak bulunur. Yeterince güçlü model, yeterince büyük veri ve doğru mimariyle bu örüntüler öğrenildiğinde, “sonraki token tahmini” şaşırtıcı ölçüde zengin davranışlar üretir.

Başka bir ifadeyle, LLM’in görevi basit olabilir; ama bu görevin altında öğrendiği temsil uzayı son derece zengindir.

İnsanlar metni kelimeler, cümleler ve anlam blokları halinde algılar. Model ise ham metni bu şekilde görmez. Bir LLM için metin önce token adı verilen parçalara ayrılır. Token, çoğu zaman tam bir kelime olmak zorunda değildir; kelime parçası, noktalama işareti, sayı dizisi, boşluk veya özel semboller de token olabilir.

Neden Tokenization Gereklidir?

Nöral ağlar doğrudan metinle çalışamaz; sayılarla çalışır. Bu yüzden metin önce modelin işleyebileceği ayrık sembol birimlerine çevrilmelidir. Tokenization bu dönüşümün ilk adımıdır.

Token Her Zaman Kelime midir?

Hayır. Bu çok yaygın bir yanlış anlamadır. Bir kelime bir token olabilir, birkaç token olabilir ya da birkaç kısa kelime tek token olarak temsil edilebilir. Kullanılan tokenizer tasarımına göre “yapay”, “zeka”, “yapay zekâ”, “AI”, “LLM” gibi ifadeler farklı biçimlerde parçalanabilir.

Neden Kelime Düzeyinde Değil de Token Düzeyinde Çalışılır?

Çünkü saf kelime tabanlı yaklaşım büyük sözlük problemi doğurur. Yeni kelimeler, ekler, yazım farklılıkları, nadir sözcükler ve çok dilli yapılar için esnek bir alt birim temsili gerekir. Subword tabanlı tokenization bu yüzden çok yaygın hale gelmiştir.

Tokenization Neyi Etkiler?

• Context window verimliliğini
• Maliyet ve token sayısını
• Nadir veya birleşik kelimelerin temsilini
• Çok dilli davranışı
• Kod, tablo ve yapılandırılmış veri performansını

Bu nedenle tokenization yalnızca ön işleme adımı değil; model davranışını doğrudan etkileyen tasarım kararlarından biridir.

Token’lar elde edildikten sonra model hâlâ “anlamlı” sayısal temsile sahip değildir. Her token önce bir kimlik numarasına, ardından da bir embedding vektörüne dönüştürülür. Embedding, bir token’ın yüksek boyutlu sayısal uzaydaki temsildir.

Bu vektörler basit etiketler değildir. Eğitim süreci boyunca model, hangi token’ların hangi bağlamlarda benzer ya da farklı davranış gösterdiğini öğrenerek embedding uzayını şekillendirir. Böylece yüzeyde farklı görünen ama bağlamsal olarak ilişkili token’lar benzer geometrik yapılara yaklaşabilir.

Embedding Neden Kritik?

Çünkü model dilin ham sembollerini değil, bu sembollerin temsil uzayındaki ilişkilerini işler. Bir token’ın embedding’i, onun diğer token’larla potansiyel ilişkisini taşımaya başlar.

Positional Information Neden Gereklidir?

Transformer mimarisi teorik olarak sırayı doğrudan “bilen” bir yapı değildir. Bu yüzden modele token dizisindeki konum bilgisinin de verilmesi gerekir. Bunun için positional encoding ya da learned positional embeddings gibi mekanizmalar kullanılır.

Bu sayede model yalnızca hangi token’ların bulunduğunu değil, hangi sırada bulunduklarını da öğrenebilir.

Büyük dil modellerinin merkezinde yer alan temel mimari Transformer yapısıdır. Transformer, özellikle uzun bağlamlar içindeki ilişkileri modelleme gücü sayesinde modern dil modellemesinde devrim yaratmıştır.

Önceki nesil sıralı modeller, metni çoğu zaman soldan sağa adım adım işlerken, transformer aynı bağlam içindeki token’lar arasındaki ilişkileri daha paralel ve daha zengin biçimde kurabilir. Bu da hem eğitim verimliliğini hem temsil gücünü ciddi biçimde artırır.

Transformer Bloku Genel Olarak Neler İçerir?

• Multi-head self-attention
• Feed-forward neural network
• Residual connection
• Layer normalization

Bu bloklar üst üste yığılarak derin bir ağ oluşturur. Her katman, girdiyi biraz daha bağlamsal, biraz daha soyut ve biraz daha görevle ilişkili temsillere dönüştürür.

Transformer’ı güçlü yapan ana mekanizma self-attentiondır. Self-attention, her token’ın aynı dizideki diğer token’lara hangi ölçüde dikkat etmesi gerektiğini hesaplayan mekanizmadır.

Örneğin bir cümlede zamirin hangi isme referans verdiği, fiilin hangi özneyle ilişkili olduğu ya da uzun bağlamda önce geçen bir kavramın sonradan gelen ifadeyi nasıl etkilediği gibi ilişkiler, attention sayesinde modellenebilir.

Self-Attention’ın Temel Fikri

Her token için üç tür temsil üretilir:

• Query
• Key
• Value

Bir token’ın query vektörü, diğer token’ların key vektörleriyle karşılaştırılır. Böylece hangi token’a ne kadar dikkat edileceği için bir ağırlık dağılımı oluşur. Bu ağırlıklar, ilgili token’ların value vektörleriyle birleşerek yeni bağlamsal temsil üretir.

Neden “Attention” Denir?

Çünkü model her token için bağlamın hangi bölümlerinin daha önemli olduğunu dinamik olarak ağırlıklandırır. Ancak burada önemli bir uyarı gerekir: Attention, insan benzeri bilinçli dikkat değildir. Matematiksel olarak öğrenilmiş ilişki ağırlıklarıdır.

Tek bir attention mekanizması bağlamdaki bazı ilişkileri öğrenebilir; ancak dil çok katmanlı bir yapıdır. Aynı anda sözdizimsel ilişki, anlamsal bağ, referans çözümleme, stil devamlılığı ve görev sinyali gibi farklı örüntüler bulunur. Multi-head attention, modelin farklı ilişki türlerine paralel başlıklarda bakabilmesini sağlar.

Basitçe söylemek gerekirse, farklı head’ler bağlamın farklı yönlerini yakalayabilir. Böylece temsil gücü artar ve model tek tip dikkat mekanizmasına sıkışmaz.

Attention mekanizması token’lar arası ilişkiyi kurar; ancak modelin yalnızca ilişki görmesi yeterli değildir. Her transformer bloğunda bulunan feed-forward katmanlar, attention sonrası oluşan temsilleri doğrusal olmayan dönüşümlerle daha zengin hale getirir.

Bu katmanlar, modelin bağlamsal temsilleri daha karmaşık örüntülere dönüştürmesine yardımcı olur. Başka bir deyişle, attention “kim kimi ne kadar etkiliyor?” sorusunu güçlendirirken; feed-forward katmanlar “bu etkileşimden hangi daha soyut temsil çıkmalı?” sorusunu işler.

LLM’lerde erken katmanlar daha yüzeysel örüntüler, orta katmanlar bağlamsal bağıntılar, daha üst katmanlar ise daha soyut ve görevle ilişkili yapılar öğrenmeye eğilimlidir. Elbette bu ayrım mutlak değildir; ancak genel sezgi şudur: Katmanlar yükseldikçe temsil daha zenginleşir.

Bu yüzden bir LLM’in gücü yalnızca parametre sayısından değil; katman derinliği, attention kapasitesi, eğitim verisi çeşitliliği ve optimizasyon kalitesinden birlikte doğar.

Training aşamasında model çok büyük ölçekli metin dizileri üzerinde, çoğu zaman bir sonraki token tahmini hedefiyle optimize edilir. Yani model bağlamın devamında hangi token’ın gelmesi gerektiğini tahmin etmeye çalışır. Tahmin ile gerçek token arasındaki fark kayıp fonksiyonuyla ölçülür ve geri yayılım yoluyla model parametreleri güncellenir.

Training Sırasında Gerçekte Ne Öğrenilir?

Model tek tek gerçekleri “hafızaya yazmaktan” çok daha fazlasını yapar. Dilin yapısal örüntülerini, kavramsal ilişkilerini, stilistik devamlılıklarını, sözdizimsel düzenlerini ve bağlamsal geçişlerini temsil uzayında öğrenir.

Pretraining ve Sonrası

Büyük dil modelleri çoğu zaman önce genel büyük veri üzerinde pretraining geçirir. Ardından instruction tuning, supervised fine-tuning veya preference optimization gibi aşamalarla daha kullanışlı, görev odaklı ve insan beklentisine yakın hale getirilir.

Bu yüzden bugün kullandığımız sohbet odaklı modeller yalnızca ham dil modeli değil; ek hizalama ve görev odaklılaştırma süreçlerinden geçmiş sistemlerdir.

Inference, eğitilmiş modelin yeni bir giriş karşısında çıktı üretme sürecidir. Kullanıcı prompt’u yazdığında model training yapmaz; mevcut parametrelerini kullanarak sıradaki token’ların olasılıklarını hesaplar ve bir seçim mekanizmasıyla çıktı üretir.

Inference Adımları Basitçe

1. Metin token’lara ayrılır
2. Token’lar embedding ve positional bilgiyle modele girer
3. Transformer katmanlarından geçer
4. Son katmanda her olası token için skorlar üretilir
5. Bu skorlar olasılık dağılımına çevrilir
6. Bir token seçilir
7. Seçilen token bağlama eklenir ve süreç tekrar eder

Yani cevap tek seferde tam bir paragraf olarak “içeride yazılı” değildir. Çıktı, token token üretilir.

Model son katmanda sözlükteki her token için bir skor üretir. Bu ham skorlara çoğu zaman logits denir. Softmax işlemiyle bu skorlar olasılık dağılımına dönüştürülür.

Ancak en yüksek olasılıklı token’ı her zaman seçmek zorunda değiliz. Burada sampling stratejileri devreye girer:

• Greedy decoding
• Temperature sampling
• Top-k sampling
• Top-p / nucleus sampling

Temperature Ne Yapar?

Dağılımı daha keskin ya da daha düz hale getirir. Düşük temperature daha deterministik, yüksek temperature daha çeşitli çıktılar üretme eğilimindedir.

Neden Bu Önemli?

Çünkü aynı model, aynı prompt altında bile decoding stratejisine göre farklı davranabilir. Bu durum, LLM çıktılarının neden bazen sabit, bazen daha yaratıcı, bazen daha riskli görünebildiğini açıklar.

Bir LLM aynı anda yalnızca belirli uzunlukta token dizisini işleyebilir. Buna context window denir. Model, mevcut üretim anında yalnızca bu pencere içindeki bilgiyi doğrudan kullanabilir.

Neden Kritiktir?

• Uzun belgelerde hangi bilginin bağlamda kaldığını belirler
• RAG tasarımını etkiler
• Maliyet ve performans dengesini etkiler
• Uzun konuşmalarda unutma benzeri davranışları açıklar

Bir modelin context window’u büyük olabilir; ancak bağlam uzadıkça dikkat dağılımı ve etkin kullanım kalitesi yine de tasarım problemine dönüşür. Yani büyük pencere tek başına mükemmel uzun bağlam anlama anlamına gelmez.

Bu soru hem teknik hem felsefi boyutu olan bir sorudur. Teknik açıdan bakıldığında, LLM’ler dili yalnızca yüzeysel istatistiklerle değil; oldukça güçlü bağlamsal temsiller üzerinden işler. Bu yüzden anlamsal ilişki, mantıksal yapı, referans çözümleme, stil uyumu ve görev davranışı gibi alanlarda şaşırtıcı başarı gösterirler.

Ancak bu başarıyı insan benzeri bilinçli anlama ile birebir eşitlemek doğru değildir. Modelin yaptığı şey, eğitim sırasında öğrendiği temsil ve ilişki yapıları üzerinden bağlama en uygun token davranışını üretmektir. Bu, çok güçlü olabilir; fakat insan zihnindeki deneyimsel ve bilinçli anlama ile aynı şey değildir.

Daha güvenli ifade şudur: LLM’ler, dilsel ve kavramsal örüntüleri son derece güçlü biçimde modelleyen sistemlerdir.

Hallucination, modelin akıcı ama desteklenmeyen, yanlış veya uydurma bilgi üretmesidir. Bunun birkaç temel nedeni vardır:

• Modelin hedefi doğruluk değil, olasılık uygunluğudur
• Bağlam eksik olabilir
• Soru belirsiz olabilir
• Retrieval yoksa kuruma özel bilgiye erişemez
• Sampling davranışı düşük olasılıklı ama akıcı devamlar üretebilir

Bu yüzden hallucination sadece “model hata yaptı” problemi değil; aynı zamanda görev tasarımı, retrieval, prompt, evaluation ve output governance problemidir.

Birçok yanlış beklenti, training ile inference’ın karıştırılmasından doğar. Training sırasında model öğrenir; inference sırasında yalnızca öğrendiklerini uygular. Kullanıcı prompt yazdığında model yeni bilgi öğrenmez, ağırlıklarını değiştirmez. Sadece mevcut parametreleriyle en uygun token dizisini üretir.

Bu nedenle kullanıcı etkileşimi sırasında “ona yeni bilgi verdim, artık bunu öğrendi” düşüncesi teknik olarak doğru değildir. O bilgi yalnızca mevcut oturum bağlamında kullanılır; modelin kalıcı parametrelerine yazılmaz.

LLM’lerin gücü tek bir bileşenden değil, birçok unsurun birleşiminden gelir:

• Büyük ve çeşitli veri
• Transformer mimarisi
• Self-attention ile güçlü bağlam modelleme
• Yüksek boyutlu temsil öğrenimi
• Büyük parametre kapasitesi
• Ölçeklenebilir eğitim altyapısı
• Hizalama ve instruction tuning süreçleri

Bu kombinasyon sayesinde model yalnızca cümle tamamlayan bir sistem gibi değil; özetleyen, açıklayan, karşılaştıran, sınıflandıran, kod yazan ve görev odaklı davranış sergileyen genel amaçlı dil motoru gibi görünmeye başlar.

LLM’lerin doğası gereği en ilginç yönlerinden biri budur. Model bazı görevlerde olağanüstü güçlü görünürken, çok basit bir durumda hatalı davranabilir. Bunun nedeni, sistemin sembolik doğruluk makinesi değil; istatistiksel temsil ve üretim motoru olmasıdır.

Başka bir deyişle model, birçok bağlamda olağanüstü etkili genelleme yapabilir; ama görev tasarımı kötü olduğunda, bağlam eksik olduğunda, retrieval gerektiğinde veya doğruluk sınamaları zayıf olduğunda aynı sistem güvenilirliğini kaybedebilir.

Bu durum LLM’leri hem çok güçlü hem dikkat gerektiren araçlar haline getirir.

Transformer, tokenization, attention ve inference mantığını anlamak yalnızca teorik tatmin sağlamaz. Pratikte şu alanlarda daha iyi karar vermeyi sağlar:

• Prompt engineering sınırlarını daha doğru çizmek
• RAG gereksinimini daha iyi anlamak
• Context window ve chunking kararlarını bilinçli vermek
• Sampling ve determinism dengesini yönetmek
• Hallucination riskini mimari düzeyde ele almak
• Agent ve workflow sistemlerinde LLM’in gerçek rolünü doğru konumlandırmak

Kısacası modelin iç mantığını anlamak, uygulama tasarımında daha az mistik, daha çok mühendislik temelli yaklaşım kurmayı sağlar.

Büyük dil modelleri özünde bir sonraki token olasılığını tahmin eden sistemlerdir. Ancak bu sade hedef, transformer mimarisi, attention mekanizması, temsil öğrenimi ve büyük ölçekli eğitimle birleştiğinde olağanüstü güçlü dil davranışları üretir. Tokenization metni parçalar, embedding bu parçaları sayısal temsile dönüştürür, transformer katmanları bağlamı işler, self-attention ilişkileri ağırlıklandırır ve inference süreci token token çıktı üretir.

Bu zincirin tamamı birlikte düşünüldüğünde, LLM’ler ne büyülü varlıklardır ne de yalnızca sıradan kelime tamamlama makineleri. Onlar, dilin ve bağlamın istatistiksel-yapısal örüntülerini çok yüksek kapasiteyle modelleyen hesaplama sistemleridir. Bu yüzden onları doğru anlamak, hem ne kadar güçlü olduklarını hem de neden dikkatli tasarlanmaları gerektiğini görmek açısından kritiktir.

LLM’ler sadece sonraki kelimeyi mi tahmin eder?

Teknik olarak temel hedefleri sonraki token tahminidir. Ancak bu hedef, çok zengin dilsel ve bağlamsal örüntülerin öğrenilmesine yol açtığı için ortaya çıkan davranışlar çok daha gelişmiş görünür.

Token ile kelime aynı şey midir?

Hayır. Token bir kelime olabilir ama çoğu zaman kelime parçası, noktalama, sayı veya özel sembol de olabilir.

Attention, modelin gerçekten anladığını mı gösterir?

Attention çok güçlü bir bağlam modelleme mekanizmasıdır; ancak insan benzeri bilinçli anlama ile birebir eşit değildir.

Inference sırasında model yeni bilgi öğrenir mi?

Hayır. Inference, eğitilmiş parametrelerle çıktı üretme sürecidir. Kullanıcıdan gelen bilgi yalnızca mevcut bağlam içinde kullanılır.

LLM’ler neden bazen yanlış ama çok akıcı cevap verir?

Çünkü model doğruluğu garanti eden sembolik bir sistem değil, bağlama en olası devamı üretmeye çalışan olasılık temelli bir sistemdir. Retrieval, guardrail ve evaluation bu yüzden kritiktir.