Transfer Learning, Fine-Tuning ve Representation Learning Arasındaki İlişki

Derin öğrenme dünyasında en sık karıştırılan kavramlardan bazıları, aslında modern yapay zekâ sistemlerinin en temel yapı taşlarını oluşturur. Özellikle transfer learning, fine-tuning ve representation learning çoğu zaman birbirinin yerine kullanılan ifadeler gibi görünür. Bunun temel nedeni, modern model geliştirme akışlarında bu üç yaklaşımın gerçekten de çok sık birlikte görülmesidir. Büyük bir veri kümesi üzerinde önceden eğitilmiş bir model alınır, başka bir göreve uyarlanır, bu sırada iç temsillerden faydalanılır ve çoğu zaman bu süreç tek kelimeyle “fine-tuning yaptık” diye özetlenir. Ancak kavramsal düzeyde bakıldığında bu yaklaşım eksiktir.

Çünkü bu üç kavram aynı seviyede değildir. Representation learning, modelin veriden nasıl anlamlı iç yapılar öğrendiğiyle ilgilenir. Transfer learning, öğrenilmiş bilginin bir görevden veya alandan diğerine nasıl taşındığıyla ilgilenir. Fine-tuning ise çoğu zaman bu taşımayı gerçekleştiren teknik uyarlama sürecidir. Başka bir ifadeyle, representation learning daha temel bir öğrenme problemidir; transfer learning daha üst seviye bir yeniden kullanım stratejisidir; fine-tuning ise bu stratejinin en yaygın uygulama araçlarından biridir.

Modern yapay zekâ ekosisteminde bu ayrım daha da önem kazandı. Çünkü foundation model yaklaşımıyla birlikte artık birçok model sıfırdan eğitilmiyor; önce çok büyük veri üzerinde genel temsiller öğreniliyor, sonra bu bilgi farklı görevlerde yeniden kullanılıyor. Bu da doğal olarak şu soruları öne çıkarıyor: Model aslında neyi öğreniyor? Neyi transfer ediyoruz? Fine-tuning tam olarak neyi değiştiriyor? Hangi durumda temsilleri dondurmak daha doğru, hangi durumda tüm modeli güncellemek gerekir? Hangi durumda transfer başarısız olur?

Bu yazıda, transfer learning, fine-tuning ve representation learning arasındaki ilişkiyi sistematik biçimde ele alacağım. Önce her kavramı kendi bağlamında tanımlayacağım. Ardından bunların tarihsel ve metodolojik ilişkisini açıklayacağım. Sonrasında bu üçlü yapının modern derin öğrenme, foundation model, NLP ve bilgisayarla görme uygulamalarında nasıl birlikte çalıştığını inceleyeceğim. Amaç, bu kavramları yalnızca terim düzeyinde ayırmak değil; aralarındaki üretken bağı ve doğru kullanım mantığını netleştirmektir.

Bu kavramların birbirine karışmasının temel nedeni, modern model geliştirme akışlarında çoğu zaman aynı proje içinde üçünün birden bulunmasıdır. Örneğin büyük bir dil modeli düşünelim. Model önce çok büyük veri üzerinde pretraining ile dilin yapısını ve genel temsillerini öğrenir. Bu aşama güçlü bir representation learning örneğidir. Daha sonra model, soru-cevap veya sınıflandırma gibi yeni bir göreve uyarlanır. Bu, transfer learning mantığıdır. Son olarak modelin ağırlıkları hedef göreve göre güncellenir. Bu da fine-tuning’dir.

Yani pratikte süreç şu şekilde görünür:

• Önce model iyi temsiller öğrenir
• Sonra bu öğrenilmiş bilgi başka göreve taşınır
• Ardından hedef göreve göre uyarlanır

Bu doğal akış nedeniyle insanlar çoğu zaman fine-tuning’i transfer learning’in tamamı gibi, transfer learning’i de representation learning ile aynı şey gibi görmeye başlar. Oysa bunlar birbirini içeren ama aynı düzeyde olmayan kavramlardır.

"

Kritik gerçek: Representation learning, transfer learning’in yakıtıdır; transfer learning, fine-tuning’in stratejik çerçevesidir; fine-tuning ise bu yeniden kullanımın pratik uygulama biçimlerinden biridir.

Representation learning, modelin ham veriden yararlı, sıkıştırılmış, daha soyut ve genelleştirilebilir iç temsiller öğrenmesi problemidir. Buradaki temel fikir şudur: veriyi doğrudan yüzey düzeyinde işlemek yerine, onun altında yatan örüntüleri, faktörleri, ilişkileri ve yapıları temsil eden daha faydalı bir iç uzay öğrenmek gerekir.

Bu, derin öğrenmenin en merkezi fikirlerinden biridir. Bengio ve arkadaşlarının review makalesi de iyi bir temsilin, gözlemlenen girdiyi açıklayan daha soyut faktörleri yakalaması ve bir aşağı görev için faydalı olması gerektiğini vurgular. Aynı çerçeve, representation learning’in sadece sıkıştırma değil, aynı zamanda işe yarar soyutlama üretme problemi olduğunu ortaya koyar. :contentReference[oaicite:1]{index=1}

Representation Learning Neden Önemlidir?

• Ham verideki gürültüyü daha kullanılabilir yapıya dönüştürür
• Genelleştirmeyi kolaylaştırır
• Aşağı görevlerde daha az veriyle daha güçlü sonuç verebilir
• Benzer örnekleri ortak bir temsil uzayında yakınlaştırır
• Transfer edilebilir bilgi birikiminin temelini oluşturur

Örnekler

• Görüntü modellerinde kenar, doku, şekil ve nesne parçaları öğrenmek
• Dil modellerinde sözdizimsel ve anlamsal örüntüleri içeren embedding uzayları oluşturmak
• Ses modellerinde fonetik ve akustik düzenlilikleri temsil etmek

Representation learning’in kritik yönü şudur: model yalnızca mevcut görevi çözmeyi öğrenmez, aynı zamanda daha sonra farklı görevlerde de işe yarayabilecek bir bilgi yapısı öğrenir. Bu yüzden representation learning, transfer learning’in teorik zeminidir.

Transfer learning, bir görevde, alanda veya veri dağılımında öğrenilmiş bilginin başka bir görev, alan veya dağılım için yeniden kullanılmasını amaçlayan üst düzey stratejidir. Bu stratejinin merkezinde şu fikir vardır: her yeni problemi sıfırdan öğrenmek gereksiz olabilir; daha önce öğrenilmiş bilgi uygun biçimde taşınabiliyorsa, daha hızlı, daha verimli ve daha güçlü çözümler elde edilebilir.

Modern derin öğrenmede transfer learning çoğu zaman pretrain + adapt akışı şeklinde görülür. Ama kavramsal olarak bunun kapsamı daha geniştir. Transfer, bir modeli bir görevden diğerine taşımak, bir alanın temsillerini başka alanda kullanmak, bir backbone’u dondurup üstüne yeni bir kafa eklemek ya da az veri olan hedef problemde önceden öğrenilmiş yapıyı kullanmak anlamına gelebilir.

Transfer Learning’in Temel Mantığı

• Kaynak görev veya veri alanında öğrenilen bilgi tamamen atılmaz
• Bu bilgi hedef görev için başlangıç avantajı sağlar
• Özellikle veri azlığı, maliyet ve zaman baskısı olduğunda büyük avantaj üretir

Yosinski ve arkadaşlarının 2014 tarihli çalışması, derin ağlarda özelliklerin katmanlara göre farklı derecede transfer edilebilir olduğunu ve alt katmanların çoğu zaman daha genel, üst katmanların ise daha görev-özel hale geldiğini gösterdi. Aynı çalışma, görevler arası mesafe arttıkça transfer edilebilirliğin düştüğünü ama uzak görevlerden gelen özelliklerin bile rastgele başlangıca göre avantaj sağlayabildiğini raporladı. :contentReference[oaicite:2]{index=2}

Transfer Learning Türleri

• Feature extraction: Önceden eğitilmiş temsilleri sabit tutup üstüne yeni görev katmanı eklemek
• Partial transfer: Bazı katmanları dondurup bazılarını güncellemek
• Full transfer + adaptation: Tüm modeli hedef göreve göre yeniden uyarlamak
• Domain adaptation: Aynı görev ama farklı veri dağılımı için temsilleri uyarlamak

Dolayısıyla transfer learning bir teknikten çok, yeniden kullanım mantığını tanımlayan geniş bir çerçevedir.

Fine-tuning, önceden eğitilmiş bir modeli hedef görev veya hedef veri alanına uyarlamak amacıyla parametrelerini kısmen veya tamamen güncelleme sürecidir. Yani fine-tuning çoğu zaman transfer learning’in uygulanma biçimlerinden biridir.

Buradaki kritik nokta şudur: transfer learning her zaman full fine-tuning gerektirmez. Bazen yalnızca dondurulmuş temsiller kullanılır, bazen linear probing yapılır, bazen yalnızca son katmanlar güncellenir, bazen de adapter veya LoRA benzeri parameter-efficient yöntemlerle modelin küçük bir bölümü eğitilir. Bu nedenle fine-tuning, transfer learning evreninin içindeki önemli ama tek olmayan yöntem ailesidir.

Fine-Tuning’in Temel Amaçları

• Kaynak modelin genel bilgisini hedef göreve yaklaştırmak
• Yeni etiket dağılımına uyum sağlamak
• Hedef alanın jargon, stil veya veri özelliklerine adapte olmak
• Temsilleri daha görev-uygun hale getirmek

ULMFiT, NLP’de genel dil modeli ön eğitimi ile hedef görev fine-tuning’ini güçlü biçimde sistematikleştiren dönüm noktalarından biridir. Makale, dil modeli fine-tuning’inin etkili tekniklerle herhangi bir metin sınıflandırma görevine taşınabildiğini ve az etiketli durumda bile önemli avantaj ürettiğini gösterdi. :contentReference[oaicite:3]{index=3}

BERT ise büyük ölçekte pre-training + fine-tuning paradigmasını daha da merkezileştirerek, önceden eğitilmiş çift yönlü dil temsillerinin çok farklı aşağı görevlerde küçük görev-özel başlıklarla fine-tune edilebildiğini gösterdi. :contentReference[oaicite:4]{index=4}

Bu ilişkiyi en temiz şekilde üç katmanlı bir çerçeve olarak düşünebiliriz:

1. Representation Learning = “Model ne tür bilgi öğreniyor?”

Burada odak, ham veriden nasıl yararlı iç yapılar çıkarıldığıdır. Bu katman olmadan iyi transfer genellikle mümkün değildir.

2. Transfer Learning = “Bu öğrenilmiş bilgiyi başka yerde nasıl kullanıyoruz?”

Burada odak, yeniden kullanım stratejisidir. Aynı bilgi başka görevde, başka alanda veya az veri senaryosunda avantaj sağlıyor mu?

3. Fine-Tuning = “Bu yeniden kullanımı pratikte nasıl uyarlıyoruz?”

Burada odak, parametre güncelleme ve adaptasyon mekanizmasıdır. Tüm model mi güncellenecek, bir kısmı mı, yoksa parameter-efficient yol mu izlenecek?

Bu yapı sayesinde kavramsal hiyerarşi netleşir: representation learning daha temel, transfer learning daha stratejik, fine-tuning ise daha operasyoneldir.

Derin öğrenmenin erken dönemlerinde representation learning daha çok “elle özellik çıkarma yerine otomatik özellik öğrenme” devrimi olarak görüldü. Autoencoder’lar, RBM’ler ve derin ağlar sayesinde modelin kendi iç temsillerini öğrenmesi büyük bir kırılmaydı. Ardından bilgisayarla görmede ImageNet ön eğitimi ve başka görsel görevlere transfer, transfer learning’i pratik standart haline getirdi.

Daha sonra NLP’de ULMFiT ve BERT gibi çalışmalar pre-training + fine-tuning paradigmasını yaygınlaştırdı. Böylece representation learning yalnızca belirli bir görevin ara çıktısı olmaktan çıktı; büyük ölçekli ön eğitim sayesinde başlı başına yeniden kullanılabilir bir kaynak haline geldi. Fine-tuning ise bu temsilleri yeni görevlere bağlayan standart köprüye dönüştü. :contentReference[oaicite:5]{index=5}

Sonraki aşamada parameter-efficient fine-tuning yöntemleri ortaya çıktı. Houlsby ve arkadaşlarının adapter yaklaşımı, tüm modeli yeniden eğitmenin her görev için pahalı olduğunu ve az sayıda ek parametreyle benzer performansa yaklaşılabileceğini gösterdi. Böylece fine-tuning, “tüm modeli yeniden güncelleme” ile sınırlı olmaktan çıkıp daha modüler hale geldi. :contentReference[oaicite:6]{index=6}

Transfer learning’in başarılı olmasının temel nedeni, modelin öğrendiği temsillerin yalnızca tek bir örnek kümesine özgü olmamasıdır. Eğer model gerçekten işe yarar bir temsil öğrenmişse, bu temsil başka görevde de kullanılabilecek genel sinyaller taşır.

Örneğin bir görüntü modeli alt katmanlarda kenar, doku ve yerel şekiller öğrenebilir. Bunlar tek bir sınıflandırma görevi için değil, birçok görsel görev için faydalıdır. Benzer şekilde dil modelleri sözdizim, kelime ilişkileri, bağlam çözümleme ve anlam örüntüleri öğrenir; bunlar daha sonra sınıflandırma, soru-cevap, özetleme veya bilgi çıkarımı gibi görevlerde yeniden kullanılabilir.

Dolayısıyla representation learning ne kadar güçlü ve genelleştirilebilir ise, transfer learning’in başlangıç noktası da o kadar verimli olur.

Hayır. Bu çok önemli bir ayrımdır. Transfer learning her zaman fine-tuning anlamına gelmez.

Fine-Tuning Gerekmeyebilecek Durumlar

• Önceden eğitilmiş encoder’dan embedding çıkarıp sabit özellik olarak kullanmak
• Frozen backbone + küçük görev başlığı ile iyi sonuç almak
• Linear probing ile hedef görev için yeterli ayrımı elde etmek
• Hedef görev çok küçükse full fine-tuning ile aşırı uyum riski taşımak

Fine-Tuning’in Gerekli Olduğu Durumlar

• Hedef görev kaynak görevden belirgin biçimde farklıysa
• Alan jargonu veya stil çok değiştiyse
• Daha yüksek görev-özel performans gerekiyorsa
• Mevcut temsiller hedef görevi ayırmakta yetersiz kalıyorsa

Yani fine-tuning otomatik varsayılan değil; görev, veri ve maliyet dengesiyle seçilmesi gereken bir adaptasyon kararıdır.

Linear Probing

Önceden öğrenilmiş temsiller sabit tutulur, sadece üstte küçük bir doğrusal sınıflandırıcı eğitilir. Bu, representation learning’in kalitesini ölçmek için de sık kullanılır.

Partial Fine-Tuning

Genelde alt katmanlar dondurulur, üst katmanlar veya başlık güncellenir. Böylece genel temsiller korunurken görev-özel uyarlama yapılır.

Full Fine-Tuning

Tüm parametreler hedef göreve göre güncellenir. En esnek ama en maliyetli yaklaşımlardan biridir.

PEFT / Adapter / LoRA Tarzı Yaklaşımlar

Modelin tamamını yeniden eğitmek yerine küçük ek parametre blokları üzerinden uyarlama yapılır. Bu, transfer learning’in daha verimli operasyonel biçimi olarak görülebilir.

Bu dört yaklaşımın tamamı transfer learning evrenine aittir; aralarındaki fark, temsilin ne kadarının korunacağı ve hedef göreve ne kadar müdahale edileceğidir.

1. Transfer Learning ile Fine-Tuning’i Aynı Şey Sanmak

Fine-tuning transfer learning’in yaygın bir yöntemidir; ama transfer learning bundan daha geniş bir çerçevedir.

2. Representation Learning’i Sadece Embedding Çıkarmak Sanmak

Representation learning çok daha temel bir konudur; modelin işe yarar iç yapıyı nasıl öğrendiğini anlatır.

3. İyi Temsil Varsa Her Görev Kolay Transfer Olur Sanmak

Görev mesafesi, alan farkı ve etiket yapısı transfer başarısını sınırlar.

4. Full Fine-Tuning’i Varsayılan Seçim Görmek

Bazı durumlarda frozen özellikler veya PEFT daha doğru olabilir.

5. Transfer Başarısızlığını Sadece Model Gücüyle Açıklamak

Asıl sorun, temsilin hedef göreve uygun olmaması, görevler arası mesafenin yüksekliği veya yanlış adaptasyon stratejisi olabilir.

Bugün kurumsal yapay zekâ projelerinin büyük bölümü sıfırdan model eğitmek yerine önceden eğitilmiş temsillerden yararlanır. Bunun nedeni nettir:

• Daha az veriyle daha güçlü başlangıç sağlar
• Eğitim maliyetini düşürür
• Daha kısa sürede prototip ve üretim hattı kurulmasını sağlar
• Foundation model ekosistemiyle uyumludur
• Az veri ve alan-özel problem senaryolarında çok güçlüdür

Dolayısıyla representation learning, transfer learning ve fine-tuning üçlüsü; modern AI ürün geliştirmede teorik konu olmanın ötesinde, doğrudan zaman, maliyet ve kalite belirleyen stratejik başlıklardır.

Kavram	Temel Soru	Rolü
Representation Learning	Model veriden nasıl yararlı iç yapılar öğreniyor?	Temel öğrenme zemini
Transfer Learning	Öğrenilmiş bilgi başka görevde nasıl yeniden kullanılıyor?	Yeniden kullanım stratejisi
Fine-Tuning	Bu yeniden kullanım hedef göreve nasıl uyarlanıyor?	Operasyonel adaptasyon mekanizması

1. Önce Temsilin Kalitesini, Sonra Adaptasyon Biçimini Düşün

Kötü temsil üzerine agresif fine-tuning çoğu zaman sürdürülebilir avantaj getirmez.

2. Transfer Learning’i Tek Yöntem Gibi Görme

Frozen encoder, linear probe, partial tuning ve PEFT arasında use-case bazlı seçim yap.

3. Görev Mesafesini Ciddiye Al

Kaynak ve hedef görev birbirinden uzaklaştıkça transfer stratejisini daha dikkatli seçmek gerekir.

4. Full Fine-Tuning’i Ancak Gerekirse Aç

Maliyet, depolama ve görev sayısı arttıkça parameter-efficient yollar daha rasyonel hale gelir.

5. Temsil, Transfer ve Adaptasyonu Ayrı Metriklerle Değerlendir

Modelin ne öğrendiği, ne taşıdığı ve ne kadar iyi uyarladığı aynı şey değildir.

İlk 30 Gün: Temsil ve Görev Haritasını Çıkar

• Kaynak modelin ne tür veri ve görev üzerinde eğitildiğini netleştir
• Hedef görev ile kaynak görev arasındaki mesafeyi analiz et
• Frozen feature + linear probe başlangıcını kıyaslama noktası olarak kur

31-60 Gün: Adaptasyon Stratejisini Seç

• Partial fine-tuning, full fine-tuning ve PEFT seçeneklerini karşılaştır
• Veri miktarı, maliyet ve görev sayısına göre en uygun yolu belirle
• Temsil kalitesini ve görev başarımını ayrı izle

61-90 Gün: Üretim ve Ölçekleme Kararını Ver

• Seçilen uyarlama yönteminin inference, depolama ve bakım maliyetini değerlendir
• Yeni görevler geldikçe transfer stratejisinin sürdürülebilirliğini ölç
• İlk kurumsal model adaptation standardını yayınla

Transfer learning, fine-tuning ve representation learning aynı kavram değildir; ama modern derin öğrenmenin en güçlü zincirlerinden birini birlikte oluştururlar. Representation learning, modelin veriden anlamlı iç bilgi yapıları öğrenmesini sağlar. Transfer learning, bu bilginin başka görevlerde yeniden kullanılabileceğini söyler. Fine-tuning ise bu yeniden kullanımı hedef göreve uyarlayan pratik mekanizmayı sunar.

Bu nedenle doğru soru “hangisi daha önemli?” değildir. Asıl soru, bu üç katmanın belirli problemde nasıl doğru sırayla ve doğru yoğunlukta kullanılacağıdır. Güçlü temsil yoksa transfer zayıflar. Transfer stratejisi yanlışsa fine-tuning verimsizleşir. Fine-tuning yanlış seçilirse iyi temsilin avantajı boşa gider.

Uzun vadede başarılı ekipler, model adı ezberleyen ekipler değil; temsilin ne olduğunu, neyin transfer edildiğini ve hangi düzeyde adaptasyon gerektiğini anlayan ekipler olacaktır.

Transfer learning ile fine-tuning aynı şey midir?

Hayır. Fine-tuning, transfer learning’in en yaygın uygulama biçimlerinden biridir; ama transfer learning bundan daha geniş bir stratejik çerçevedir.

Representation learning neden bu kadar temeldir?

Çünkü modelin başka görevlere taşıyabileceği bilginin kalitesini belirleyen şey, veriden öğrendiği iç temsillerdir.

Fine-tuning her zaman gerekli midir?

Hayır. Bazı görevlerde frozen temsiller ve küçük bir görev başlığı yeterli olabilir.

Full fine-tuning mi, parameter-efficient tuning mi daha doğrudur?

Bu görev farkına, veri miktarına, maliyet sınırına ve çoklu görev ihtiyacına bağlıdır. Evrensel tek doğru yoktur.

Transfer neden bazen başarısız olur?

Kaynak ve hedef görev çok uzak olabilir, öğrenilmiş temsiller hedef problemi yeterince yansıtmıyor olabilir veya seçilen adaptasyon yöntemi yanlış olabilir.