Gisting ve Soft-Prompt Tuning: Prompt'u Embedding Vektörlerine Sıkıştırmak

Gisting Nedir?#

Long prompt → bir veya birkaç **"gist token"**a indir. Gist token modelin sistem prompt'unu "hatırlamasını" sağlar.

Sürec#

1. Long sistem prompt: 500 token
2. Modeli eğit (Llama, Mistral fine-tune): prompt'u 1-3
   <gist>
   token'a sıkıştır
3. Inference'ta:
   <gist>
   token + user query → response

Soft-Prompt Tuning (Prefix Tuning)#

• Hard prompt: text token'ı (insan-okunabilir)
• Soft prompt: dense vector (continuous embedding)

Hard prompt: "You are a helpful assistant. ..."
Soft prompt: [0.234, -0.187, 0.566, ..., -0.099]  ← 50-1000 vector

Avantaj#

• Prompt artık 0 token input (soft prompt çoğu modelde input'a saymaz, embedding olarak gider)
• Aynı görev için hard prompt 1000 token vs soft prompt 0 token

Dezavantaj#

• Fine-tuning gerektirir
• Model-spesifik (her model için ayrı eğitim)
• Closed-source modeller (GPT, Claude) bunu sağlamıyor — sadece self-hosted modellerde

Production Gerçekliği#

Şu an kullanılan#

• Custom enterprise çözümlerde (büyük ölçekli, milyarlarca istek)
• Specific use case'lerde (ürün ekibinin bir sistem prompt'unu fine-tune ettiği)
• Self-hosted open-weight modellerde

Şu an YAYGIN DEĞİL#

• General-purpose B2B SaaS'larda — emek/karmaşıklık değmiyor
• Closed-source API'lerde (OpenAI, Anthropic) — destek yok

Yaygınlaşma tahmini#

• 2026 sonu — orta-büyük ölçek
• 2027 — production normal pattern

Karşılaştırma#

Pratik Çıkarım#

• 6.3 — Embedding-based selection (RAG'da yaygın)
• 6.4 — Distillation (LLM-to-LLM knowledge transfer)
• 6.5 — Kalite-monitored compression (her tekniğin metodolojisi)

Kaynaklar#

• Mu et al. "Learning to Compress Prompts with Gist Tokens" (NeurIPS 2023)
• Li & Liang "Prefix-Tuning" (ACL 2021)
• Lester et al. "The Power of Scale for Parameter-Efficient Prompt Tuning" (EMNLP 2021)