Prompt Distillation: Büyük Modelin Promptunu Küçük Modele Aktarmak ve %95 Maliyet Düşüşü

Distillation — Genel Mantık#

TEACHER (Sonnet 4.6) — pahalı, kaliteli
   ↓
   Bir görev verisini cevaplar (örn. 1000 örnek)
   ↓
[(input, output) çiftleri]
   ↓
STUDENT (Haiku 4.5) — ucuz, fine-tune edilebilir
   ↓
   Teacher'ın output'larını mimic etmeyi öğrenir

Hangi Görevler Distillation'a Uygun?#

✅ İyi adaylar#

• Tek-domain görevler (e-ticaret sınıflandırma, customer support routing)
• Tekrarlanan görevler (her gün milyonlarca tahmin)
• Specific output format (JSON, classification labels)
• Türkçe-ağırlıklı (small model Türkçe için fine-tune ile çok iyileşir)

❌ Kötü adaylar#

• Genel-amaç chatbot
• Düşük-volume kullanım (fine-tune maliyeti amortize olmaz)
• Sürekli değişen prompt'lar
• Cutting-edge reasoning (small model'ın yetenek sınırı)

Distillation Pipeline — 5 Adım#

Adım 1 — Veri Toplama#

# Production loglarından
training_data = []
for log_entry in production_logs:
    training_data.append({
        "input": log_entry["user_message"],
        "teacher_output": log_entry["sonnet_response"],
    })

# Hedef: 1000-10.000 örnek
print(f"Topladığımız örnek: {len(training_data)}")

Adım 2 — Quality Filter#

def quality_filter(example):
    # Bazı checks
    if len(example["teacher_output"]) < 10: return False  # çok kısa
    if "I cannot" in example["teacher_output"]: return False  # refusal
    if has_pii(example["teacher_output"]): return False  # PII
    return True

filtered = [ex for ex in training_data if quality_filter(ex)]

Adım 3 — Format için JSONL#

# OpenAI fine-tune format
with open("training.jsonl", "w") as f:
    for ex in filtered:
        record = {
            "messages": [
                {"role": "system", "content": "You are a customer support agent..."},
                {"role": "user", "content": ex["input"]},
                {"role": "assistant", "content": ex["teacher_output"]},
            ]
        }
        f.write(json.dumps(record) + "\n")

Adım 4 — Fine-tune#

# OpenAI fine-tune (GPT-5-mini için)
file_id = openai.files.create(file=open("training.jsonl", "rb"), purpose="fine-tune")
job = openai.fine_tuning.jobs.create(
    training_file=file_id.id,
    model="gpt-5-mini-2026-01-15",  # snapshot version
    hyperparameters={"n_epochs": 3},
)
# Wait, monitor, get fine-tuned model ID

Adım 5 — Eval#

# Test set (100-200 örnek, training'den farklı)
test_set = load_test_data()

results = []
for ex in test_set:
    student_output = call_finetuned(ex["input"])
    teacher_output = ex["teacher_output"]

    # LLM-as-judge ile karşılaştır
    score = judge_quality(student_output, teacher_output)
    results.append(score)

avg_quality = np.mean(results)
print(f"Quality vs teacher: {avg_quality:.2f}")  # hedef >= 0.85

Break-Even Analizi#

Maliyet#

Tasarruf#

Break-even#

Yıllık tasarruf#

Sınırlamalar#

1. Kalite uçurum sınırı#

2. Drift#

3. Multilingual#

4. Fine-tune fiyatı#

Alternatifler — Distillation yapamıyorsan#

Alt 1 — Prompt-engineering only#

Alt 2 — Self-hosted distillation#

Alt 3 — RAG-augmented small model#