İçeriğe geç

OpenAI GPT-5/5.1 Distillation Pipeline: Stored Completions + FT API Karması

OpenAI 'Stored Completions' özelliği (2024+): GPT-5/5.1 ile inference yaptıktan sonra completion'ları sakla → distill için bedava dataset. Bu completion'ları GPT-4o-mini'ye FT et → small-model-big-knowledge transfer. Lisans önemli (sadece kendi API anahtarınla yaptığın completions).

Şükrü Yusuf KAYA
22 dakikalık okuma
İleri
OpenAI GPT-5/5.1 Distillation Pipeline: Stored Completions + FT API Karması

1. Distillation Workflow#

1. Production'da GPT-5 ile inference yap
   client.chat.completions.create(model="gpt-5", messages=[...], store=True)
2. OpenAI dashboard'tan stored completions'ı download (JSONL)
3. Bu completions'ı FT dataset olarak GPT-4o-mini'ye FT et
4. Inference'i GPT-4o-mini-ft'a yönlendir → maliyet %95 düşer, kalite GPT-5'in %80-90'ı
Cost saving: GPT-5 input 10/M,output10/M, output 30/M. GPT-4o-mini-ft input 0.30,output0.30, output 1.20. 30-50x cheaper for ~%85 kalite.
✅ Teslim
  1. Production traffic'inde 1000 GPT-5 completion sakla. 2) GPT-4o-mini'ye FT et. 3) A/B test (GPT-5 vs FT'lı mini). 4) Sonraki ders: 14.4 — Anthropic Claude (Bedrock).

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

İlgili İçerikler

Part 0 — Engineering Foundations

Fine-Tuning Cookbook'a Hoş Geldin: Sistematik, Stage Taksonomisi ve Reproducibility Kontratı

Öğrenmeye Başla
Part 0 — Engineering Foundations

Reproducibility Stack: Seeds, cuDNN Flags ve Deterministic CUDA — 'Sende Niye Çalışıyor Bende Çalışmıyor' Sorununu Bitir

Öğrenmeye Başla
Part 0 — Engineering Foundations

Environment Pinning: uv + pyproject.toml, CUDA Version Matrix ve Container Reçeteleri

Öğrenmeye Başla