Kapanış Projesi: Sektörel Asistan Tasarla, Eval'le, Dağıt
Eğitim boyunca öğrendiğin her şeyi kullanarak: kendi sektöründe çözeceğin gerçek bir problem için uçtan uca bir LLM asistanı tasarla.
Şükrü Yusuf KAYA
25 min read
AdvancedFinal Proje: Uçtan Uca Sektörel Asistan
🎉 Tebrikler! Buraya geldiysen, eğitimin %95'ini tamamladın.
Şimdi hepsini birleştirelim: kendi sektörün için gerçek bir problem seç ve production-grade bir LLM asistanı tasarla.
Proje Gereksinimleri#
Projen şunları mutlaka içermeli:
- Problem tanımı (1 sayfa) — sektör, kullanıcı, ROI tahmini
- System prompt (CLEAR-T çerçevesiyle, 200-500 kelime)
- Few-shot örnekleri (en az 3-5)
- Tool / Function calling (en az 2 fonksiyon)
- Structured output (Pydantic / Zod schema)
- Eval set (en az 30 örnek, etiketli)
- Eval pipeline (Promptfoo veya custom Python)
- Guardrails (input filter + output validator)
- Observability (en az logging + 3 metric)
- README (deployment + maintenance dokümantasyonu)
Önerilen Proje Fikirleri#
Proje Aşamaları#
Proje Teslim Formatı#
GitHub repo'su yeterli:
text
final-project/├── README.md ← Demo screenshots + docs├── docs/│ ├── problem.md ← 1 sayfa problem definition│ ├── architecture.md ← Sistem diyagramı│ └── eval-results.md ← Final metrics├── prompts/│ ├── system.md│ ├── few-shot.json│ └── tools.json├── src/│ ├── main.py ← Ana giriş│ ├── tools.py ← Tool implementasyonları│ ├── schemas.py ← Pydantic models│ └── observability.py ← Logging├── evals/│ ├── golden-set.jsonl ← Test data│ └── run.py ← Eval pipeline├── tests/│ └── test_*.py├── .env.example└── requirements.txtFinal proje repo yapısı
Değerlendirme Kriterleri#
text
RUBRIC (100 puan):- Problem tanımı + iş değeri (10)- System prompt kalitesi + CLEAR-T (15)- Tool/schema tasarımı (15)- Eval set kapsamı + kalite (15)- Eval pipeline + skoru ≥ %80 (15)- Guardrails (input + output) (10)- Observability (logging + metric) (10)- Dokümantasyon kalitesi (10) Bonus (+20):- RAG entegrasyonu (+5)- Multi-vendor failover (+5)- A/B test setup (+5)- Production deploy + demo URL (+5) Sertifika için minimum: 70 puan + final sınavdan %70+Proje değerlendirme rubric'i
İpucu: Mükemmel olmaya çalışma — çalışan + test edilmiş olmaya çalış. 30 örnek eval'de %85 skor, 5 örnek eval'de %100'den çok daha kıymetli. Honesty over perfection.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...
Related Content
1. Temeller — Yapay Zekâ ve LLM'lere Giriş
Bu Eğitim Hakkında ve Verimli Çalışma Yöntemi
Start Learning1. Temeller — Yapay Zekâ ve LLM'lere Giriş
Yapay Zekâ → Üretken AI → LLM: Bağlamsal Harita
Start Learning1. Temeller — Yapay Zekâ ve LLM'lere Giriş