İçeriğe geç

Kapanış Projesi: Sektörel Asistan Tasarla, Eval'le, Dağıt

Eğitim boyunca öğrendiğin her şeyi kullanarak: kendi sektöründe çözeceğin gerçek bir problem için uçtan uca bir LLM asistanı tasarla.

Şükrü Yusuf KAYA
25 dakikalık okuma
İleri

Final Proje: Uçtan Uca Sektörel Asistan

🎉 Tebrikler! Buraya geldiysen, eğitimin %95'ini tamamladın.
Şimdi hepsini birleştirelim: kendi sektörün için gerçek bir problem seç ve production-grade bir LLM asistanı tasarla.

Proje Gereksinimleri#

Projen şunları mutlaka içermeli:
  1. Problem tanımı (1 sayfa) — sektör, kullanıcı, ROI tahmini
  2. System prompt (CLEAR-T çerçevesiyle, 200-500 kelime)
  3. Few-shot örnekleri (en az 3-5)
  4. Tool / Function calling (en az 2 fonksiyon)
  5. Structured output (Pydantic / Zod schema)
  6. Eval set (en az 30 örnek, etiketli)
  7. Eval pipeline (Promptfoo veya custom Python)
  8. Guardrails (input filter + output validator)
  9. Observability (en az logging + 3 metric)
  10. README (deployment + maintenance dokümantasyonu)

Önerilen Proje Fikirleri#

Yazılım#

  • AI Code Reviewer (GitHub Action)
  • Test Generator
  • Migration Helper
  • Documentation Generator

Pazarlama#

  • SEO Content Brief Generator
  • Brand-locked Copy Engine
  • Reklam A/B Generator

E-Ticaret#

  • Multilingual Product Descriptions
  • Personalized Recommendation Engine
  • Customer Review Analyzer

Finans#

  • Annual Report Summarizer
  • Risk Score Calculator
  • KAP Announcement Analyzer

Hukuk#

  • Contract Risk Analyzer
  • Legal Q&A (RAG with Türk mevzuatı)
  • NDA Drafting Assistant

Eğitim / Sağlık / İK#

  • Adaptive Tutor
  • Patient Information Generator
  • CV Bias-Aware Screener

Proje Aşamaları#

Proje Teslim Formatı#

GitHub repo'su yeterli:
text
final-project/
├── README.md ← Demo screenshots + docs
├── docs/
│ ├── problem.md ← 1 sayfa problem definition
│ ├── architecture.md ← Sistem diyagramı
│ └── eval-results.md ← Final metrics
├── prompts/
│ ├── system.md
│ ├── few-shot.json
│ └── tools.json
├── src/
│ ├── main.py ← Ana giriş
│ ├── tools.py ← Tool implementasyonları
│ ├── schemas.py ← Pydantic models
│ └── observability.py ← Logging
├── evals/
│ ├── golden-set.jsonl ← Test data
│ └── run.py ← Eval pipeline
├── tests/
│ └── test_*.py
├── .env.example
└── requirements.txt
Final proje repo yapısı

Değerlendirme Kriterleri#

text
RUBRIC (100 puan):
- Problem tanımı + iş değeri (10)
- System prompt kalitesi + CLEAR-T (15)
- Tool/schema tasarımı (15)
- Eval set kapsamı + kalite (15)
- Eval pipeline + skoru ≥ %80 (15)
- Guardrails (input + output) (10)
- Observability (logging + metric) (10)
- Dokümantasyon kalitesi (10)
 
Bonus (+20):
- RAG entegrasyonu (+5)
- Multi-vendor failover (+5)
- A/B test setup (+5)
- Production deploy + demo URL (+5)
 
Sertifika için minimum: 70 puan + final sınavdan %70+
Proje değerlendirme rubric'i
İpucu: Mükemmel olmaya çalışma — çalışan + test edilmiş olmaya çalış. 30 örnek eval'de %85 skor, 5 örnek eval'de %100'den çok daha kıymetli. Honesty over perfection.

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

İlgili İçerikler