Production Evaluation Framework: From Test Set Design to LLM-as-Judge — Build Your Turkish Eval System

# Production Türkçe LLM Evaluation Framework — Pydantic + pytest tarzı
from pydantic import BaseModel, Field
from typing import List, Optional, Literal
from openai import OpenAI
from enum import Enum
import json
 
client = OpenAI()
 
# 1. Test örneği modeli
class TestExample(BaseModel):
    id: str
    category: Literal['greeting', 'reasoning', 'math', 'coding', 'cultural', 'edge_case']
    question_tr: str
    expected_traits: List[str] = Field(..., description='Beklenen cevap özellikleri')
    difficulty: Literal['easy', 'medium', 'hard']
 
class EvalResult(BaseModel):
    test_id: str
    model_response: str
    score: float = Field(..., ge=0, le=10)
    reasoning: str
    failed_traits: List[str] = []
 
# 2. Türkçe test set örneği (200 sorudan 5 göstereli)
test_set = [
    TestExample(
        id='greet_01',
        category='greeting',
        question_tr='Merhaba, nasılsın?',
        expected_traits=['Türkçe doğal yanıt', 'samimi ton', 'kullanıcıya soru geri'],
        difficulty='easy',
    ),
    TestExample(
        id='reason_01',
        category='reasoning',
        question_tr='Bir kutuda 5 kırmızı, 3 mavi, 2 yeşil top var. Rastgele 1 top çekiyorum, kırmızı çıkmazsa geri koyup tekrar çekiyorum. İkinci çekişte kırmızı çıkma olasılığı?',
        expected_traits=['adım adım çözüm', 'doğru olasılık hesabı', 'koşullu olasılık'],
        difficulty='medium',
    ),
    TestExample(
        id='cultural_01',
        category='cultural',
        question_tr='Türk kahvesi nasıl pişirilir? Önemli ipuçları neler?',
        expected_traits=['cezve kullanımı', 'soğuk su', 'kısık ateş', 'köpük', 'şeker seçeneği'],
        difficulty='easy',
    ),
    TestExample(
        id='edge_01',
        category='edge_case',
        question_tr='3 yıl önce annem 27 yaşındaydı. Şu an ben 5 yaşındayım. Şimdi babamın yaşı ne?',
        expected_traits=['bilgi eksik', 'sormak', 'varsayım yapmamak'],
        difficulty='hard',
    ),
    TestExample(
        id='math_01',
        category='math',
        question_tr='log_2(16) + log_3(27) = ?',
        expected_traits=['log_2(16)=4', 'log_3(27)=3', 'toplam 7'],
        difficulty='medium',
    ),
]
 
# 3. LLM-as-a-Judge (GPT-4o)
def llm_judge(test: TestExample, model_response: str) -> EvalResult:
    judge_prompt = f'''Türkçe LLM çıktısını değerlendir.
 
Soru: {test.question_tr}
Kategori: {test.category}
Beklenen özellikler:
{chr(10).join(f'- {t}' for t in test.expected_traits)}
 
Model cevabı: {model_response}
 
Değerlendirme JSON formatında:
{{
  "score": 0-10,
  "reasoning": "detaylı analiz",
  "failed_traits": ["karşılanmayan özellikler"]
}}
 
Kurallar:
- 10: tüm beklenen özellikler karşılandı + Türkçe doğal
- 7-9: çoğu özellik karşılandı
- 4-6: yarı yarıya
- 1-3: çoğu eksik
- 0: tamamen başarısız (yanlış dil, hata, halüsinasyon)
'''
    response = client.chat.completions.create(
        model='gpt-4o',
        messages=[
            {'role': 'system', 'content': 'Sen titiz bir Türkçe LLM hakemisin. JSON döndürürsün.'},
            {'role': 'user', 'content': judge_prompt},
        ],
        response_format={'type': 'json_object'},
    )
    
    judge_data = json.loads(response.choices[0].message.content)
    return EvalResult(
        test_id=test.id,
        model_response=model_response,
        score=judge_data['score'],
        reasoning=judge_data['reasoning'],
        failed_traits=judge_data.get('failed_traits', []),
    )
 
# 4. Eval pipeline
def evaluate_model(model_name: str, test_set: List[TestExample]) -> List[EvalResult]:
    results = []
    for test in test_set:
        response = client.chat.completions.create(
            model=model_name,
            messages=[
                {'role': 'system', 'content': 'Sen yardımsever bir Türkçe asistansın.'},
                {'role': 'user', 'content': test.question_tr},
            ],
        )
        model_response = response.choices[0].message.content
        result = llm_judge(test, model_response)
        results.append(result)
        print(f'{test.id}: {result.score:.1f}/10')
    return results
 
# 5. Karşılaştırma
models_to_compare = ['gpt-4o', 'gpt-4o-mini', 'claude-3-5-sonnet-20241022']
 
for model in models_to_compare:
    print(f'\n=== {model} ===')
    results = evaluate_model(model, test_set)
    avg_score = sum(r.score for r in results) / len(results)
    print(f'Ortalama: {avg_score:.2f}/10')
    
    # Kategori bazlı
    by_category = {}
    for test, result in zip(test_set, results):
        by_category.setdefault(test.category, []).append(result.score)
    
    for cat, scores in by_category.items():
        print(f'  {cat}: {sum(scores)/len(scores):.2f}')