TR Benchmarking Suite: TR-MMLU + Mukayese + TruthfulQA-TR + BBQ-TR + Custom

1. TR Benchmark Suite#

2. CI Regression Alarms#

# compare_to_baseline.py
import json

current = json.load(open("eval.json"))
baseline = json.load(open("baseline.json"))

threshold = 0.02   # %2 regression tolere edilir

for task in ["mmlu_tr", "mukayese", "truthfulqa_tr", "bbq_tr"]:
    delta = current[task]["acc"] - baseline[task]["acc"]
    if delta < -threshold:
        print(f"❌ {task} REGRESSION: {baseline[task]['acc']:.3f} → {current[task]['acc']:.3f} (Δ={delta:.3f})")
        exit(1)
    else:
        print(f"✅ {task}: {current[task]['acc']:.3f} (Δ={delta:+.3f})")

• Her FT iteration sonrası bu suite'i koş
• Eğer 3 task'ın 2'sinden fazlasında regression → release blocker
• Production deploy öncesi tüm 4 benchmark'ta improvement gerekli