DPO / KTO Dataset Engineering: Chosen/Rejected Triplet Üretiminin Mühendisliği

1. 5 Üretim Stratejisi#

2. Regex-Graded Pairs (Verifiable Domain)#

def grade_math(question, response):
    """Math problem'ın doğru cevabını regex ile yakala."""
    correct = solve_math(question)             # SymPy ile
    match = re.search(r"sonu(c|ç).*?(\\d+)", response, re.I)
    if match and int(match.group(2)) == correct:
        return "correct"
    return "incorrect"

# Aynı prompt'a N farklı temperature ile cevap üret, birini chosen birini rejected
correct_responses = []
incorrect_responses = []
for _ in range(5):
    r = generate(question, temperature=0.7)
    if grade_math(question, r) == "correct":
        correct_responses.append(r)
    else:
        incorrect_responses.append(r)

if correct_responses and incorrect_responses:
    pair = {"prompt": question,
            "chosen": correct_responses[0],
            "rejected": incorrect_responses[0]}

3. Length Bias Trap#

• Length-controlled DPO: chosen ve rejected'i benzer uzunlukta seç
• Length-aware reward: judge'a "uzunluk dikkate alma" instruction'ı

def filter_length_control(pair, max_ratio=1.5):
    """Chosen / rejected uzunluk oranı 1.5x'i geçmesin."""
    l_c, l_r = len(pair["chosen"]), len(pair["rejected"])
    if max(l_c, l_r) / min(l_c, l_r) > max_ratio:
        return None
    return pair

balanced = [p for p in pairs if filter_length_control(p)]

4. KTO — Tek-Yönlü Preference#

{
  "prompt": "Ankara'nın nüfusu nedir?",
  "completion": "Yaklaşık 5.6 milyon (2024).",
  "label": true   // veya false
}