Output Kısaltma Teknikleri: max_tokens, Stop Sequences ve "Be Terse" Promptun Gerçek Etkisi

Teknik 1 —

max_tokens

Her İstekte Set Et#

Doğru ayar#

TASK_LIMITS = {
    "yes_no": 10,
    "extract_email": 30,
    "classify": 20,
    "short_summary": 150,
    "medium_response": 400,
    "long_summary": 800,
    "code_generation": 1500,
}

response = completion(
    model="claude-sonnet-4-6",
    messages=[...],
    max_tokens=TASK_LIMITS[task_type],
)

Kullanım pattern'ı izle#

SELECT
    feature,
    quantile(0.50)(output_tokens) AS p50,
    quantile(0.95)(output_tokens) AS p95,
    quantile(0.99)(output_tokens) AS p99,
    max(output_tokens) AS max
FROM llm_telemetry.requests
WHERE feature = 'summarization' AND ts >= now() - INTERVAL 7 DAY

Teknik 2 — Stop Sequence'ler#

Kullanışlı durumlar#

2.1 — Few-shot pattern sonlandırma

messages = [{
    "role": "user",
    "content": "Soru: ...\nCevap:"
}]
# Stop sequence: "\nSoru:" — model bir sonraki "Soru:"'ya gelince durur
response = completion(model=..., messages=messages, stop=["\nSoru:"])

2.2 — JSON wrap'i sonlandırma

# Anthropic prefill ile
messages = [
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "{"},
]
response = completion(model=..., messages=messages, stop=["}"])
result = "{" + response.choices[0].message.content + "}"

2.3 — Markdown section kesme

# Model markdown üretiyor, sadece ilk section'ı al
response = completion(model=..., messages=[...], stop=["\n## ", "\n### "])

Kaç stop sequence?#

Teknik 3 — "Be Terse" Prompt#

Be extremely concise. Respond with the minimum text needed.
Never use phrases like "Of course!", "Certainly", or "Here is...".
Skip greetings and closings.

Aşırı kısa cevap ver. Selamlama, "Tabii", "İşte burada" gibi
kalıpları kullanma. Sadece istediği bilgiyi ver.

A/B Test sonucu (kendi production'umda)#

Teknik 4 — Format Constraint#

"Cevabını maksimum 2 cümlede ver."
"Bullet point liste, her bullet 5-7 kelime."
"Sadece sayı dön, kelime yok."
"Tek kelimelik cevap."

Test sonuçları#

Teknik 5 — Preamble Yasaklama#

Sistem prompt'a ekle#

Asla cevaba "Tabii", "Elbette", "Anladım", "İşte" ile başlama.
Direkt asıl cevabı ver.

Teknik 6 — Erken Streaming Cancel#

Heuristic#

async def stream_with_smart_cancel():
    total_tokens = 0
    repeated_phrases = []

    async for chunk in stream:
        delta = chunk.choices[0].delta.content
        if not delta:
            continue
        total_tokens += 1
        yield delta

        # Erken kes - 200 token'dan fazlaysa ve tekrar ediyorsa
        if total_tokens > 200 and is_repeating(repeated_phrases):
            stream.close()
            break

Combined Impact#

Baseline (bir RAG cevap)#

• Output: 600 token
• Cost (Sonnet 4.6): $0.009

Optimize edilmiş#

• max_tokens=350 → %42 cap
• "Be terse" prompt → %45 ek azalma
• "No preamble" → 10 token tasarruf
• Format constraint ("max 3 cümle") → güçlü kısıtlama

Sonuç#

• Output: 150 token (-%75)
• Cost: $0.00225 (-%75)

Kalite Monitoring#

Metric'ler#

• Customer satisfaction (CSAT) — kullanıcı feedback'i
• Task completion rate — cevap kullanıcı sorununu çözdü mü?
• Re-ask rate — kullanıcı aynı soruyu tekrar mı soruyor?
• Human escalation rate — human-handoff oranı arttı mı?

Alert#

Eğer output kısaltma sonrası:
  - CSAT %5'ten fazla düştü → rollback
  - Re-ask rate %20'den fazla arttı → rollback
  - Task completion %3'ten fazla düştü → rollback
Aksi takdirde → ship