Cache Miss Anatomisi: Hassasiyet Dersi

Exact Prefix Matching Kuralı#

İki istekteki ilk N karakter (token bazında) birebir aynıysa cache hit. Bir karakter farkı varsa: o noktadan itibaren cache miss + yeniden write.

En Sık 8 Tuzak#

Tuzak 1: System Prompt'a Tarih/Zaman Koymak#

# ❌ KÖTÜ
system = f"Bugün {datetime.now()}. Şirket bilgisi: ..."
# Her saniye değişir → her istek cache miss

# ✅ İYİ
system = "Şirket bilgisi: ..."
messages = [
    {"role": "user", "content": f"Bugün {datetime.now()}. Soru: ..."}
]
# Tarihi user mesajında tut, system stabil kalır

Tuzak 2: Random ID veya UUID#

# ❌ KÖTÜ
system = f"Session ID: {uuid.uuid4()}\n..."
# Her sessions için farklı → cache miss

# ✅ İYİ
system = "Session ID'ler aşağıda tracking için."
# Session ID'yi user mesajına veya conversation history'ye koy

Tuzak 3: Locale veya Personalization#

# ❌ KÖTÜ
def get_system(user):
    return f"Hello {user.name}. You are using {user.locale}..."
# Her kullanıcı ayrı cache → 1000 user = 1000 ayrı cache

# ✅ İYİ
def get_system():
    return "Asistan, kullanıcı bilgilerini user message'da görecek."

def make_request(user, query):
    return client.messages.create(
        system=[{"text": get_system(), "cache_control": ...}],
        messages=[
            {"role": "user", "content": f"User: {user.name} ({user.locale})\nSoru: {query}"}
        ]
    )
# Tüm kullanıcılar aynı system → shared cache

Tuzak 4: Trailing Whitespace / Encoding#

# ❌ KÖTÜ
SYSTEM = open("system.txt").read()  # Windows: CRLF, Linux: LF
# Aynı içerik farklı OS'lerde farklı bytes → cache miss

# ✅ İYİ
SYSTEM = open("system.txt").read().strip().replace("\r\n", "\n")
# Whitespace ve line ending normalize

Tuzak 5: Dynamic JSON Field'lar#

# ❌ KÖTÜ
tools = [
    {"name": "search", "description": f"Created: {creation_ts}, search..."},
]
# Tool description'da timestamp → cache miss

# ✅ İYİ
tools = [
    {"name": "search", "description": "Search products in catalog"},
]
# Stable, deterministik description

Tuzak 6: Dict/JSON Sırası#

# ❌ KÖTÜ
# Python dict iteration order is insertion order, but if you build it
# from two merges in random order...
system_data = {**stable_dict, **dynamic_dict}
system = json.dumps(system_data)  # field sırası değişebilir
# Aynı veri, farklı JSON çıktısı → cache miss

# ✅ İYİ
system = json.dumps(system_data, sort_keys=True)
# Always sorted, deterministik

Tuzak 7: Conversation History'de Eski Mesajları Truncate Etmek#

# ❌ KÖTÜ
# Conversation 50 turn'e çıktı, ilk 10'u sil
messages = messages[10:]
# Cache prefix değişti → tüm history yeniden write

# ✅ İYİ
# History'yi summarize et, en başta sabit özet tut
summary = summarize_old_messages(messages[:10])
new_history = [
    {"role": "user", "content": f"Önceki konuşma özeti: {summary}"},
    *messages[10:],
]
# Summary stabil, cache friendly

Tuzak 8: Tool Listesini Dinamik Üretmek#

# ❌ KÖTÜ
def get_tools(user):
    if user.is_admin:
        return ADMIN_TOOLS + USER_TOOLS
    else:
        return USER_TOOLS
# Admin'ler ve user'lar farklı cache

# ✅ İYİ (Anthropic için)
TOOLS = ADMIN_TOOLS + USER_TOOLS  # hep aynı liste
# Authorization'ı tool'un INSIDE'ında yap (admin değilse hata dön)

Debug Etme: Cache Miss'i Nasıl Bulursun?#

Pratik Tavsiyeler#

✓ Pekiştir#

Bir Sonraki Derste#