Context Compression: Bilgiyi Küçültme

1. Truncation (Asla)#

context = context[:50_000]  # ilk 50K karakter

2. Summarization#

# Şirket KB 500K → 50K özet
KB_FULL = open("full_kb.txt").read()         # 500K
KB_SUMMARY = open("kb_summary.txt").read()   # 50K (önceden LLM ile özetlendi)

# Production'da KB_SUMMARY kullan

# Conversation 50 turn'e ulaştı
def summarize_old_turns(history, keep_last=10):
    old = history[:-keep_last]
    new = history[-keep_last:]
    summary = llm.summarize(old)  # küçük model ile özet
    return [{"role": "system", "content": f"Önceki konuşma özeti: {summary}"}, *new]

3. Extraction#

# 100 sayfalık PDF → 20 madde halinde özetlenmiş bullet list
def extract_key_facts(document):
    response = llm.extract(
        document,
        schema={
            "key_facts": [{"fact": "string", "source_page": "int"}]
        }
    )
    return response.key_facts

4. Semantic Deduplication#

# 10 retrieved doc'tan 5'i benzer içeriği tekrarlıyor
def dedupe_docs(docs, similarity_threshold=0.85):
    unique = []
    for doc in docs:
        if not any(similarity(doc, u) > similarity_threshold for u in unique):
            unique.append(doc)
    return unique

5. Compression with Special Models#

# pip install llmlingua
from llmlingua import PromptCompressor

llm_lingua = PromptCompressor()

compressed = llm_lingua.compress_prompt(
    long_context,
    ratio=0.5,  # %50'ye küçült
)
# Bu compressed prompt'u Claude'a ver

Compression Karar Matrisi#

Pratik Senaryolar#

✓ Pekiştir#

Bir Sonraki Derste#