LLMLingua, LongLLMLingua, Selective-Context: Otomatik Prompt Sıkıştırma Aileleri Karşılaştırma

Niye Otomatik Sıkıştırmaya İhtiyaç Var?#

• Statik prompt'lar için işliyor — sistem prompt'unu yeniden yazarsın
• Dinamik içerik için işlemiyor — RAG retrieved chunks, conversation history, tool outputs

Tipik kullanım örnekleri#

• RAG: Retrieved 10K token doküman → 2K önemli kısım
• Conversation history: 20-turn sohbeti 5 turn'lük özet'e
• Agent context: Tool outputs, observations accumulated → essential subset
• Document analysis: 100K token doküman → 15K önemli kısım

LLMLingua-1 (2023)#

1. Küçük model (Llama-7B/13B) ile her token'ın bilgi içeriğini ölç
2. Perplexity-based scoring — beklenmedik token = bilgi yüklü
3. Düşük perplexity (öngörülebilir) token'ları at
4. Geriye kalan compact prompt'u büyük modele gönder

from llmlingua import PromptCompressor

compressor = PromptCompressor(
    model_name="NousResearch/Llama-2-7b-hf",
    use_llmlingua2=False,
)

compressed = compressor.compress_prompt(
    long_context="...",
    instruction="Yanıtın için sadece relevant bilgiyi kullan.",
    question="...",
    ratio=0.3,  # 70% sıkıştırma
)
print(compressed["compressed_prompt"])

Performans#

• Sıkıştırma oranı: %50-80 tipik
• Kalite kaybı: %3-8
• Latency: +200-500ms (küçük model inference)

LLMLingua-2 (2024) — Daha Hızlı, Daha İyi#

• Bidirectional encoder (BERT-style, küçük) — perplexity yerine classification
• Her token "tut / at" şeklinde etiketlenir
• 50× daha hızlı (BERT küçük + simple classification)
• Türkçe için multilingual support

compressor = PromptCompressor(
    model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank",
    use_llmlingua2=True,
)

compressed = compressor.compress_prompt(
    context=long_text,
    rate=0.5,  # 50% retention
    force_tokens=["\n", "?", "."],  # bu karakterler korunur
)

Performans#

• Sıkıştırma oranı: %60-90
• Kalite kaybı: %2-4 (daha iyi)
• Latency: +50-150ms (çok daha hızlı)
• Multilingual: Türkçe dahil 100 dil

LongLLMLingua — Uzun Bağlam İçin#

1. Question-aware compression — sorunun ne olduğunu bilerek kompres et
2. Question-relevant olan kısımları agressive korur
3. Question-irrelevant kısımları agressive atar
4. Multi-document scenarios için optimize

compressor = PromptCompressor(use_llmlingua2=True)

compressed = compressor.compress_prompt(
    context=retrieved_documents,  # 50K token retrieved
    question=user_query,
    rate=0.3,
    use_context_level_filter=True,  # ← uzun-bağlam özel
)

# Çıktı 15K token, soru-relevant kısımlar korunmuş

Selective-Context (Yiqun Yao et al.)#

• Tek-token tek-token gitmiyor, sentence-level veya phrase-level evaluation
• Self-information metric (perplexity yerine)
• Sintaks-aware (cümleyi yarı yarıya kesmiyor)

# Selective-Context library
from selective_context import SelectiveContext

sc = SelectiveContext(model_type="gpt2", lang="zh")  # multilingual

context, indices = sc(
    text=long_text,
    reduce_ratio=0.5,  # %50 kısıt
    reduce_level="sent",  # sentence-level
)

Avantajlar#

• Output daha okunabilir (cümleler bütün)
• Quality kaybı daha az LLMLingua-1'den

Dezavantajlar#

• LLMLingua-2'den biraz daha yavaş
• Multi-lingual support daha sınırlı

Karşılaştırma Tablosu#

Karar matrisi#

İlk Türkçe Örnek#

Beklenen çıktı#

Original token sayısı: 248
Sıkıştırılmış: 102
Sıkıştırma oranı: 0.41x
Token tasarrufu: 146

=== Compressed ===
İade ve değişim politikamız: 14 gün içerisinde iade. Ambalaj
açılmamış olmalı. Fatura ile gönderim. İade onayı sonrası 5-10 iş
günü. Kargo: 1-3 iş günü. İstanbul içi aynı gün. 250 TL üstü
ücretsiz. Düşük: 25 TL. Ödeme: Kredi kartı, havale, kapıda ödeme.
12 ay taksit.

=== Saving ===
Tokens saved: 146 ($0.0004 per request, $400/year @ 1M requests)

Production Pattern#

import os
from llmlingua import PromptCompressor
from litellm import completion

compressor = PromptCompressor(use_llmlingua2=True)

class CompressedRAGPipeline:
    def __init__(self, target_compression: float = 0.5):
        self.target = target_compression

    async def answer(self, question: str, retrieved_chunks: list[str]):
        # 1. Retrieved chunks join
        context = "\n\n".join(retrieved_chunks)

        # 2. Compress
        compressed = compressor.compress_prompt(
            context=context,
            question=question,
            rate=self.target,
        )

        # 3. LLM call with compressed
        response = await completion(
            model="claude-sonnet-4-6",
            messages=[
                {"role": "system", "content": "Aşağıdaki bilgiye dayanarak Türkçe yanıt ver."},
                {"role": "user", "content": f"BİLGİ:\n{compressed['compressed_prompt']}\n\nSORU: {question}"},
            ],
            max_tokens=300,
            metadata={
                "feature": "rag",
                "compression_ratio": compressed["ratio"],
                "saved_tokens": compressed["origin_tokens"] - compressed["compressed_tokens"],
            },
        )
        return response

pipeline = CompressedRAGPipeline(target_compression=0.4)