Streaming Yanıtlar ve Real-Time UX
Cevabı yazılırken kullanıcıya gösteren streaming nedir, neden önemlidir, SSE / Web Streams ile entegrasyon.
Şükrü Yusuf KAYA
11 dakikalık okuma
OrtaStreaming Niye Önemli?
LLM cevapları 5-30 saniye sürebilir. Stream etmeden bekletirsen kullanıcı kaçar. Token-by-token akış first-byte time'ı 1 saniyenin altına indirir.
python
with client.messages.stream( model="claude-sonnet-4-6", max_tokens=1024, messages=[{"role":"user","content":"Bana kısa bir hikaye anlat"}],) as stream: for text in stream.text_stream: print(text, end="", flush=True)Python streaming — token geldiğinde yazdır.
ts
// Next.js route handler — SSEexport async function POST(req: Request) { const { messages } = await req.json(); const stream = await anthropic.messages.stream({ model: "claude-sonnet-4-6", max_tokens: 1024, messages, }); const encoder = new TextEncoder(); const readable = new ReadableStream({ async start(controller) { for await (const chunk of stream) { if (chunk.type === "content_block_delta") { controller.enqueue(encoder.encode((chunk.delta as any).text ?? "")); } } controller.close(); }, }); return new Response(readable, { headers: { "Content-Type": "text/event-stream" }, });}Next.js SSE — istemciye token-by-token akış.
Boşluk doldur · text
Streaming first-byte time'ı düşürür. Tool input delta tipleri _____ JSON delta olarak gelir. Cancel için stream'i _____ ile sonlandır.Sık Sorulan Sorular
Hayır — toplam input/output token aynıdır; sadece kullanıcı UX iyileşir.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...