Streaming Responses and Real-Time UX
What streaming is, why it matters, and integration with SSE / Web Streams.
Şükrü Yusuf KAYA
11 min read
Intermediate
Streaming Niye Önemli?
LLM cevapları 5-30 saniye sürebilir. Stream etmeden bekletirsen kullanıcı kaçar. Token-by-token akış first-byte time'ı 1 saniyenin altına indirir.
python
with client.messages.stream( model="claude-sonnet-4-6", max_tokens=1024, messages=[{"role":"user","content":"Bana kısa bir hikaye anlat"}],) as stream: for text in stream.text_stream: print(text, end="", flush=True)Python streaming — token geldiğinde yazdır.
ts
// Next.js route handler — SSEexport async function POST(req: Request) { const { messages } = await req.json(); const stream = await anthropic.messages.stream({ model: "claude-sonnet-4-6", max_tokens: 1024, messages, }); const encoder = new TextEncoder(); const readable = new ReadableStream({ async start(controller) { for await (const chunk of stream) { if (chunk.type === "content_block_delta") { controller.enqueue(encoder.encode((chunk.delta as any).text ?? "")); } } controller.close(); }, }); return new Response(readable, { headers: { "Content-Type": "text/event-stream" }, });}Next.js SSE — istemciye token-by-token akış.
Boşluk doldur · text
Streaming first-byte time'ı düşürür. Tool input delta tipleri _____ JSON delta olarak gelir. Cancel için stream'i _____ ile sonlandır.Frequently Asked Questions
No — totals are the same; only UX improves.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...