İçeriğe geç

Streaming Yanıtlar ve Real-Time UX

Cevabı yazılırken kullanıcıya gösteren streaming nedir, neden önemlidir, SSE / Web Streams ile entegrasyon.

Şükrü Yusuf KAYA
11 dakikalık okuma
Orta
Streaming akışı: token by token client'a düşüyor

Streaming Niye Önemli?

LLM cevapları 5-30 saniye sürebilir. Stream etmeden bekletirsen kullanıcı kaçar. Token-by-token akış first-byte time'ı 1 saniyenin altına indirir.
python
with client.messages.stream(
model="claude-sonnet-4-6",
max_tokens=1024,
messages=[{"role":"user","content":"Bana kısa bir hikaye anlat"}],
) as stream:
for text in stream.text_stream:
print(text, end="", flush=True)
Python streaming — token geldiğinde yazdır.
ts
// Next.js route handler — SSE
export async function POST(req: Request) {
const { messages } = await req.json();
const stream = await anthropic.messages.stream({
model: "claude-sonnet-4-6",
max_tokens: 1024,
messages,
});
 
const encoder = new TextEncoder();
const readable = new ReadableStream({
async start(controller) {
for await (const chunk of stream) {
if (chunk.type === "content_block_delta") {
controller.enqueue(encoder.encode((chunk.delta as any).text ?? ""));
}
}
controller.close();
},
});
return new Response(readable, {
headers: { "Content-Type": "text/event-stream" },
});
}
Next.js SSE — istemciye token-by-token akış.
Boşluk doldur · text
Streaming first-byte time'ı düşürür. Tool input delta tipleri _____ JSON delta olarak gelir. Cancel için stream'i _____ ile sonlandır.

Sık Sorulan Sorular

Hayır — toplam input/output token aynıdır; sadece kullanıcı UX iyileşir.

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

İlgili İçerikler