Tüm roadmap'e dön
topiccore
Production Observability Stack'i
Langfuse / LangSmith / Helicone / Phoenix — agent için real-time monitor + trace + alert.
3 saat3 kaynak1 önkoşul
Production agent'ı monitör etmek zorundasın. Stack katmanları:
- Tracing: OpenTelemetry (vendor-agnostic) veya OpenLLMetry (LLM-specific)
- Visualization: Langfuse / LangSmith / Phoenix dashboard
- Metrics: Prometheus → Grafana (token/cost/latency time series)
- Alerting: Datadog / Sentry / PagerDuty (P95 spike, error rate, cost anomaly)
- User feedback: thumbs up/down, comment → eval dataset'e otomatik ekleme
Pro: every agent run = traceId, kullanıcıya support için "Bu trace'i incele" diyebilirsin.