用 Langfuse 做生产 LLM 应用的错误分析：从事件归一化、Skill 归因到 P0 修复

导读：这篇文章给出用 Langfuse 对生产 LLM 应用做错误分析的六步闭环：事件归一化 → Skill 归因 → 根因分类矩阵 → 时间趋势对照发布 → 僵尸会话/重复请求去重 → P0/P1/P2 分级修复。几个关键量级值得记住：同一失败会在多个观测上重复呈现约 2.9 倍、单条僵尸会话可占 48 小时失败总量近一半、框架级缺陷（思考模式字段未回传）约占失败四成五。适合做 LLM 应用线上故障排查与可观测性建设的后端/SRE 工程师，方法可直接复制。

分类：AI评测 ｜ 标签：LLM、可

阅读全文 →

最近学习了一套 Agent 评测体系的完整框架，从思维导图整理成这篇笔记。它回答了一个很现实的问题：当 Agent 从 Demo 走向生产，我们拿什么保证它"既聪明又稳定"？

传统测试那一套在这里几乎失效——Agent 不是"输入 A 必然输出 B"的函数，而是一条概率性、多步、依赖上下文的执行轨迹。这篇笔记沿着"为什么要评 → 怎么可观测 → 离线怎么保 → 线上怎么兜"的主线，把这些年做质量保障的经验和这套体系对照着梳理一遍。

一、痛点：为什么 Agent 越迭代越让人心慌

1. 迭代后的效果退化：牵一发而动全身

• 共享上下文：Prompt、工具集、记忆系统全局复用，改一处 Prompt

阅读全文 →

生产 LLM 应用的耗时分析：用 Langfuse 拆解各段时延

导读：这篇文章演示如何用 Langfuse 对生产 LLM 应用做耗时拆解：按端分层、全池随机抽样 80 条 trace，用"独占耗时"口径（父节点时长减去子节点）把 LLM、工具、Skill、框架规划各段分别量化。核心结论是大模型生成耗时占全链路 67.6%~95.9%，输入长度与耗时强正相关（r≈0.71）、多轮上下文累积让成本加速膨胀，超长尾多来自模型服务端抖动。适合做 LLM 应用性能优化与可观测性建设的工程师，采样与归因方法可复制到任何应用。

分类：AI评测 ｜ 标签：LLM、可观测性、Langfuse、性能分析

数据

阅读全文 →