分类标签归档:性能分析

置顶模型没变慢,慢在编排与工具:一次基于 trace 的线上 Agent 运行时体检

模型没变慢,慢在编排与工具:一次基于 trace 的线上 Agent 运行时体检

导读:本文基于线上全量 trace 对两个 Agent 技能做「运行时体检」,起因是一次空转 12 分 20 秒被强制中断的提问(模型逐人查 149 人、撞递归上限 350 步)。核心结论:模型升级并没有变慢(同源同日 A/B 下单次生成与首 token 反而更快),慢在编排与工具——一轮问答平均 14~16 次模型调用加 20~23 次工具调用,沙箱脚本约占工具耗时 76%,且平台「0% 错误率」只是流未断的假象,真实异常(递归越界)从 9/14 起明显上升。给出的方向是「Proxy 化下沉+SKILL.md

阅读全文 →

生产 LLM 应用的耗时分析:用 Langfuse 拆解各段时延

生产 LLM 应用的耗时分析:用 Langfuse 拆解各段时延

导读:这篇文章演示如何用 Langfuse 对生产 LLM 应用做耗时拆解:按端分层、全池随机抽样 80 条 trace,用"独占耗时"口径(父节点时长减去子节点)把 LLM、工具、Skill、框架规划各段分别量化。核心结论是大模型生成耗时占全链路 67.6%~95.9%,输入长度与耗时强正相关(r≈0.71)、多轮上下文累积让成本加速膨胀,超长尾多来自模型服务端抖动。适合做 LLM 应用性能优化与可观测性建设的工程师,采样与归因方法可复制到任何应用。

分类:AI评测 | 标签:LLM、可观测性、Langfuse、性能分析

数据

阅读全文 →