分类标签归档:健康度

健康度报告 41 分不可信?用 4 条 trace 证伪平台结论

健康度报告 41 分不可信?用 4 条 trace 证伪平台结论

导读:一篇用 4 条 trace 逐条证伪平台结论的方法复盘:某纯编排型 Agent 技能被打成健康度 41/100「不健康」,但拉明细后发现 P99 长尾(149.4s、最长 317.6s)来自跨业务定时任务混入采样的噪音,83.8%(150/179)的「中断」大多是业务写成功后收尾轮被平台切掉、并非用户流失。核心结论是分数失真源于采样口径污染 + 中断语义错位,真正可动的是把 read_file 从 4-5 次/trace 压到 ≤1、成功后立即终止这类纯编排优化,零业务改动。适合做 Agent 评测、健康度指标治理的工程师

阅读全文 →

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

导读:这篇文章用两起真实整改案例回答"模型为何调用文档里明确禁止的工具":对话下单 Skill 健康度仅 38/100、中断率 79.1%,trace 显示未声明乃至被禁用的工具被大量调用(子 agent 占墙钟 62.8%、被明令禁止的检索工具被调 53 次)。核心结论是单一负面禁令不足以约束模型,须改为正向声明"仅允许以下工具"并配合平台侧真移除;案例二补充了"被路由到错误技能时文档还能做什么"。适合治理 Agent Skill 健康度、做 trace 实证归因的工程师阅读。 分类:AI评测 | 标签:Agen

阅读全文 →