分类标签归档:Agent

查一条订单,Agent 为什么走了 109 步?一个 Agent 评测失败案例的归因分析

查一条订单,Agent 为什么走了 109 步?一个 Agent 评测失败案例的归因分析

导读:本文复盘一个 Agent 评测失败案例:用户只问"我接的订单在哪里看,给我链接",Agent 却走了 109 步、调用 82 次工具(其中 44 次盲猜 API 路径),最终仍没查出订单数据,而正常路径只需 5~10 步、10~30 秒。归因得出五层系统性叠加的问题——技能路由失败致订单查询技能从未进入主路径、身份与技能可见范围配置错误(服务者身份下暴露的是员工端技能)、RAG 泛化替代(20 次知识库检索兜底)、会话旧记忆干扰(翻历史会话"考古"旧技能名)、无约束的暴力盲探(44 次猜 URL),

阅读全文 →

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

导读:这篇文章用两起真实整改案例回答"模型为何调用文档里明确禁止的工具":对话下单 Skill 健康度仅 38/100、中断率 79.1%,trace 显示未声明乃至被禁用的工具被大量调用(子 agent 占墙钟 62.8%、被明令禁止的检索工具被调 53 次)。核心结论是单一负面禁令不足以约束模型,须改为正向声明"仅允许以下工具"并配合平台侧真移除;案例二补充了"被路由到错误技能时文档还能做什么"。适合治理 Agent Skill 健康度、做 trace 实证归因的工程师阅读。 分类:AI评测 | 标签:Agen

阅读全文 →

AI 评审建议别照单全收:一次 Agent Skill 优化复盘的 5 条可复用经验

《AI 评审建议别照单全收:一次 Agent Skill 优化复盘的 5 条可复用经验》

导读:这篇文章复盘一轮 Agent Skill 优化,回答"AI 评审建议要不要照单全收"——结论是约 1/3 建议的例证与文件事实不符,采纳与否的唯一依据是"模型的运行时行为会不会因此出错"。文中给出五条可复用经验:工具边界收紧要全包同步、体例升级要扫旧口径残留、重复要人工复核、逆向内容按运行时价值裁剪、用工程手法兜底。适合做 Skill 质量治理与评估对比的工程师,可当作评审建议的核对清单使用。 分类:AI评测 | 标签:Agent、Skill、优化复盘、LLM

为什么「AI 优化建议」不能直接照办

阅读全文 →

给 Agent 技能(Skill)立质量规范:静态扫描、八维评分与发布门禁

给 Agent 技能(Skill)立质量规范:静态扫描、八维评分与发布门禁

导读:这篇文章讨论 Agent 平台向第三方开放 Skill(技能包)后,如何用一套质量门禁体系拦截"坏包"——覆盖上传结构校验、静态扫描到发布后对话质检三个阶段。核心方法是确定性硬检 + LLM 八维结构化评分(七条硬门禁、红旗清单、红黄绿三档灯色),基础分 ≥90 才放行,且最终裁决由代码而非模型自评决定。适合负责 Agent 平台治理或 Skill 开发规范的工程师阅读,门禁设计与原则可直接迁移落地。 分类:AI评测 | 标签:Agent、Skill、质量门禁、规范

为什么需要质量规范:开放技能,意味着开放风险

阅读全文 →