分类目录归档:AI评测

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

模型为何调用文档里明确禁止的工具?一次 Agent Skill 健康度整改实录

导读:这篇文章用两起真实整改案例回答"模型为何调用文档里明确禁止的工具":对话下单 Skill 健康度仅 38/100、中断率 79.1%,trace 显示未声明乃至被禁用的工具被大量调用(子 agent 占墙钟 62.8%、被明令禁止的检索工具被调 53 次)。核心结论是单一负面禁令不足以约束模型,须改为正向声明"仅允许以下工具"并配合平台侧真移除;案例二补充了"被路由到错误技能时文档还能做什么"。适合治理 Agent Skill 健康度、做 trace 实证归因的工程师阅读。 分类:AI评测 | 标签:Agen

阅读全文 →

AI 评审建议别照单全收:一次 Agent Skill 优化复盘的 5 条可复用经验

《AI 评审建议别照单全收:一次 Agent Skill 优化复盘的 5 条可复用经验》

导读:这篇文章复盘一轮 Agent Skill 优化,回答"AI 评审建议要不要照单全收"——结论是约 1/3 建议的例证与文件事实不符,采纳与否的唯一依据是"模型的运行时行为会不会因此出错"。文中给出五条可复用经验:工具边界收紧要全包同步、体例升级要扫旧口径残留、重复要人工复核、逆向内容按运行时价值裁剪、用工程手法兜底。适合做 Skill 质量治理与评估对比的工程师,可当作评审建议的核对清单使用。 分类:AI评测 | 标签:Agent、Skill、优化复盘、LLM

为什么「AI 优化建议」不能直接照办

阅读全文 →

给 Agent 技能(Skill)立质量规范:静态扫描、八维评分与发布门禁

给 Agent 技能(Skill)立质量规范:静态扫描、八维评分与发布门禁

导读:这篇文章讨论 Agent 平台向第三方开放 Skill(技能包)后,如何用一套质量门禁体系拦截"坏包"——覆盖上传结构校验、静态扫描到发布后对话质检三个阶段。核心方法是确定性硬检 + LLM 八维结构化评分(七条硬门禁、红旗清单、红黄绿三档灯色),基础分 ≥90 才放行,且最终裁决由代码而非模型自评决定。适合负责 Agent 平台治理或 Skill 开发规范的工程师阅读,门禁设计与原则可直接迁移落地。 分类:AI评测 | 标签:Agent、Skill、质量门禁、规范

为什么需要质量规范:开放技能,意味着开放风险

阅读全文 →