最近学习了一套 Agent 评测体系的完整框架，从思维导图整理成这篇笔记。它回答了一个很现实的问题：当 Agent 从 Demo 走向生产，我们拿什么保证它"既聪明又稳定"？

传统测试那一套在这里几乎失效——Agent 不是"输入 A 必然输出 B"的函数，而是一条概率性、多步、依赖上下文的执行轨迹。这篇笔记沿着"为什么要评 → 怎么可观测 → 离线怎么保 → 线上怎么兜"的主线，把这些年做质量保障的经验和这套体系对照着梳理一遍。

一、痛点：为什么 Agent 越迭代越让人心慌

1. 迭代后的效果退化：牵一发而动全身

• 共享上下文：Prompt、工具集、记忆系统全局复用，改一处 Prompt

阅读全文 →

把 LLM 当作可编程、可约束、可验证的组件：AI 质量治理的三条线

导读：本文分享 Agent 技能平台（技能市场）AI 质量治理的设计与落地，用覆盖全生命周期的三条治理线——上架门禁（静态扫描 + 对话质检 + 自动修复引导）、发布审核与质检（分享超阈值自动触发人工审核）、运行期健康度（观测采样 + 四维评分 + 报告触达），并守住两条红线：机器结论永远只当审核输入、不当裁决，基础设施抖动不误伤作者内容。核心认知是把 LLM 当作"可编程、可约束、可验证"的推理组件，工程本质是"数据喂养、规则驯化、测试兜底"；案例包括把 LLM 门禁从发布关键路径改为"放行 + 异步质检 + 通知"以平衡

阅读全文 →