AI 机器人评测体系建设：从考卷式评测到多模型选举
导读：文章分享一套对话式 AI 机器人评测体系的演进路径：先以 100 道固定考卷（含正向与负向用例、80 分及格）建立横向可比基线，再引入 LLM 自动评分，最终扩展为覆盖全业务环节的基准测试（抽样、提问变异、安全、双盲评分）；平台以"批次—用例"组织，用准确率/精确率双指标与多模型同卷对比，让模型选型与调参"靠数据不靠拍脑袋"。适合负责对话机器人/大模型应用质量评测与模型选型的团队，面试官可借此考察候选人对评测指标口径和自动化评测体系的理解。
对话式 AI 机器人上线之后，一个绕不开的问题随之而来：怎么持续评估它的质量？模型要选型、要调参，知识库会更新，提示词会迭代——每次变更都靠人工逐个验证，既慢又口径不一。本文分享一套我们在实践中搭建的评测体系：从"考卷式"固定题目评测起步，逐步演进到 LLM 自动评分，最终覆盖全业务环节，让机器人的能力真正做到可评估、可追溯。
一、评测体系的分期规划
整个体系建设分为三期，每一期解决一个阶段性的核心问题。
第一期：考卷式固定题目评测
这一期要解决的是"用什么标准评价"的问题，目标是具备对业务问答机器人以及 embedding 模型选型、调参的评定能力。
- 考卷设计：由评测人员人工梳理一份 100 道题的考卷，题目同时包含"命中类"与"非命中类"用例，覆盖机器人应该答得上和不应该答错的两类场景。
- 评分规则：机器人返回的内容回答正确，score +1；及格分数暂定为 80 分。
- 产出节奏：先在一到两周内完成考卷第一版，随后具备对外暴露测试接口的能力。
这一阶段的价值在于：把"感觉上好不好"变成"分数上够不够"。有了固定考卷，同一个机器人在不同版本、不同参数下的表现就具备了横向可比性。
第二期：LLM 自动评分
考卷式评测解决了"测什么"，但人工判答案仍然费力。第二期的目标是具备对 LLM 大模型输入结果的优劣进行评分的能力：先建成一种能力模型的评定，再逐步扩展为三种评分能力，其中就包括评优 / 多模型选举。让模型输出的好坏由另一个模型来打分，把评分从"人肉"变成"自动化"。
第三期：覆盖全业务环节的基准测试
前两期聚焦于机器人本体，第三期把视野扩展到了"AI 参与到的每一个业务环节"。目标是建设完备的基准测试能力，包括抽样、提问变异、安全预防、双盲评分等，形成多维度评定能力，使 AI 应用的输出可评估、可追溯——不仅能知道"这个模型好不好"，还能知道"这个场景里它为什么好、好在哪"。
二、评测平台的产品设计
评测能力最终要落到一个可操作的平台上，围绕"批次"这个核心概念展开。
功能点设计
批次页：评测以"批次"为单位组织。
- 新建测试批次（按钮）：点击弹出表单——
- 机器人 id：单选，数据从业务知识库拉取；
- 对比方法：单选，取值来自后端枚举；
- 备注：选填；
- 确认后跳转到用例执行页。
- 批次列表：展示批次 id、批次得分、机器人 id、对比方法、备注，并提供"查看详情"入口。
- 批次详情页：展示该批次下的用例列表（批次 id、问题、答案、结果），结果包含模型答案与对比分数，支持分页。
用例执行页：
- excel 导入用例（按钮）：导入的数据默认进入"选择用例"集合，不影响已选用例。
- 选择用例（按钮）：一期在数据库写死用例；用例数据来源支持 excel 导入与从业务知识库查询。点击后弹出选择页面，多选、分页，确定后关闭弹框，所选数据追加到列表页。
- 用例列表页：展示批次 id、问题、答案、结果（模型答案、对比分数）、操作（删除），支持分页。
- 开始执行（按钮）：执行所选用例，调用大模型文问答接口，结果实时展示到结果列表；执行后仍然可以添加或删除用例。
- 批次得分刷新（按钮）：重新计算该批次已有分数列的均值。
后期迭代里，列表页还被进一步精简：去掉"调用地址、测试方法"两列，新增"准确率、精确率"两列，让质量和指标直接同屏可见。
数据库设计（示意）
围绕"批次—用例"一对多的关系，核心两张表：
用例表（示意关键字段）：
| 字段 | 说明 |
|---|---|
| 用例 id | 主键 |
| 问题 | 输入问题 |
| 答案 | 期望答案 |
| 正/负样本标签 | 区分命中与非命中类用例 |
| 所属批次 | 关联批次表 |
| 模型答案 | 执行后回填 |
| 对比分数 | 执行后回填 |
批次表（示意关键字段）：
| 字段 | 说明 |
|---|---|
| 批次 id | 主键 |
| 机器人 id | 被测对象 |
| 对比方法 | 枚举值 |
| 备注 | 选填 |
| 批次得分 | 分批次的汇总得分 |
接口设计
一期接口：
- 选择用例批次执行测试：入参为批次号，出参为执行状态；异步执行，执行完成后发送即时通讯提醒；已经执行过的用例不会重复执行。
- 选择用例批次查看详情：入参为批次 id、批次得分、机器人 id、对比方法、备注，出参为分数。
- 选择用例批次查看所有用例：入参为批次号，出参为用例列表。
二期接口：
- 创建批次：入参为机器人 id、对比方法、备注，出参返回批次号。
- 导入用例：入参为问题列表。
- excel 导入用例：入参为 excel 文件。
- 删除用例：入参为用例 id。
三、准确率与精确率的计算口径
指标口径很容易在团队内部"各说各话"，所以我们把口径固定下来写进平台。以某批次的评测数据为例（数据已做脱敏示意）：
- 用例总计 191 条，其中正向用例 79 条、负向用例 21 条（即答案应为"无"的负向场景）；
- 准确率 = 判定正确的用例数量 / 总用例数（191），衡量整体答对的比例；
- 精确率 = 79 条正向用例中实际答对的数量 / 79，衡量"该答对的场景里到底对了多少"。
准确率看整体，精确率看正向场景的成色。两个指标一起看，才能避免"负向样本答不好、但准确率看着还行"的错觉。
四、多模型对比选举
"对比方法"字段是整个平台的关键开关：同一个批次、同一份用例，可以跑多个机器人或多个模型，各自产出模型答案与对比分数。分数排序之后，就形成了一次"选举"——用同一批考卷给不同模型排名，选型、调参不再靠拍脑袋，而是看数据。
双盲评分（评分者不知道答案来自哪个模型）与批次回放（每一条结果都能追溯到模型答案和对比分数）是让这套机制可信的两块基石。
五、评测体系建设的几点通用建议
最后，把实践中沉淀下来的几点经验分享给同样在搭评测体系的团队：
- 先固定考卷，再谈自动化。 评测的第一步永远是把"测什么、什么算对"用一份固定考卷固化下来；标准答案不存在的时候，任何自动化评分都是空中楼阁。
- 口径先行。 准确率、精确率等指标的定义要在平台开发前就约定清楚并写进页面，避免上线后团队对同一组数字产生不同解读。
- 正负样本都要有。 考卷里除了"应该答对的"，一定要包含"不应该答"的负向用例，否则机器人的"胡说"不会被任何分数惩罚。
评测体系不是一次性工程，而是一条从固定考卷、到自动评分、再到全环节基准测试的演进路径。先把第一步走扎实，剩下的交给数据和迭代。