自建 AI 对话应用测试框架：从题库设计到自动校验的实践
导读：这篇文章讲的是一套自建的大模型对话应用测试框架，解决"用什么数据测、怎么接入被测对象、如何判定结果对错"的问题，核心由持续维护的题库（单轮/多轮/业务金标/安全四类）、即选即用的机器人接入和双通道结果校验三块拼图组成。关键结论是校验优先用"余弦相似度初筛 + 结构化比对的 LLM 评判"：相比初版自由式评审，token 消耗降为约四分之一（每段对话从约 1250 token 降到约 300 token），且结构化判定思路具备跨模型通用性；同时自动校验之外必须保留人工修正兜底。适合负责 LLM 对话应用质量保障、想做自动化评测的工程