在 LLM 质量保障的日常里，最常被问到的问题之一是："这个模型到底行不行？"

但"行不行"从来不是一个数字能回答的。同样是"MMLU 78 分"，few-shot 设成几？prompt 模板用什么？是不是 chat 格式？温度多少？有没有踩到测试集污染？——任何一项没对齐，跨团队、跨模型、跨版本的数字都不可比。

lm-evaluation-harness 就是为消灭这种"不可比"而生的。它是 EleutherAI 维护的 LLM 评测框架，也是 HuggingFace Open LLM Leaderboard 背后的评测引擎。这篇文章是我把它真正用进质量体系的实战笔记，不堆概念，只讲怎么跑、

阅读全文 →

同一个 LLM：知识库（RAG）场景 QPS 为何比纯对话低一个数量级？

导读：文章通过同一自部署 LLM 在纯对话与知识库（RAG）两个场景的压测对比，揭示"加一个检索链路、QPS 掉一个数量级"：纯对话单节点稳定 QPS 120+、单问题约 1 秒输出，而 RAG 仅约 2–3 QPS、耗时 20 余秒，差距约 40–60 倍；原因分析聚焦利特尔定律与"向量检索 + 上下文组装 + Rerank + 长上下文解码"整条链路，并给出检索缓存、上下文裁剪、检索与生成服务解耦等优化方向。适合负责 LLM 容量评估、性能压测或 RAG 架构优化的工程师阅读。

分类：性能测试 ｜ 标签：RAG、大模

阅读全文 →

从零建设 LLM 测试平台：架构选型、AI 角色模拟与智能校验实践

导读：本文介绍从零自建 LLM 测试平台的完整实践：以 React 19 + FastAPI + MySQL + 异步队列为技术栈，围绕 AI 角色模拟真实用户、AI 辅助校验、多轮对话测试三大能力，使测试执行从手工分钟级提升到自动秒级，落地案例中测试执行时间从数天缩短到数小时。文末还给出了"什么规模团队适合自建平台"的判定标准（多模型应用持续迭代、用例上百条、需频繁回归时值得搭建轻量级平台）。适合负责大模型评测与质量保障的测试开发或平台工程师参考。

分类：AI应用 ｜ 标签：LLM、测试平台、大模型评测

目录

1. 建设动机与

阅读全文 →