作者文章归档：daxiahy
导读：文章通过同一自部署 LLM 在纯对话与知识库（RAG）两个场景的压测对比，揭示"加一个检索链路、QPS 掉一个数量级"：纯对话单节点稳定 QPS 120+、单问题约 1 秒输出，而 RAG 仅约 2–3 QPS、耗时 20 余秒，差距约 40–60 倍；原因分析聚焦利特尔定律与"向量检索 + 上下文组装 + Rerank + 长上下文解码"整条链路，并给出检索缓存、上下文裁剪、检索与生成服务解耦等优化方向。适合负责 LLM 容量评估、性能压测或 RAG 架构优化的工程师阅读。
分类：性能测试 ｜ 标签：RAG、大模
导读：这篇讲容量评估的完整方法链:先不做"没有目标的压测",而是用线上近 1 日真实调用量反推目标 QPS(以最高频接口约 4.1 万次/天为基准,分钟峰值约 350,秒级约 6 QPS,放大 10 倍定为 60 QPS),再在测试、线上环境做 1/15/30/60/90 并发的阶梯加压,结果测试环境 90 并发约 270 QPS 轻松达标、线上约 467 QPS。最宝贵的部分是线上压测才碰得到的两个坑——服务治理层的限流、前端中间件的 CPU 告警都先于被测服务真实瓶颈出现,提醒要区分"到底是哪个组件先到瓶颈"。适合用
导读：这篇记录了对自部署 LLM 对话接口从 1 并发加压到 100 并发的阶梯压测:QPS 无论怎么加压都稳定卡在 1.5 左右,50 并发起开始报"连接被关闭",100 并发时成功率崩到 42.86%。看似是模型算力不够,但资源监控显示显存/内存全程恒定、CPU 最高只到约 40%,结论是瓶颈在 HTTP 并发处理层而非 GPU/显存,并给出连接池、并发上限、超时与 keep-alive 等优先优化方向。适合评估自部署大模型服务并发上限的测试工程师与后端开发者阅读。
本文记录一次对自部署大模型对话接口的 JM
导读：这篇实录回答"RAG 知识库接口在并发下扛不扛得住":对"检索+生成"串行链路的知识库问答接口做 JMeter 阶梯压测,结论是 1 并发成功率 100%(平均响应 3.6s),到 20 并发时成功率跌到 87%、平均响应 47.8s、吞吐掉到约 1.4,接口基本崩掉。关键判断是瓶颈不在机器(显存/内存全程稳定),而在串行的检索与生成链路,并给出多线程调用、检索链路两个方向的优化建议。适合要压测 LLM/RAG 或知识库类接口的测试工程师与后端开发者阅读。
分类：性能测试 ｜ 标签：LLM、RAG、压测
导读：这篇文章介绍如何基于腾讯开源的流量录制回放平台 Conan,用 nginx 日志实现"录制—回放—结果对比"的完整链路,可省去部分接口测试与造数工作,用于回归与压力测试。文中给出了从 ELK、Kafka、Redis 到平台各模块的本地搭建与启动顺序,以及鉴权配置、grok 过滤表达式等落地细节,并总结了 nginx 默认不存 POST body(需在 log_format 加 $request_body)、相同参数下返回结果波动可用 json schema 匹配等踩坑经验与暂时无法解决的问题。适合想低成本落
导读：这篇文章讲的是接口自动化"用例跑完、结果却没人看"的典型困境:报告堆积成山,却没有流向真正需要它的人。核心方法是先用接口真实访问量排序定优先级、再用两个代码分支的调用链比对(约 1 分钟离线分析)产出受变更影响的接口清单,配合集群维度覆盖率统计与出错 case 跟进机制,让"代码变更→回归建议→回归执行"形成可追踪的闭环。适合正在建设接口自动化或测试平台、想用真实数据驱动回归策略的测试工程师与开发者阅读。
分类：测试 ｜ 标签：测试平台、接口自动化、调用链
接口自动化做了很多年，框架早已"功能完备"：能接入 CI、能自动触
导读：本文给出接口压测目标的可执行推导方法：有线上 QPS 的接口按"正常流量 10 倍且响应时间 200ms 内"设定目标，没有监控的接口用 80/20 法则从日访问量反推基准 TPS（TPS = 日访问量×80% /（活跃时长×3600×20%），如日访问 100 万约 46 TPS），再按 3 倍、10 倍分档加压直到报错以探明容量上限。适合需要为接口设定压测档位并同步盯机器、数据库、中间件指标的性能测试工程师。
分类：性能测试 ｜ 标签：性能测试、压测、QPS
做接口压测时，最常被问到的两个问题就是：压到多少 QPS 才算达
导读：本文是一份可直接复用的接口测试清单，聚焦"接口能调通之外"最容易遗漏的非功能性测试点：错误码语义与稳定性、数据库落库与脏数据、登录/身份/权限边界、分页与参数边界值（如 int 最大值 2147483647、浮点精度 0.1+0.2），以及自动化用例的数据清理、自备数据和互相独立等硬性规范。适合接口测试工程师和希望提升接口质量的开发按模板逐条对照自己的用例设计。
分类：接口测试｜标签：接口测试、自动化测试
接口测试只校验「接口能不能调通、结果对不对」远远不够。回顾日常项目，真正容易被遗漏、上线后回头发现在背锅的，往往是那些非功能性测试点：错误
导读：本文系统梳理 LLM 提示词攻击与防御的完整框架：从六大攻击动机（泄露内部指令、还原训练数据、浪费 Token、拒绝服务等）到九种常见攻击技术（上下文忽略、特例、混淆、任务伪装等），再到按实现难度递增的八层防御策略（从输入输出过滤到微调与架构级沙箱）。核心结论是"简单攻击往往最有效"、防御必须多层叠加，并给出最低成本的落地三件事：系统提示显式声明安全约束、用 XML 标签隔离用户输入、对输出做关键词与长度过滤。适合构建 LLM 应用的研发与安全工程师建立攻击面认知、设计分层防护。
分类：AI安全 ｜ 标签：#提示词
导读：本文介绍从零自建 LLM 测试平台的完整实践：以 React 19 + FastAPI + MySQL + 异步队列为技术栈，围绕 AI 角色模拟真实用户、AI 辅助校验、多轮对话测试三大能力，使测试执行从手工分钟级提升到自动秒级，落地案例中测试执行时间从数天缩短到数小时。文末还给出了"什么规模团队适合自建平台"的判定标准（多模型应用持续迭代、用例上百条、需频繁回归时值得搭建轻量级平台）。适合负责大模型评测与质量保障的测试开发或平台工程师参考。
分类：AI应用 ｜ 标签：LLM、测试平台、大模型评测