同一个 LLM：知识库（RAG）场景 QPS 为何比纯对话低一个数量级？

导读：文章通过同一自部署 LLM 在纯对话与知识库（RAG）两个场景的压测对比，揭示"加一个检索链路、QPS 掉一个数量级"：纯对话单节点稳定 QPS 120+、单问题约 1 秒输出，而 RAG 仅约 2–3 QPS、耗时 20 余秒，差距约 40–60 倍；原因分析聚焦利特尔定律与"向量检索 + 上下文组装 + Rerank + 长上下文解码"整条链路，并给出检索缓存、上下文裁剪、检索与生成服务解耦等优化方向。适合负责 LLM 容量评估、性能压测或 RAG 架构优化的工程师阅读。

分类：性能测试 ｜ 标签：RAG、大模

阅读全文 →

LLM 知识库(RAG)接口压测实录：为什么 20 并发就让接口崩掉

导读：这篇实录回答"RAG 知识库接口在并发下扛不扛得住":对"检索+生成"串行链路的知识库问答接口做 JMeter 阶梯压测,结论是 1 并发成功率 100%(平均响应 3.6s),到 20 并发时成功率跌到 87%、平均响应 47.8s、吞吐掉到约 1.4,接口基本崩掉。关键判断是瓶颈不在机器(显存/内存全程稳定),而在串行的检索与生成链路,并给出多线程调用、检索链路两个方向的优化建议。适合要压测 LLM/RAG 或知识库类接口的测试工程师与后端开发者阅读。

分类：性能测试 ｜ 标签：LLM、RAG、压测

背景：业务要

阅读全文 →