分类标签归档：LLM
导读：这篇记录了对自部署 LLM 对话接口从 1 并发加压到 100 并发的阶梯压测:QPS 无论怎么加压都稳定卡在 1.5 左右,50 并发起开始报"连接被关闭",100 并发时成功率崩到 42.86%。看似是模型算力不够,但资源监控显示显存/内存全程恒定、CPU 最高只到约 40%,结论是瓶颈在 HTTP 并发处理层而非 GPU/显存,并给出连接池、并发上限、超时与 keep-alive 等优先优化方向。适合评估自部署大模型服务并发上限的测试工程师与后端开发者阅读。
本文记录一次对自部署大模型对话接口的 JM
导读：这篇实录回答"RAG 知识库接口在并发下扛不扛得住":对"检索+生成"串行链路的知识库问答接口做 JMeter 阶梯压测,结论是 1 并发成功率 100%(平均响应 3.6s),到 20 并发时成功率跌到 87%、平均响应 47.8s、吞吐掉到约 1.4,接口基本崩掉。关键判断是瓶颈不在机器(显存/内存全程稳定),而在串行的检索与生成链路,并给出多线程调用、检索链路两个方向的优化建议。适合要压测 LLM/RAG 或知识库类接口的测试工程师与后端开发者阅读。
分类：性能测试 ｜ 标签：LLM、RAG、压测
导读：本文系统梳理 LLM 提示词攻击与防御的完整框架：从六大攻击动机（泄露内部指令、还原训练数据、浪费 Token、拒绝服务等）到九种常见攻击技术（上下文忽略、特例、混淆、任务伪装等），再到按实现难度递增的八层防御策略（从输入输出过滤到微调与架构级沙箱）。核心结论是"简单攻击往往最有效"、防御必须多层叠加，并给出最低成本的落地三件事：系统提示显式声明安全约束、用 XML 标签隔离用户输入、对输出做关键词与长度过滤。适合构建 LLM 应用的研发与安全工程师建立攻击面认知、设计分层防护。
分类：AI安全 ｜ 标签：#提示词
导读：本文介绍从零自建 LLM 测试平台的完整实践：以 React 19 + FastAPI + MySQL + 异步队列为技术栈，围绕 AI 角色模拟真实用户、AI 辅助校验、多轮对话测试三大能力，使测试执行从手工分钟级提升到自动秒级，落地案例中测试执行时间从数天缩短到数小时。文末还给出了"什么规模团队适合自建平台"的判定标准（多模型应用持续迭代、用例上百条、需频繁回归时值得搭建轻量级平台）。适合负责大模型评测与质量保障的测试开发或平台工程师参考。
分类：AI应用 ｜ 标签：LLM、测试平台、大模型评测