自部署 LLM 的并发压测：QPS 卡在 1.5，瓶颈到底在 CPU 还是显存？
导读：这篇记录了对自部署 LLM 对话接口从 1 并发加压到 100 并发的阶梯压测:QPS 无论怎么加压都稳定卡在 1.5 左右,50 并发起开始报"连接被关闭",100 并发时成功率崩到 42.86%。看似是模型算力不够,但资源监控显示显存/内存全程恒定、CPU 最高只到约 40%,结论是瓶颈在 HTTP 并发处理层而非 GPU/显存,并给出连接池、并发上限、超时与 keep-alive 等优先优化方向。适合评估自部署大模型服务并发上限的测试工程师与后端开发者阅读。
本文记录一次对自部署大模型对话接口的 JM