API测试 性能测试 压力测试 人工智能 大模型 FastAPI Locust SSE 高并发 后端开发
API能跑不代表能扛：从TTFT到P99的AI全链路压测实战
一个 AI 接口在单请求下 200 OK，只能证明功能链路是通的；真正进入并发后，首 Token 可能从亚秒级迅速恶化到数秒，P95/P99 尾延迟陡升，HTTP 连接池开始排队，SSE 长连接持续占用 worker，上游模型限流又触发客户端重试，最终形成“排队—超时—重试—更拥塞”的放大回路。本文从一套可复现的受控实验出发，完整拆解 AI 全栈接口的负载模型、TTFT 分段计时、P95/P99、Token 吞吐、流式完整性、连接池、背压、限流、长短请求隔离、故障注入与容量拐点，并用同一负载模型做优化前后复测。目标不是跑出一个漂亮的最大并发数字，而是回答四个真正决定上线稳定性的问题：系统从哪里开始退化、时间丢在哪一层、过载时如何有序失败、优化之后是否真的变好。
30 秒先看结果：什么时候开始“不扛”
先把最重要的结论摆在前面。受控样例中，并发从 20 提升到 40 时，吞吐仍在增长，但 P95 已明显恶化；从 40 提升到 60 后，吞吐几乎进入平台期，错误率和 TTFT 却继续快速上升。真正的容量边界，不在“服务彻底崩掉”的位置，而在吞吐收益开始小
)