Multi-Agent AIOps V3 压测报告#

测试日期：2026-06-08
测试对象：Multi-Agent AIOps Platform V3
测试范围：API 接入、队列削峰、Webhook 洪峰、限流保护、Worker 执行并发

1. 测试结论#

当前配置下，系统可以同时接收较高并发的请求，但会把真正昂贵的诊断执行限制在一个可控范围内。

最重要的结论：

Worker 数量 = 3
真实同时诊断数 = 2

也就是说，3 个 Worker 都可以领取任务，但当前配置只允许 最多 2 个诊断任务真正同时执行 LLM / RAG / MCP 工具链路。第 3 个 Worker 会等待全局执行槽释放。

2. 测试环境#

关键并发配置：

3. 压力模型#

V3 把压力拆成多类分别治理，而不是让所有压力都进入 Agent 执行阶段。

核心模式：

请求洪峰
    -> API 快速接收
    -> Postgres 记录任务事实
    -> Redis Streams 排队削峰
    -> Worker 按优先级领取
    -> 全局执行槽限制真实诊断并发
    -> 成功 ACK / 失败重试 / 最终进入 DLQ

4. 测试用例总览#

说明：写入型高压测试期间临时停止 Worker，只验证接入、落库和入队能力，避免大批任务触发 LLM 消耗。测试结束后清理压测任务并恢复 Worker。

5. API 读压测试#

测试接口：

GET /api/v1/queue/status

该接口不创建任务、不调用 LLM，用于观察 API + Redis 状态查询链路的读压能力。

结论：

• 100 并发读压下系统响应较稳，吞吐约 367.7 req/s。
• 200 并发读压下仍 100% 成功，但延迟明显上升。
• 当前瓶颈主要开始出现在队列状态查询、Redis 交互和本机容器资源上。

6. 写入接入压力测试#

测试期间临时停止 Worker，只测试 API 入队、Postgres 落库、Redis 队列写入，不触发大批 LLM 执行。

6.1 后台诊断提交#

测试接口：

POST /api/v1/aiops/diagnose/submit

观察结果：

• 200 个后台诊断任务全部成功入队。
• 压测时 Worker 停止，因此任务只进入队列，不会被执行。
• 系统可以在较短时间内完成任务落库和队列写入。

6.2 Alertmanager Webhook 洪峰#

测试接口：

POST /api/v1/webhook/alertmanager

观察结果：

• 500 条 Webhook 告警全部成功接收。
• 告警完成归一、落库，并进入优先级队列。
• Webhook 接入吞吐高于后台诊断提交，原因是请求体和业务路径更适合批量入口。

7. 接口限流测试#

测试目标：验证单调用方固定窗口限流是否生效。

测试方式：同一调用方并发提交 40 个后台诊断请求。

结论：

• 前 20 个请求成功进入队列。
• 超过单 IP 窗口上限的请求返回 429。
• 限流触发后 API 保持健康，没有出现异常状态码。

8. 真实 Worker 执行验证#

测试命令：

python scripts/loadtest.py submit --n 8 --concurrency 8 --severity mix

该测试会让 Worker 真实消费任务并调用诊断链路，用来验证队列削峰和全局执行槽。

队列与 Worker 观察：

结论：

• API 可以并发接收任务并快速返回。
• 任务会进入队列削峰。
• 即使 3 个 Worker 同时存活，真实诊断执行并发也被限制在 2。

9. Worker 专项补测#

测试目标：确认当前最多有几个 Worker 真正同时执行诊断。

测试方式：提交 6 个真实诊断任务，连续采样队列状态、数据库任务状态和全局执行槽。

关键解释：

Worker 领取任务数 != 真正同时跑诊断数

压测中出现了 running=3，表示 3 个 Worker 都领取了任务并进入执行流程，包含正在等待全局执行槽的任务；但真实执行槽始终不超过 2/2。因此当前配置下：

最多同时真正执行诊断 = 2

第 3 个 Worker 会等待执行槽释放，不会同时打满 LLM / RAG / MCP。

10. 压测后状态#

压测结束后已清理未执行的压力测试任务，并恢复 Worker。

最终队列状态：

11. 风险与说明#

• 读压测试不代表真实诊断吞吐，只代表 API + Redis 状态查询链路能力。
• 写入接入测试期间 Worker 被临时停止，因此不消耗大批 LLM，但可以验证削峰入口能力。
• 真实执行测试规模较小，目的是验证执行槽和 Worker 行为，不建议用大批真实 LLM 任务做暴力压测。
• 当前最大真实诊断并发由全局执行槽决定，不由 Worker 容器数量直接决定。

12. 调参建议#

当前推荐配置适合本地演示和中小规模压测：

Worker 数量 = 3
真实诊断执行并发 = 2

如果模型配额和机器资源更充足，可以逐步调整为：

调大前建议同时观察：

• LLM RPM / TPM
• API P95 / P99
• 队列 depth / lag
• Postgres 连接池
• Milvus 检索延迟
• MCP 工具响应时间
• DLQ 是否增长