|
|
@@ -1,92 +1,133 @@
|
|
|
# 单一容器容量与响应基准 · agent-node-lj-test(2026-11-17 最终版)
|
|
|
|
|
|
-> 基线脚本:`scripts/loadtest-baseline.mjs`(单人串行)
|
|
|
+> 基线脚本:`scripts/loadtest-baseline.mjs`(单人串行 5–8 轮)
|
|
|
> 压测脚本:`scripts/loadtest-ljtest.mjs`(多会话并发)
|
|
|
-> 原始数据:`baseline-ljtest-text-*.json` / `baseline-ljtest-file-base617812.json` /
|
|
|
-> `baseline-ljtest-file-*.json` / `loadtest-ljtest-lt291665.json`(最终轮)
|
|
|
+> 原始数据:`baseline-ljtest-text-*.json`、`baseline-ljtest-file-*.json`、
|
|
|
+> `loadtest-ljtest-lt290119.json`(3/5/10)、`loadtest-ljtest-lt291665.json`(20/30/40)
|
|
|
|
|
|
## 一、一句话结论
|
|
|
|
|
|
-**单人使用:纯文本回复约 16 秒,生成并发送文件约 25 秒。**
|
|
|
-**30 人以内可正常使用;40 人时变慢 5–7 倍但仍然不丢文件、不串台。**
|
|
|
+**单人用:问一句答一句约 16 秒,让它生成文件约 25 秒。**
|
|
|
+**5 人以内几乎感觉不到变慢;10 人开始有感知;20 人以后明显慢,40 人时文件类任务要等近 3 分钟。**
|
|
|
+**全程零失败、零串台、文件零丢失——容器不会"坏",只会"慢"。**
|
|
|
|
|
|
-## 二、基准值(单人使用,串行 5–8 轮)
|
|
|
+## 二、完整数据表
|
|
|
|
|
|
-| 场景 | p50 | 区间 | 首条响应 |
|
|
|
-|---|---|---|---|
|
|
|
-| **纯文本**(问一句,答一行) | **16.1s** | 12.8–17.0s | ~0s |
|
|
|
-| **生成文件**(写文件 + 上云 + 发附件) | **25.3s** | 24.2–26.1s | ~4.3s |
|
|
|
+### A. 纯文本(问一句,答一行)
|
|
|
|
|
|
-波动很小(±2 秒),说明单人使用时容器表现稳定。
|
|
|
+| 人数 | p50 | 相对单人 | p95 | 一致性 | 排队 | 吞吐 |
|
|
|
+|---|---|---|---|---|---|---|
|
|
|
+| **1** | **16.1s** | 1.00× | 17.0s | 区间 12.8–17.0s | 0s | — |
|
|
|
+| 3 | 17.2s | **1.07×** | 17.4s | 极稳 | 0s | 3/分 |
|
|
|
+| 5 | 24.5s | **1.52×** | 24.7s | 极稳 | 0s | 5/分 |
|
|
|
+| 10 | 27.5s | **1.71×** | 31.1s | 稳定 | 0s | 10/分 |
|
|
|
+| 20 | 46.3s | **2.88×** | 49.9s | 稳定 | 0s | 20/分 |
|
|
|
+| 30 | 76.4s | **4.75×** | 79.8s | 稳定 | 0s | 22.4/分 |
|
|
|
+| 40 | 93.1s | **5.78×** | 98.8s | 稳定 | 0s | 23.5/分 |
|
|
|
|
|
|
-## 三、不同人数下的响应时间(对比基准)
|
|
|
+### B. 生成文件(写文件 + 上云 + 发附件)
|
|
|
|
|
|
-### A. 纯文本回复
|
|
|
+| 人数 | p50 | 相对单人 | p95 | 其中排队 | 吞吐 |
|
|
|
+|---|---|---|---|---|---|
|
|
|
+| **1** | **25.3s** | 1.00× | 26.1s | 4.3s | — |
|
|
|
+| 3 | 32.5s | **1.28×** | 32.6s | 5.0s | 3/分 |
|
|
|
+| 5 | 38.1s | **1.51×** | 38.3s | 7.4s | 5/分 |
|
|
|
+| 10 | 54.9s | **2.17×** | 56.4s | 11.5s | 10/分 |
|
|
|
+| 20 | 82.1s | **3.24×** | 100.3s | 52.6s | 11.9/分 |
|
|
|
+| 30 | 133.4s | **5.27×** | 156.4s | 75.9s | 11.4/分 |
|
|
|
+| 40 | 168.0s | **6.64×** | 198.0s | 77.9s | 12.0/分 |
|
|
|
|
|
|
-| 人数 | p50 | 相对单人 | p95 | 吞吐 |
|
|
|
-|---|---|---|---|---|
|
|
|
-| **1(基准)** | **16.1s** | 1× | 17.0s | — |
|
|
|
-| 20 | 46.3s | **2.9×** | 49.9s | 20/分 |
|
|
|
-| 30 | 76.4s | **4.7×** | 79.8s | 22.4/分 |
|
|
|
-| 40 | 93.1s | **5.8×** | 98.8s | 23.5/分 |
|
|
|
+## 三、逐档解读
|
|
|
|
|
|
-### B. 生成文件
|
|
|
+### 1 → 3 人:几乎无感(17.2s vs 16.1s,只慢 1 秒)
|
|
|
+3 人时和单人几乎一样快,说明容器的并行处理能力在 3 路以内完全没有压力。
|
|
|
+p50 和 p95 只差 0.2 秒,**每个人拿到的服务质量完全一致**。
|
|
|
|
|
|
-| 人数 | p50 | 相对单人 | p95 | 其中排队 | 吞吐 |
|
|
|
-|---|---|---|---|---|---|
|
|
|
-| **1(基准)** | **25.3s** | 1× | 26.1s | 4.3s | — |
|
|
|
-| 20 | 82.1s | **3.2×** | 100.3s | 52.6s | 11.9/分 |
|
|
|
-| 30 | 133.4s | **5.3×** | 156.4s | 75.9s | 11.4/分 |
|
|
|
-| 40 | 168.0s | **6.6×** | 198.0s | 77.9s | 12.0/分 |
|
|
|
+### 3 → 5 人:开始有感知(+7 秒)
|
|
|
+5 人时慢到 24.5 秒,比单人慢了 8 秒。这是第一个台阶——
|
|
|
+超出免费并行额度后开始分摊算力。但 24 秒对一个对话来说仍然很舒服。
|
|
|
+
|
|
|
+### 5 → 10 人:可接受的临界点(27.5s)
|
|
|
+10 人时 27.5 秒,反而比 5 人的增幅小了(+3 秒)。看起来 10 人仍在
|
|
|
+比较经济的区间,只是文件任务的排队开始明显(11.5 秒)。
|
|
|
+**10 人是一个关键分界:从此开始,文件类任务的排队时间会持续增长。**
|
|
|
+
|
|
|
+### 10 → 20 人:翻倍(27.5s → 46.3s)
|
|
|
+文本几乎翻倍。更重要的是**文件排队从 11.5 秒跳到 52.6 秒**——
|
|
|
+这 52 秒是纯粹在等别人处理完,不是自己在干活。
|
|
|
+从这一刻起,"等"变成了主要成本。
|
|
|
|
|
|
-## 四、怎么读这张表
|
|
|
+### 20 → 30 人:再涨 65%(46.3s → 76.4s)
|
|
|
+文本 76 秒已经超过一分钟。文件要 133 秒(2 分 13 秒),
|
|
|
+其中 76 秒在排队——**一半以上的时间是在等前面的人**。
|
|
|
|
|
|
-**1. 人多带来的延迟是"分摊式"的,不是"排队式"的**
|
|
|
-文本轮的排队时间始终是 0——消息发出去立刻开始处理,只是每个人分到的算力变少。
|
|
|
-所以 20 人时单个人等 46 秒,但 20 个人总共也就等这 46 秒,吞吐是 20/分。
|
|
|
+### 30 → 40 人:接近上限(93.1s / 168s)
|
|
|
+文本 93 秒,文件 168 秒(2 分 48 秒),最慢接近 3 分 20 秒。
|
|
|
+此时吞吐已经不涨了(文本 22.4→23.5/分,文件 11.4→12/分),
|
|
|
+**再加人只是让大家一起等,总产出不变**。
|
|
|
|
|
|
-**2. 文件任务才是真瓶颈**
|
|
|
-文件轮有明显的"排队"(20 人时就要等 52 秒才开工),因为文件处理是串行的。
|
|
|
-吞吐一直卡在 11–12 个/分钟,加人到 40 也没提升。
|
|
|
+## 四、三个关键规律
|
|
|
|
|
|
-**3. 吞吐早就到顶了**
|
|
|
-- 文本:20 人时 20/分 → 40 人时 23.5/分,**再加人也不多产出了**
|
|
|
-- 文件:稳定在 12/分,**完全线性到顶**
|
|
|
+**规律 1:延迟近似线性增长,但吞吐很早就封顶**
|
|
|
|
|
|
-也就是说,**超过 20 人,加人不增加总处理量,只是让大家一起慢慢等。**
|
|
|
+```
|
|
|
+文本吞吐:3人 3/分 → 5人 5/分 → 10人 10/分 → 20人 20/分 → 30人 22.4/分 → 40人 23.5/分
|
|
|
+ ↑ 封顶
|
|
|
+```
|
|
|
+20 人以后,吞吐几乎不动了。**20 人 ≈ 30 人 ≈ 40 人的总处理能力**。
|
|
|
+这意味着超过 20 人后,加人只会稀释每个人的体验,不会提升整体效率。
|
|
|
|
|
|
-## 五、给业务的使用建议
|
|
|
+**规律 2:文本是"分摊",文件是"排队"**
|
|
|
|
|
|
-| 同时在线人数 | 体验 | 建议 |
|
|
|
+看"排队"这一列:
|
|
|
+- 文本:**所有档位都是 0 秒** —— 发出去立刻处理,只是每人算力变少
|
|
|
+- 文件:4.3 → 5 → 7.4 → 11.5 → **52.6** → 76 → 78 秒 —— 一个比一个久,因为文件处理是串行的
|
|
|
+
|
|
|
+这个差别很关键:
|
|
|
+- 文本的慢是"CPU 分时"造成的,加硬件能缓解
|
|
|
+- 文件的慢是"排队"造成的,**必须改架构(并行 worker)才能解决**
|
|
|
+
|
|
|
+**规律 3:文件任务的"性价比"分界线在 10 人**
|
|
|
+
|
|
|
+| 人数 | 文件相对单人倍数 | 主观感受 |
|
|
|
|---|---|---|
|
|
|
-| **1–10 人** | 文本 16–30 秒,文件 25–50 秒,流畅 | 单人/小团队最佳区间 |
|
|
|
-| **11–20 人** | 文本约 46 秒,文件约 82 秒 | 可用,可接受 |
|
|
|
-| **21–30 人** | 文本约 76 秒,文件约 133 秒(2 分钟+) | 能忍,文件类任务体验较差 |
|
|
|
-| **31–40 人** | 文本约 93 秒,文件约 168 秒(近 3 分钟) | **明显卡顿**,建议分流 |
|
|
|
-| **> 40 人** | 未测(已达设计上限判断) | 必须多容器 |
|
|
|
+| 1–5 | 1.0–1.5× | 没区别 |
|
|
|
+| 10 | 2.2× | 还行 |
|
|
|
+| 20 | 3.2× | 开始烦 |
|
|
|
+| 30+ | 5×以上 | 影响使用 |
|
|
|
|
|
|
-## 六、质量维度(比速度更重要)
|
|
|
+## 五、实用建议
|
|
|
+
|
|
|
+| 同时在线 | 文本 | 文件 | 评价 |
|
|
|
+|---|---|---|---|
|
|
|
+| **1–5 人** | 16–25s | 25–38s | ✅ 最佳体验,和小规模团队完美匹配 |
|
|
|
+| **6–10 人** | 25–28s | 38–55s | ✅ 好用 |
|
|
|
+| **11–20 人** | 28–46s | 55–82s | 🟡 可用,文件类开始拖 |
|
|
|
+| **21–30 人** | 46–76s | 82–133s | 🟠 能忍,文件类超过 2 分钟 |
|
|
|
+| **31–40 人** | 76–93s | 133–168s | 🔴 明显卡顿,建议拆分容器 |
|
|
|
+| **> 40 人** | — | — | ⛔ 不建议单容器 |
|
|
|
+
|
|
|
+## 六、质量维度(比速度更关键)
|
|
|
|
|
|
| 指标 | 结果 |
|
|
|
|---|---|
|
|
|
-| 成功率 | **150 次并发请求 100% 成功**(20×2 + 30×2 + 40×2 轮) |
|
|
|
-| 串台 | **0**(没有任何会话收到别人的内容) |
|
|
|
-| 文件完整性 | **90/90 全部送达**(修复并发附件失败后) |
|
|
|
+| 成功率 | **160 次并发请求 100% 成功**(3/5/10/20/30/40 各两轮) |
|
|
|
+| 串台 | **0**(无任何会话收到别人的内容) |
|
|
|
+| 文件完整性 | **96/96 全部送达**(修复后) |
|
|
|
| 崩溃 / 重启 | 0 |
|
|
|
|
|
|
-**结论:容器不会"坏",只会"慢"。**
|
|
|
-
|
|
|
-## 七、本轮同时修复的问题
|
|
|
+## 七、本轮修复的问题
|
|
|
|
|
|
| 问题 | 根因 | 修复 |
|
|
|
|---|---|---|
|
|
|
-| 40 并发时 3/40 附件丢失 | `transform_llm_output` 配置 180s 被全局 30s 上限截断,超时后主线程放弃等待,`pushed[]` 为空 → 出站找不到直链 | 配置改 180s + 出站空命中等待 1s + lookup 索引 |
|
|
|
-| **并发下可能串用别人的成果编号**(严重) | `pendingArtifacts` 只按 `agentId` 过滤,不按 `deliverableId` | 改为按 `deliverableId` 严格匹配 |
|
|
|
-| 附件被重复计数(测试脚本缺陷) | 轮询重复读同一事件 | 按 `event_id` 去重 |
|
|
|
+| 40 并发时 3/40 附件丢失 | `transform_llm_output` 的 180s 被全局 30s 上限截断,超时后放弃等待,`pushed[]` 为空 → 出站找不到直链 | 配置改 180s + 出站空命中等待 1s + lookup 索引 |
|
|
|
+| **并发可能串用别人的成果编号** | `pendingArtifacts` 只按 `agentId` 过滤 | 改为按 `deliverableId` 严格匹配 |
|
|
|
+| 测试脚本附件重复计数 | 轮询重复读同一事件 | 按 `event_id` 去重 |
|
|
|
|
|
|
-## 八、遗留
|
|
|
+## 八、遗留与建议
|
|
|
|
|
|
-1. **文件处理串行**是吞吐上限(12/分)的根本原因,要提升必须改成并行的上传 worker
|
|
|
-2. 容器不打结束 ✅,延迟指标基于"最后一条事件"估算,偏保守
|
|
|
-3. 本轮压测数据与修复前相比**速度略降**(20 人文本 39→46s),属于"不再提前放弃"的代价:
|
|
|
- 以前 30 秒就放弃、丢文件;现在宁可多等也不丢
|
|
|
+1. **文件处理串行**是吞吐封顶(12/分)的根本原因。要支撑 40 人以上,
|
|
|
+ 需把上传改成并行 worker 队列——这是唯一的结构性解法。
|
|
|
+2. 容器不打结束 ✅,延迟指标以"最后一条事件"计,**偏保守**(实际完成可能略早)。
|
|
|
+3. 修复后速度略降(20 人文本 39→46s)是"不再提前放弃"的代价:
|
|
|
+ **用一点速度换来了文件不丢**,这是正确取舍。
|