# 最新 live 质量验证证据

更新日期：2026-06-06

这份文档记录提号 SOP 优化后的最新 live 验证结果。文档中不包含 token 或 Authorization header。

## 最新完整矩阵通过记录

```text
outputs/overnight-quality-1780682025651
```

运行范围：

- 模式：live
- fixture 数：5
- 策略：`baseline-live,video-enhanced,result-first,result-first-risk,result-first-broad`
- run 数：25
- 程序失败数：0
- 发布门禁：通过
- 发布策略覆盖：通过
- 发布门禁失败数：0
- 诊断 warning：2
- token 泄漏扫描：0

矩阵中 `video-enhanced` 和 `result-first-risk` 是诊断策略，用于观察视频证据与风险提示，不作为发布阻断项。发布候选策略是 `result-first` 和 `result-first-broad`。

## 最佳发布策略

`result-first-broad` 在 5 个 fixture 中都是最佳发布策略。

| Brief | baseline强推数 | 最佳强推数 | 最佳策略 | 最佳召回数 | 证据覆盖 | 平均分 | 负样本风险率 |
| --- | ---: | ---: | --- | ---: | ---: | ---: | ---: |
| 618-list-seeding | 6 | 11 | result-first-broad | 150 | 100% | 78.4 | 0% |
| dha-mom-baby | 0 | 4 | result-first-broad | 103 | 100% | 79.5 | 0% |
| healthy-snack | 1 | 6 | result-first-broad | 318 | 100% | 78.5 | 0% |
| home-cleaning | 4 | 8 | result-first-broad | 160 | 100% | 79.2 | 0% |
| sensitive-skin-repair | 3 | 10 | result-first-broad | 160 | 100% | 83.8 | 0% |

## 诊断 warning

| Brief | 策略 | warning | 当前值 | 目标 |
| --- | --- | --- | ---: | --- |
| 618-list-seeding | video-enhanced | 强推数低于 baseline | 5 | >= baseline 6 |
| healthy-snack | result-first-risk | 证据覆盖不足 | 50% | >= 80% |

这些 warning 用于后续继续调优，但不影响当前发布策略，因为对应 brief 的发布策略已经通过。

## 这轮验证证明了什么

- 完整 5 x 5 live 矩阵已经用真实 provider 跑完。
- 每个 brief 都至少有一个通过门禁的发布策略。
- 最佳发布策略在 5 个 fixture 上都超过 baseline 强推数。
- 最佳发布策略 top-10 证据覆盖均达到 100%。
- 自动化负样本风险率在 5 个 fixture 上都是 0%（基于 fixture 的 offTopicTerms 规则，不等同于真实人工负样本率）。
- 输出文件没有写入 token。

## 仍需人工复核

这是自动化 live 验证证据。正式给客户前，商务仍需要在 `manual-review-sample.csv` 中标注账号是否可直接发客户、是否需要报价/主页/合规复核，以及是否存在自动门禁没识别出的细微跑偏。