overnight-quality-latest-evidence.md 2.5 KB
最新 live 质量验证证据
更新日期：2026-06-06
这份文档记录提号 SOP 优化后的最新 live 验证结果。文档中不包含 token 或 Authorization header。
最新完整矩阵通过记录
outputs/overnight-quality-1780682025651
运行范围：
- 模式：live
- fixture 数：5
- 策略：
baseline-live,video-enhanced,result-first,result-first-risk,result-first-broad - run 数：25
- 程序失败数：0
- 发布门禁：通过
- 发布策略覆盖：通过
- 发布门禁失败数：0
- 诊断 warning：2
- token 泄漏扫描：0
矩阵中 video-enhanced 和 result-first-risk 是诊断策略，用于观察视频证据与风险提示，不作为发布阻断项。发布候选策略是 result-first 和 result-first-broad。
最佳发布策略
result-first-broad 在 5 个 fixture 中都是最佳发布策略。
| Brief | baseline强推数 | 最佳强推数 | 最佳策略 | 最佳召回数 | 证据覆盖 | 平均分 | 负样本风险率 |
|---|---|---|---|---|---|---|---|
| 618-list-seeding | 6 | 11 | result-first-broad | 150 | 100% | 78.4 | 0% |
| dha-mom-baby | 0 | 4 | result-first-broad | 103 | 100% | 79.5 | 0% |
| healthy-snack | 1 | 6 | result-first-broad | 318 | 100% | 78.5 | 0% |
| home-cleaning | 4 | 8 | result-first-broad | 160 | 100% | 79.2 | 0% |
| sensitive-skin-repair | 3 | 10 | result-first-broad | 160 | 100% | 83.8 | 0% |
诊断 warning
| Brief | 策略 | warning | 当前值 | 目标 |
|---|---|---|---|---|
| 618-list-seeding | video-enhanced | 强推数低于 baseline | 5 | >= baseline 6 |
| healthy-snack | result-first-risk | 证据覆盖不足 | 50% | >= 80% |
这些 warning 用于后续继续调优，但不影响当前发布策略，因为对应 brief 的发布策略已经通过。
这轮验证证明了什么
- 完整 5 x 5 live 矩阵已经用真实 provider 跑完。
- 每个 brief 都至少有一个通过门禁的发布策略。
- 最佳发布策略在 5 个 fixture 上都超过 baseline 强推数。
- 最佳发布策略 top-10 证据覆盖均达到 100%。
- 自动化负样本风险率在 5 个 fixture 上都是 0%（基于 fixture 的 offTopicTerms 规则，不等同于真实人工负样本率）。
- 输出文件没有写入 token。
仍需人工复核
这是自动化 live 验证证据。正式给客户前，商务仍需要在 manual-review-sample.csv 中标注账号是否可直接发客户、是否需要报价/主页/合规复核，以及是否存在自动门禁没识别出的细微跑偏。