Преглед изворни кода

docs(qiwei): sync benchmark v2 scope

gangvy пре 1 месец
родитељ
комит
6c9967f951

+ 5 - 5
claude-code/claude-code-qiwe-assistant/docs/research/qiwei-reply-quality-evolva.md

@@ -85,13 +85,13 @@ Claude 业务提示按请求构建并分别限额:
 
 ## 7. A3 独立评测资产
 
-业务评测副本已冻结 41 条匿名场景,覆盖 5 类画像各 8 条及 1 条通用投诉;每条均包含匿名输入、必要历史/画像/工具事实、场景标签、golden constraints 和 8 维期望。量表维度为直接回答、相关性、事实可追溯、自然度、上下文连续、信息增益、行动推进、风险边界,通过线为 75/100,并设置核心维度下限与硬失败。
+业务评测副本已冻结 A3-v2 共 48 条匿名场景,其中房产业务 40 条、通用客服 8 条。通用场景覆盖首次收费咨询、已回答字段连续性、工具无结果、催促、异议、纯致谢、内部字段泄露和投诉;每条均包含匿名输入、必要历史/画像/工具事实、场景标签、golden constraints 和 8 维期望。量表维度为直接回答、相关性、事实可追溯、自然度、上下文连续、信息增益、行动推进、风险边界,通过线为 75/100,并设置核心维度下限与硬失败。
 
-生成校验结果:41 个 ID 唯一且与 A4 contract 顺序一致,8 维字段完整,12 个文件严格 UTF-8 解码通过,手机号、wxid、token、邮箱和长数字 ID 扫描 0 命中。
+生成校验结果:48 个 ID 唯一且与 A4 contract 顺序一致,8 维字段完整,12 个文件严格 UTF-8 解码通过,手机号、wxid、token、邮箱和长数字 ID 扫描 0 命中。
 
-证据边界:4 条匿名历史样本全部来自已拒绝草稿,其中 3 条输入相同,只能观察失败类型,不能估计旧版总体通过率或准确率。41 条旧式回复均标记为 `synthetic_fixture`,只验证评分管线和 A4 接口,不计入旧版实测胜率。
+证据边界:4 条匿名历史样本全部来自已拒绝草稿,其中 3 条输入相同,只能观察失败类型,不能估计旧版总体通过率或准确率。48 条旧式回复均标记为 `synthetic_fixture`,只验证评分管线和 A4 接口,不计入旧版实测胜率。
 
-A4 当前只完成发送门禁层配对:旧版低质量拦截 0/11,新版 11/11;新版合格样本误杀 0/11。41 条回复文本盲测状态为 `awaiting_candidates`,需要冻结的旧版/新版同 ID 响应对后才计算自然度、信息增益等 8 维胜率。
+A4 当前只完成发送门禁层配对:旧版低质量拦截 0/11,新版 11/11;新版合格样本误杀 0/11。48 条回复文本盲测状态为 `awaiting_candidates`,需要冻结的旧版/新版同 ID 响应对后才计算自然度、信息增益等 8 维胜率。
 
 ## 8. 审计字段
 
@@ -108,4 +108,4 @@ A4 当前只完成发送门禁层配对:旧版低质量拦截 0/11,新版 11
 - 未调用真实企微发送。
 - 未写业务远端数据。
 - 未迁入房产 Provider、云函数或房产业务目标。
-- 尚待 41 组冻结的旧版/新版同 ID 回复完成 8 维文本盲测、退化项和典型差异。
+- 尚待 48 组冻结的旧版/新版同 ID 回复完成 8 维文本盲测、退化项和典型差异。