kangshifu-board/scripts/package-expanded-review-intake.py

"""Package second-round review source batches and a precise publication handoff."""
import hashlib
import json
from pathlib import Path
import zipfile

ROOT = Path(__file__).resolve().parents[1]
WORK = ROOT / 'work/product-reviews/round2/intake'
DOCS = ROOT / 'docs/industry-product-reviews-20261106/round2'
OUT = ROOT / 'artifacts/商品评价扩充-20261106-r2'


def sha(raw):
    return hashlib.sha256(raw).hexdigest()


def main():
    report = json.loads((WORK / 'verification.json').read_text(encoding='utf-8'))
    rebuilding = json.loads((WORK / 'source-rebuild-verification.json').read_text(encoding='utf-8'))
    assert report['ok'] and rebuilding['verifiedReviews'] == report['selectedReviews']
    OUT.mkdir(parents=True, exist_ok=True)
    DOCS.mkdir(parents=True, exist_ok=True)
    archive = OUT / 'ksf-review-coverage-20261106-r2.zip'
    if archive.exists():
        raise ValueError('RELEASE_ALREADY_EXISTS')
    instruction = f'''# 第二批商品评价扩充：真实来源已准备，待生产发布

本批由Codex直接采集，用户要求继续补充“很多商品没有评价”的缺口。生产盘点4674件商品，仅54件有收录评价，其余4620件未收录；不能将未收录解读为平台零评价。

本轮从历史展示评价量一万以上的未收录商品中，按康师傅优先、品牌及店铺/品类分散选取58件。每件只请求一页、不重试；按实际点赞数在本页内排序，最多取20条。当前选中 **{report['sourceVerifiedProducts']}件商品、{report['selectedReviews']}条原评**，正点赞{report['positiveLikeReviews']}条，样本最高{report['maxObservedLikes']}赞，不称平台全量高赞。

本轮请求{report['collectionCalls']}次，成功{report['successfulCalls']}次，已核费用{report['confirmedNewCostCny']:.2f}元、未决预留{report['unsettledNewReservationCny']:.2f}元；仍计入原50元总预算。此前任务9.90元保守占用、第一批评价2.10元已核加预留均保留。失败/超时不自动重发。

## 数据与质量

- 每条按完整平台商品ID及reviewId关联，核请求ID与返回ID一致，排除模板、空内容、错商品和重复记录。
- 真实点赞数、评论总量展示及来源时间在来源JSON保留；reviews表没有点赞列，未知默认状态与评分量表仍留空，不能为了显示在分析范围而填false/造五星量表。
- 新评论发布后应在“全部评价（含待确认）”检查；“推荐用于分析”可能不展示这批未知默认状态记录。
- 商品上下文来自固定生产代际，既有商品标题/店铺/平台原值保留。构建器会生成标题候选规格，生产dry需核是否重复，不能替换已验证规格或擦除旧业务字段。
- 媒体manifest只用于追溯接口替换过的图片URL，头像/评价附图不当商品主图；本包不导入图片类。
- 所有来源已做文件SHA、JSON Pointer、商品归属及暂存回读；已从传输包重新构建验证，不包含活动数据库或凭据。

## 发布步骤

本机仍没有生产受限发布通道；上一次数字人实例通道可用。请沿用该实例既有KSF_LIBRARY_CHANNEL及ksf-voc-library Skill，**无需重新采集、无需新增费用**。

1. 校验根FILES.sha256；每个intake/batch-XX.zip是library_channel.pack产出的原始来源包，内含batch.json，解压到各自新的私有目录。
2. 准备时生产代际：`{report['expectedProductionGeneration']}`。先读实际当前代际。并发更新需重核本批商品当前记录及合并计划，不能盲目改generation覆盖。
3. 本包分为{len(report['batches'])}个小批次。每批按来源预检、新建暂存、发布dry，核商品保留、评价净新增/重复/冲突及候选规格；按用户已有入库授权apply一次，随后status并回读新代际。**前一批发布后，下一批必须读取新的实际generation并重新dry。**
4. 网络结果不明时以对应来源包SHA查status，不重复数据请求或盲目apply。保留旧代际、原件及合并取舍。
5. 最后回读全批评价ID、原文、商品归属以及看板“全部评价”，回报净新增评价数、有评价商品数、冲突和剩余未收录商品数。只有生产回读成功后称已入库。

示例（每批使用目标实例已有脚本路径）：

```sh
python3 -B scripts/agent_batch.py --batch /本批/batch.json --output /本批/new-staging.sqlite
python3 -B scripts/agent_batch.py --batch /本批/batch.json --output /本批/new-staging.sqlite --apply
python3 -B scripts/library_channel.py publish --batch /本批/batch.json --expected-generation <实际当前代际>
python3 -B scripts/library_channel.py publish --batch /本批/batch.json --expected-generation <同一已核dry代际> --apply
python3 -B scripts/library_channel.py status --archive-sha256 <清单内该批SHA>
```

## 本地显示修复

Codex已将4181普通预览从旧2360评价快照改为生产只读数据，实测与生产2484条同代际，浏览器可见上批速达面馆10条原评。显式KSF_LIBRARY_REGISTRY/KSF_VOC_DB仍使用指定本地快照。此开发服务器修改不需要生产部署，不影响此次生产数据发布。

当前本批状态：prepared-not-published。请勿重复发布第一批104条评价。
'''
    (DOCS / 'README.md').write_text(instruction, encoding='utf-8')
    files = {'交接说明.md': instruction.encode(), 'evidence/verification.json': (WORK / 'verification.json').read_bytes(),
        'evidence/source-rebuild-verification.json': (WORK / 'source-rebuild-verification.json').read_bytes(),
        'evidence/collection-audit.json': (WORK / 'collection-audit.json').read_bytes()}
    for ordinal, r in enumerate(report['batches'], 1):
        folder = WORK / ('batch-' + str(ordinal).zfill(2))
        raw = (folder / 'channel-source.zip').read_bytes()
        assert sha(raw) == r['channelArchiveSha256']
        files['intake/batch-' + str(ordinal).zfill(2) + '.zip'] = raw
        files['evidence/batch-' + str(ordinal).zfill(2) + '.json'] = (folder / 'verification.json').read_bytes()
    for name in ['expand-product-review-coverage.py', 'build-expanded-review-intake.py']:
        files['reproduction/' + name] = (ROOT / 'scripts' / name).read_bytes()
    files['FILES.sha256'] = ''.join(sha(raw) + '  ' + name + '\n' for name, raw in sorted(files.items())).encode()
    with zipfile.ZipFile(archive, 'x', zipfile.ZIP_DEFLATED, compresslevel=9) as z:
        for name, raw in files.items():
            z.writestr(name, raw)
    with zipfile.ZipFile(archive) as z:
        assert z.testzip() is None
        for line in z.read('FILES.sha256').decode().splitlines():
            expected, name = line.split('  ', 1)
            assert sha(z.read(name)) == expected
    receipt = {'ok': True, 'file': str(archive), 'sha256': sha(archive.read_bytes()), 'bytes': archive.stat().st_size,
        'sourceBatches': len(report['batches']), 'products': report['sourceVerifiedProducts'], 'reviews': report['selectedReviews'],
        'productionImported': False, 'filesVerified': len(files) - 1}
    (DOCS / 'delivery-receipt.json').write_text(json.dumps(receipt, ensure_ascii=False, indent=2) + '\n', encoding='utf-8')
    print(json.dumps(receipt, ensure_ascii=False, indent=2))


if __name__ == '__main__':
    main()