audit-risk.md 2.8 KB


name: audit-risk description: 风险预警审计 — 分析指定时间段内的群聊消息,检测关键词覆盖率和漏报情况,生成 HTML/MD 审计报告和管理建议 argument-hint: "[开始日期] [结束日期]" metadata: category: 风控审计

frequency: 每周 / 每月

/audit-risk — 风险预警覆盖审计技能

技能说明

对拉迷家居企微群聊消息进行事后审计,分析风险预警系统的覆盖效果:

  • 关键词命中覆盖率统计
  • 漏报群检测(关键词命中但未触发预警)
  • AI 深度评审漏报消息
  • 可视化 HTML 报告 + MD 管理建议报告

前置条件

  • 环境变量: DEEPSEEK_API_KEY(可选,不配则跳过 AI 评审)
  • Parse Server 可正常连接
  • 确保 backend/scripts/ 目录下存在以下脚本:
    • audit-risk-coverage.ts — 覆盖审计(输出 HTML)
    • audit-risk-deep-analysis.ts — 深度分析(输出 MD)

执行流程

第一步:运行覆盖审计

cd backend && npx tsx scripts/audit-risk-coverage.ts

输出: backend/scripts/audit-risk-YYYY-MM-DD.html

  • 在浏览器打开查看可视化报告
  • 包含概览卡片、已触发预警列表、漏报群详情(含 AI 评审)、关键词云、管理建议

第二步:运行深度分析

cd backend && npx tsx scripts/audit-risk-deep-analysis.ts

输出: backend/scripts/audit-risk-deep-YYYY-MM-DD.md

  • 消息活动分布(按天/群/发送者)
  • 关键词类别有效性排名
  • 漏报原因三分类(促销/业务/真实风险)
  • AI 管理建议(5 维度: 关键词/规则/盲区/流程/审计)
  • 具体行动项(本周/本月/持续)

第三步:解读报告

重点关注以下指标:

  1. 关键词覆盖率: < 5% 说明关键词库严重冗余,需精简
  2. 高危漏报群: 质量类/投诉类关键词命中但未预警的群,需要人工介入
  3. 类别有效率: 0% 的类别需要重新审核关键词是否合理
  4. AI 评审结论: "⚠ 有风险" 的是真漏报,"✅ 无风险" 的是误匹配

第四步:执行优化

根据 AI 管理建议,执行关键词库优化:

  • 移除促销类误匹配词(定金/订金/优惠等)
  • 升级质量类关键词权重(脱胶/开裂/变形等)→ 命中即报
  • 淘汰连续 30 天零命中的沉睡词
  • 补充口语化投诉变体

技能文档

完整 SOP 参考: backend/scripts/audit-risk-README.md

数据表依赖

用途
Message 消息内容 + 发送者 + 时间戳
RiskEvent 已触发的风险预警事件
RiskKeyword 启用的风险关键词库
GroupChat 群名称 + 小区映射

关键 KPI

指标 当前值 目标值
关键词覆盖率 2.2% > 10%
月度漏报群 21 < 5
误报率 ~0% < 30%
预警响应时间 不定 < 30min