SKILL.md 8.6 KB


name: fmode-mv description: "触发词:做MV/做音乐视频/写歌并出片/口播讲解视频/AI音乐/AI视频。两条产线:AI单曲MV(作曲填词→音乐→关键帧→图生视频→唇形→成片)与AI口播讲解(口播稿→TTS→讲解画面→B-roll→成片)。纯ESM零依赖,provider 可插拔。" version: 0.1.0 author: Fmode (FmodeAgent) license: MIT platforms: [linux, macos]

tags: [mv, music, video, ai, ffmpeg, lyrics, storyboard, lipsync, tts, suno]

fmode-mv · SKILL

纯 AI 音乐 MV 全流程技能。从一句主题到成片,全程零实拍。

一、这是什么

把「作曲填词 → AI 生成音乐 → AI 制作 MV」整条链路固化成一个可复用的技能仓库。 任何数字生命克隆本仓即可照跑:

git clone https://git.fmode.cn/fmode-13177980648/skill-mv.git
cd skill-mv
node bin/fmode-mv.js doctor      # 自检
node bin/fmode-mv.js providers   # 看通道现状
node bin/fmode-mv.js song "主题"  # 端到端跑一条 MV

纯 AI 生成,不依赖实拍(现实拍摄素材最多作参考图/参考音)。

二、两条产线

两条产线共用同一套底层模块(图像 / 视频 / 音频 / 剪辑 / provider 接口),只是编排不同。

产线 A · AI 单曲 MV

歌曲主题
  → 作曲填词          [chat ✅]
  → AI 生成音乐       [music ⚠️]
  → 人声/伴奏分离      [local ◐]
  → 场景&人物关键帧    [image ✅]
  → 图生视频          [video ⚠️]
     ├ B-roll 空镜(每段 5~8 秒)
     └ 人物演唱镜头(每段 5~8 秒)
  → 唇形驱动          [lipsync ⚠️]
  → 剪辑合成(卡点+字幕+混音)[local ffmpeg ✅]
  → out/mv.mp4
fmode-mv song "深夜末班地铁上的城市白领" --genre "city pop" --mood "孤独但温暖"

产线 B · AI 口播讲解视频

口播需求
  → 口播稿            [chat ✅]
  → TTS 配音          [tts ⚠️]
  → 人物讲解画面       [image ✅]
  → 场景切换 B-roll    [video ⚠️]
  → 剪辑合成          [local ffmpeg ✅]
  → out/talk.mp4
fmode-mv talk "三分钟讲清楚什么是多租户数据隔离" --duration 90

三、★能力现状(实测,务必据此预期)

环节 端点 现状 说明
作曲填词 / 分镜 / 口播稿 POST /v1/chat/completions ✅ 可用 deepseek-v4-flash、doubao-seed-2-1-pro 等;实测出词正常
场景 / 人物关键帧 POST /v1/images/generations ✅ 可用 gpt-image-2.5-sunburst,返回 b64_json
AI 音乐 POST /suno/submit/music + POST /suno/fetch ⚠️ 端点存在,渠道未开通 实测提交返回 503 Task request failed
图生视频 POST /v1/video/generations ⚠️ 无可用渠道 实测 503 No available channel for model doubao-seedance-1-0-pro
唇形驱动 — ⚠️ 平台暂无通道 网关无该路由(返回前端兜底页)
TTS 口播配音 /v1/audio/speech ⚠️ 平台暂无通道 网关无该路由;本地 edge-tts 在部分云环境被 403 拦截(本容器实测),需备 FEME_TTS_ENDPOINT
音轨分离 本地 ◐ ffmpeg 相位兜底 / demucs 可选 需要真·分离请装 demucs
剪辑 / 合成 本地 ffmpeg ✅ 可用 拼接 / 混音 / 字幕 / 卡点 / 响度归一化

随时用 fmode-mv providers(加 --deep 做真实提交探活)查看最新状态。

未开通通道怎么处理 —— 本技能的承诺

绝不静默失败,绝不编造产物。

  • 调用未开通通道 → 抛 ProviderUnavailableError,打印可操作方案(换通道 / 对接外部服务 / 用现成素材)。
  • 产线编排里遇到未开通步骤 → 如实标记 unavailable,能兜底的才兜底,并在最终报告中标出。
  • 图生视频未开通 → 自动降级为「关键帧 + Ken Burns 运镜」,产物文件名带 .fallback, 报告里写明「N 段为兜底运镜(非真 AI 图生视频)」。

替代路线(详见 references/capability-matrix.md):

缺失能力 立即可用的替代
AI 音乐 自备音频 --music your-song.mp3;等渠道开通后原样重跑
图生视频 自动 Ken Burns 兜底,先出片后替换;或 FEME_VIDEO_MODEL 换已开通模型
唇形驱动 自建 Wav2Lip/SadTalker + FEME_LIPSYNC_ENDPOINT;或改用表情微动镜头;或纯空镜+字幕
TTS 优先本地 edge-tts(pip install edge-tts,自动探测);⚠️ 若被 403 拦截(部分云环境)则用 FEME_TTS_ENDPOINT 对接外部服务

四、安装

git clone https://git.fmode.cn/fmode-13177980648/skill-mv.git
cd skill-mv
npm link            # 可选:全局获得 fmode-mv 命令
fmode-mv doctor

依赖:

  • Node ≥ 18(用内置 fetch,零 npm 依赖)
  • ffmpeg / ffprobe(apt-get install -y ffmpeg)
  • 凭据(三选一,见下)
  • 可选:demucs(高质量音轨分离)、edge-tts(免费 TTS)

凭据(零硬编码)

按优先级读取:

  1. 环境变量 FEME_API_TOKEN / FEME_API_KEY / FEME_API_BASE_URL
  2. /opt/data/fmode-identity.json 的 newapi_token 字段
  3. 兼容旧名 FMODE_API_KEY / FMODE_API_BASE_URL

    export FEME_API_TOKEN=<你的token>
    # 或写入身份文件(不要提交进 Git)
    

本技能不会把 token 写入任何文件、日志、产物或提交。

五、命令速查

命令 作用 通道
fmode-mv song "主题" 产线A 端到端 全链路
fmode-mv talk "主题" 产线B 端到端 全链路
fmode-mv lyrics "主题" 作曲填词 chat
fmode-mv storyboard --from work/song.json 分镜脚本 chat
fmode-mv music --from work/song.json AI 音乐 music
fmode-mv separate <audio> 人声/伴奏分离 本地
fmode-mv keyframe --from work/storyboard.json 关键帧 image
fmode-mv video --from work/storyboard.json 图生视频 video
fmode-mv lipsync --probe 唇形驱动 lipsync
fmode-mv tts --from work/script.md 口播配音 tts
fmode-mv assemble --from work/storyboard.json --music a.mp3 剪辑成片 本地
fmode-mv providers [--deep] 能力现状表 —
fmode-mv doctor 环境自检 —
fmode-mv version --check 三处版本一致性 —

每个命令都支持 --help 查看完整参数。

六、工作流与产物

work/                       中间产物(.gitignore 已排除)
├── song.json               作曲填词结果(歌词/曲风/结构/风格prompt)
├── storyboard.json         ★分镜(下游全部消费它)
├── storyboard.md           人读版分镜表
├── script.json / .md       产线B 口播稿
├── audio/                  音乐、人声、伴奏、配音
├── frames/shot-XX.png      关键帧
├── clips/shot-XX.mp4       视频片段(兜底产物为 shot-XX.fallback.mp4)
├── lipsync/
└── subtitles.srt
out/
├── mv.mp4 / talk.mp4       成片
└── manifest.json           成片清单(含兜底片段数、BPM、音轨)

分镜结构见 templates/storyboard.schema.json。

七、两条产线完整 SOP

  • 产线A:references/pipeline-a-song-mv.md(逐步命令 + 避坑)
  • 产线B:references/pipeline-b-talking.md(逐步命令 + 避坑)
  • 提示词模板库:references/prompt-templates.md
  • 能力矩阵与替代方案:references/capability-matrix.md

八、设计要点(改代码前先看)

  1. provider 可插拔:lib/providers.mjs 是唯一通道注册表。换模型/换端点只需:

    export FEME_MUSIC_MODEL=xxx      # 或 FEME_MUSIC_ENDPOINT / FEME_VIDEO_MODEL ...
    

    或在 fmode-identity.json 写 providers: { music: { model, endpoint } }。无需改代码。

  2. 人物一致性靠锚点:分镜里的 appearanceAnchor 会被逐镜头复述进 imagePrompt。 这是纯 AI 出片最容易翻车的地方,改动分镜逻辑时不要删掉它。

  3. 卡点用能量包络:lib/ffmpeg.mjs 的 detectBeats() 纯 Node 实现(解码 PCM → 短时能量 → 局部阈值峰值 → 中位间隔估 BPM), 不依赖 aubio。assemble --beat-sync 会把镜头时长吸附到节拍点。

  4. 兜底必须留痕:所有降级产物都带 .fallback 后缀或 status: fallback,报告里明说。 这是为了「绝不伪造产物」——用户永远能分清哪些是真 AI 生成、哪些是兜底。

九、许可

MIT,见 LICENSE。


FmodeCode / FmodeAgent · v0.1.0