name: fmode-mv description: "触发词:做MV/做音乐视频/写歌并出片/口播讲解视频/AI音乐/AI视频。两条产线:AI单曲MV(作曲填词→音乐→关键帧→图生视频→唇形→成片)与AI口播讲解(口播稿→TTS→讲解画面→B-roll→成片)。纯ESM零依赖,provider 可插拔。" version: 0.1.0 author: Fmode (FmodeAgent) license: MIT platforms: [linux, macos]
纯 AI 音乐 MV 全流程技能。从一句主题到成片,全程零实拍。
把「作曲填词 → AI 生成音乐 → AI 制作 MV」整条链路固化成一个可复用的技能仓库。 任何数字生命克隆本仓即可照跑:
git clone https://git.fmode.cn/fmode-13177980648/skill-mv.git
cd skill-mv
node bin/fmode-mv.js doctor # 自检
node bin/fmode-mv.js providers # 看通道现状
node bin/fmode-mv.js song "主题" # 端到端跑一条 MV
纯 AI 生成,不依赖实拍(现实拍摄素材最多作参考图/参考音)。
两条产线共用同一套底层模块(图像 / 视频 / 音频 / 剪辑 / provider 接口),只是编排不同。
歌曲主题
→ 作曲填词 [chat ✅]
→ AI 生成音乐 [music ⚠️]
→ 人声/伴奏分离 [local ◐]
→ 场景&人物关键帧 [image ✅]
→ 图生视频 [video ⚠️]
├ B-roll 空镜(每段 5~8 秒)
└ 人物演唱镜头(每段 5~8 秒)
→ 唇形驱动 [lipsync ⚠️]
→ 剪辑合成(卡点+字幕+混音)[local ffmpeg ✅]
→ out/mv.mp4
fmode-mv song "深夜末班地铁上的城市白领" --genre "city pop" --mood "孤独但温暖"
口播需求
→ 口播稿 [chat ✅]
→ TTS 配音 [tts ⚠️]
→ 人物讲解画面 [image ✅]
→ 场景切换 B-roll [video ⚠️]
→ 剪辑合成 [local ffmpeg ✅]
→ out/talk.mp4
fmode-mv talk "三分钟讲清楚什么是多租户数据隔离" --duration 90
| 环节 | 端点 | 现状 | 说明 |
|---|---|---|---|
| 作曲填词 / 分镜 / 口播稿 | POST /v1/chat/completions |
✅ 可用 | deepseek-v4-flash、doubao-seed-2-1-pro 等;实测出词正常 |
| 场景 / 人物关键帧 | POST /v1/images/generations |
✅ 可用 | gpt-image-2.5-sunburst,返回 b64_json |
| AI 音乐 | POST /suno/submit/music + POST /suno/fetch |
⚠️ 端点存在,渠道未开通 | 实测提交返回 503 Task request failed |
| 图生视频 | POST /v1/video/generations |
⚠️ 无可用渠道 | 实测 503 No available channel for model doubao-seedance-1-0-pro |
| 唇形驱动 | — | ⚠️ 平台暂无通道 | 网关无该路由(返回前端兜底页) |
| TTS 口播配音 | /v1/audio/speech |
⚠️ 平台暂无通道 | 网关无该路由;本地 edge-tts 在部分云环境被 403 拦截(本容器实测),需备 FEME_TTS_ENDPOINT |
| 音轨分离 | 本地 | ◐ ffmpeg 相位兜底 / demucs 可选 | 需要真·分离请装 demucs |
| 剪辑 / 合成 | 本地 ffmpeg | ✅ 可用 | 拼接 / 混音 / 字幕 / 卡点 / 响度归一化 |
随时用 fmode-mv providers(加 --deep 做真实提交探活)查看最新状态。
绝不静默失败,绝不编造产物。
ProviderUnavailableError,打印可操作方案(换通道 / 对接外部服务 / 用现成素材)。unavailable,能兜底的才兜底,并在最终报告中标出。.fallback,
报告里写明「N 段为兜底运镜(非真 AI 图生视频)」。替代路线(详见 references/capability-matrix.md):
| 缺失能力 | 立即可用的替代 |
|---|---|
| AI 音乐 | 自备音频 --music your-song.mp3;等渠道开通后原样重跑 |
| 图生视频 | 自动 Ken Burns 兜底,先出片后替换;或 FEME_VIDEO_MODEL 换已开通模型 |
| 唇形驱动 | 自建 Wav2Lip/SadTalker + FEME_LIPSYNC_ENDPOINT;或改用表情微动镜头;或纯空镜+字幕 |
| TTS | 优先本地 edge-tts(pip install edge-tts,自动探测);⚠️ 若被 403 拦截(部分云环境)则用 FEME_TTS_ENDPOINT 对接外部服务 |
git clone https://git.fmode.cn/fmode-13177980648/skill-mv.git
cd skill-mv
npm link # 可选:全局获得 fmode-mv 命令
fmode-mv doctor
依赖:
fetch,零 npm 依赖)ffmpeg / ffprobe(apt-get install -y ffmpeg)demucs(高质量音轨分离)、edge-tts(免费 TTS)按优先级读取:
FEME_API_TOKEN / FEME_API_KEY / FEME_API_BASE_URL/opt/data/fmode-identity.json 的 newapi_token 字段兼容旧名 FMODE_API_KEY / FMODE_API_BASE_URL
export FEME_API_TOKEN=<你的token>
# 或写入身份文件(不要提交进 Git)
本技能不会把 token 写入任何文件、日志、产物或提交。
| 命令 | 作用 | 通道 |
|---|---|---|
fmode-mv song "主题" |
产线A 端到端 | 全链路 |
fmode-mv talk "主题" |
产线B 端到端 | 全链路 |
fmode-mv lyrics "主题" |
作曲填词 | chat |
fmode-mv storyboard --from work/song.json |
分镜脚本 | chat |
fmode-mv music --from work/song.json |
AI 音乐 | music |
fmode-mv separate <audio> |
人声/伴奏分离 | 本地 |
fmode-mv keyframe --from work/storyboard.json |
关键帧 | image |
fmode-mv video --from work/storyboard.json |
图生视频 | video |
fmode-mv lipsync --probe |
唇形驱动 | lipsync |
fmode-mv tts --from work/script.md |
口播配音 | tts |
fmode-mv assemble --from work/storyboard.json --music a.mp3 |
剪辑成片 | 本地 |
fmode-mv providers [--deep] |
能力现状表 | — |
fmode-mv doctor |
环境自检 | — |
fmode-mv version --check |
三处版本一致性 | — |
每个命令都支持 --help 查看完整参数。
work/ 中间产物(.gitignore 已排除)
├── song.json 作曲填词结果(歌词/曲风/结构/风格prompt)
├── storyboard.json ★分镜(下游全部消费它)
├── storyboard.md 人读版分镜表
├── script.json / .md 产线B 口播稿
├── audio/ 音乐、人声、伴奏、配音
├── frames/shot-XX.png 关键帧
├── clips/shot-XX.mp4 视频片段(兜底产物为 shot-XX.fallback.mp4)
├── lipsync/
└── subtitles.srt
out/
├── mv.mp4 / talk.mp4 成片
└── manifest.json 成片清单(含兜底片段数、BPM、音轨)
分镜结构见 templates/storyboard.schema.json。
references/pipeline-a-song-mv.md(逐步命令 + 避坑)references/pipeline-b-talking.md(逐步命令 + 避坑)references/prompt-templates.mdreferences/capability-matrix.mdprovider 可插拔:lib/providers.mjs 是唯一通道注册表。换模型/换端点只需:
export FEME_MUSIC_MODEL=xxx # 或 FEME_MUSIC_ENDPOINT / FEME_VIDEO_MODEL ...
或在 fmode-identity.json 写 providers: { music: { model, endpoint } }。无需改代码。
人物一致性靠锚点:分镜里的 appearanceAnchor 会被逐镜头复述进 imagePrompt。
这是纯 AI 出片最容易翻车的地方,改动分镜逻辑时不要删掉它。
卡点用能量包络:lib/ffmpeg.mjs 的 detectBeats() 纯 Node 实现(解码 PCM → 短时能量 → 局部阈值峰值 → 中位间隔估 BPM),
不依赖 aubio。assemble --beat-sync 会把镜头时长吸附到节拍点。
兜底必须留痕:所有降级产物都带 .fallback 后缀或 status: fallback,报告里明说。
这是为了「绝不伪造产物」——用户永远能分清哪些是真 AI 生成、哪些是兜底。
MIT,见 LICENSE。
FmodeCode / FmodeAgent · v0.1.0