capability-matrix.md 7.4 KB
能力矩阵（实测状态）
唯一事实来源是
lib/providers.mjs；本文件与之保持同步。 随时用fmode-mv providers（加--deep）查看最新状态。本表状态基于 2026-10-13 在本容器的实测，原始输出见
out/verify-*.log。
一、通道总表
| 环节 | 端点 | 现状 | 说明 | 替代方案 |
|---|---|---|---|---|
| 作曲填词 / 分镜 / 口播稿 | POST /v1/chat/completions |
✅ 可用 | deepseek-v4-flash、doubao-seed-2-1-pro 等 |
— |
| 文生图 3.0 / 3.1 | POST {jimeng}/getText2ImgV3 /getText2ImgV31 |
✅ 可用 | 实测 ¥0.20/张，1728×2304 PNG 约 200KB | — |
| 图片生成 4.0（含多图组合） | POST {jimeng}/getImgV4 |
✅ 可用 | ¥0.22/张；支持 0~10 张参考图 → 图生图 | — |
| 图生图 3.0（智能参考） | POST {jimeng}/getImg2ImgV3 |
✅ 可用 | ¥0.20/张 | — |
| 图生视频 3.0 720p | POST {jimeng}/getVideoV3_720p |
✅ 可用 | 实测 121 帧/5 秒，实扣 ¥1.41，返回 h264 mp4 | — |
| 图生视频 3.0 1080p | POST {jimeng}/getVideoV3_1080p |
✅ 可用 | ¥0.63/秒 | — |
| 图生视频 3.0 Pro | POST {jimeng}/getVideoV3_Pro |
✅ 可用 | ¥1/秒，多镜头叙事 | — |
| 人物动作模仿 1.0 / 2.0 | POST {jimeng}/getActor /getActorV2 |
✅ 可用 | ¥0.5 / ¥0.4 每秒（单条最低 ¥4 / ¥3.2） | — |
| 数字人 v1.5（三步） | {jimeng}/getOhIdentifyMain → /getOhDetectMain → /getOmniHuman |
✅ 可用 | ¥1/秒 | — |
| 智能超清 | POST {jimeng}/getSuperResolution |
✅ 可用 | ¥0.4/张，4K/8K | — |
| 局部重绘 / 消除笔 | POST {jimeng}/getInpaint |
✅ 可用 | ¥0.2/张 | — |
| 商品提取 / 素材提取 / 虚拟换装 | {jimeng}/getImgV4_goods /getImgV4_pod /getClothesV2 |
✅ 可用 | ¥0.22/张 | — |
| 文生图（旧网关） | POST /v1/images/generations |
✅ 可用 | gpt-image-2.5-sunburst，返回 b64_json |
即梦已可完全替代 |
| AI 音乐 | POST /suno/submit/music + /suno/fetch |
❌ 未开通 | 实测 503 Task request failed |
自备音频 --music your-song.mp3 |
| 图生视频（旧网关） | POST /v1/video/generations |
❌ 未开通 | 实测 503 No available channel for model doubao-seedance-1-0-pro |
已改用即梦 /getVideoV3_720p |
| 唇形驱动 | — | ❌ 未开通 | 网关无该路由（返回前端兜底页） | 已改用即梦数字人 getOmniHuman |
| TTS 口播配音 | POST /v1/audio/speech |
❌ 未开通 | 网关无该路由；本地 edge-tts 在部分云环境被 403 拦截（本容器实测） | ① edge-tts（能装就能用）② FEME_TTS_ENDPOINT 对接外部服务 ③ --voice 指定现成音频 |
| 音轨分离 | 本地 | ◐ ffmpeg 相位兜底 / demucs 可选 | 需要真·分离请装 demucs | pip install demucs |
| 剪辑 / 合成 | 本地 ffmpeg | ✅ 可用 | 拼接 / 混音 / 字幕 / 卡点 / 响度归一化 | — |
{jimeng}=https://server.fmode.cn/api/volcengine/jimeng
二、实测证据（2026-10-13，本容器）
原始输出保存在 out/verify-*.log。
| 验证项 | 命令 | 结果 |
|---|---|---|
| 文生图 | fmode-mv jimeng --test |
1024×1024 PNG，49,763 字节，实扣 ¥0.20，耗时 34s |
| 图生视频 | fmode-mv video --from work/storyboard.json --mode jimeng |
5 秒 121 帧 h264 mp4，2,448,269 字节，实扣 ¥1.41，耗时 254s |
| 人物资产（完整四步） | fmode-mv character-sheet --desc "…" --limit 4 |
9 张候选全部产出，4 步择优完成，产出 1-定妆照/2-上半身/3-全身/4-多视图.png，实扣 ¥1.92 |
| 场景图 + 关键帧 | fmode-mv scene --from … --character … |
场景图 1664×936（¥0.20）+ 关键帧 2560×1440（¥0.22），背景与人物均保持一致 |
三、即梦通道的实测硬约束（★ 踩坑记录）
这些不在 KB 的文档里，是本次接入时实测发现的。已内建本地预检，不会再白等一轮。
| 约束 | 详情 | 违反后的报错 |
|---|---|---|
| 视频 frames | 必须 ∈ [121, 241] 且 ≡ 1 (mod 24)。合法值只有 121/145/169/193/217/241，即 5~10 秒整数秒 |
frames 取值范围为[121,241] / x2v pipeline: frames % 24 should be 1 |
getImgV4 尺寸 |
宽高积必须 ≥ 1024²（1280×720 只有 921,600 → 不合格） | run comfyui pipeline error: … message: height or width invalid |
| 文生图 3.0 尺寸 | 宽高积 ∈ [512², 2048²]，宽高比 ∈ [1/3, 3] |
同上 |
| 首帧图比例 | 长边/短边 ≤ 3；method=3 的尾帧必须与首帧同比例 |
被拒 |
| 参数错误时机 | 即梦先收下参数返回 200 + workId，等轮询才报错 | 不本地预检就会白等 30 秒 + 一次往返 |
| 数字人轮询 | 走 /getOhDateByTask，步骤①用 isContinue（非 isFinish） |
— |
| 并发上限 | 超出返回 status === 50430 / Concurrent Limit |
需退避重试 |
| 产物直链 | 在华为云 OBS，永久有效，下载无需鉴权头 | — |
| 实扣查询 | ImagineWork.usage.cost（元）、credit（积分，1 credit = ¥0.1） |
— |
四、未开通通道的处理承诺
绝不静默失败，绝不编造产物。
- 调用未开通通道 → 抛
ProviderUnavailableError，附可操作指引，退出码3。 - 产线编排遇未开通步骤 → 如实标记
unavailable，能兜底的才兜底，并写进最终报告。 - 图生视频整体不可用 → 自动降级为「关键帧 + Ken Burns 运镜」，产物文件名带
.fallback。 method=3（首尾帧）失败 → 自动降级method=2（首帧），返回值带degraded: true，日志明写。
降级链一览
| 目标能力 | 首选 | 降级 1 | 降级 2 |
|---|---|---|---|
| 图生视频 | 即梦 method=3 首尾帧 |
即梦 method=2 首帧 |
Ken Burns 静帧运镜（.fallback） |
| 人物一致性 | character-sheet 多视图作参考图 |
appearanceAnchor 逐镜复述 |
单镜独立生成（会换脸，需人工确认） |
| 口型 | 即梦数字人 | 即梦图生视频做微表情（不严格对口型） | 空镜 + 字幕 |
| TTS | 本地 edge-tts | FEME_TTS_ENDPOINT 外部服务 |
--voice 现成音频 |
| AI 音乐 | 等 Suno 渠道开通 | 自备音频 | — |
五、费用参考（实测 + 文档）
| 项目 | 单价 |
|---|---|
| 即梦文生图 / 图生图 | ¥0.20/张 |
即梦 getImgV4（含多图参考） |
¥0.22/张 |
| 即梦智能超清 | ¥0.40/张 |
| 即梦视频 720p | ¥0.28/秒（5 秒镜实测实扣 ¥1.41） |
| 即梦视频 1080p | ¥0.63/秒 |
| 即梦视频 Pro | ¥1.00/秒 |
| 即梦动作模仿 2.0 | ¥0.40/秒（单条 ¥3.2~5） |
| 即梦数字人 | ¥1.00/秒 |
跑一遍的典型花费
| 流程 | 花费 |
|---|---|
character-sheet --limit 1（定妆照 3 候选 + 择优） |
¥0.60 |
character-sheet（完整四步 9 张） |
¥1.98 |
scene（1 镜：场景图 + 关键帧） |
¥0.42 |
video --limit 1（1 镜 5 秒） |
¥1.41 |
| 8 镜 MV 的视觉部分 | ≈ ¥17 |
video --mode still（兜底） |
¥0 |
scene --dry-run / character-sheet --dry-run |
¥0 |
省钱建议：先用
--dry-run看 prompt →--limit 1试跑一镜 → 满意再全量。