uploader.mjs 31 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674
  1. #!/usr/bin/env node
  2. // Copyright (c) 未来飞马
  3. //
  4. // Licensed under the MIT License. See LICENSE in the project root
  5. // for the full license text.
  6. //
  7. // Trademark Notice:
  8. // The MIT license grants copyright permissions for source code only.
  9. // It does NOT grant any rights to use trademarks including "未来飞马",
  10. // "Harness Loop", "RSI", and associated slogan "让AI进化提前发生,让AI落地快人一步".
  11. // Any use of these trademarks requires separate written permission.
  12. /**
  13. * fmode-storage uploader — 对象存储上传/公开链接/ACL
  14. * 零依赖(Node ≥18)。凭据按 5 级优先级自动解析,永不入库。
  15. *
  16. * v0.4.0(2026-09-23):新增**第0级 云函数预签名直传**(首选)。
  17. * 容器只需 FMODE_SESSION_TOKEN,平台云函数 fmodeagent-upload-url 持有 AK/SK 并
  18. * 签发 5 分钟预签名 PUT URL;对象键 user/<userid>/<ns>/<YYYYMM>/...,公网
  19. * https://s3.fmode.cn/<key>。解决"每个容器都要配 OBS AK/SK / storageProjectId"
  20. * 的落地缺口(此前 34 台容器无一具备,技能只能打印向导退出)。
  21. *
  22. * v0.3.0 诚实凭据链(真因修复,见 CHANGELOG.md):
  23. * 旧版第0级调用 POST /api/storage/credentials —— 该端点从未上线(404,
  24. * 设计文档 fmode-studio/docs/obs-cdn/04-API设计.md 状态为"规划中"),
  25. * "登录即可上传"是伪自举。本版改为:
  26. *
  27. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  28. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)解析 AK/SK/endpoint/bucket
  29. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  30. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)解析 AK/SK/endpoint/bucket
  31. * 第3级 sessionToken + storageProjectId → POST /api/apig/deploy/huaweicloud
  32. * → 项目隔离 STS(权威端点,生产实测 200;/api/storage/credentials
  33. * 设计端点从未上线——HEAD 探测 404 缓存于 .sts-probe.json)
  34. * 第4级 项目级 ./.fmode/config.json
  35. * 全失败:打印初始化向导指引并退出码 2,绝不伪装成功。
  36. *
  37. * 旧 sessionToken 自举保留为 --experimental-sts:仅当显式传入该参数
  38. * 且端点探测返回 200 时启用(面向未来端点上线,默认关闭)。
  39. *
  40. * 用法:
  41. * node uploader.mjs init [--ak ... --sk ... --endpoint ... --bucket ...]
  42. * node uploader.mjs put <file> --key <objectKey> [--ns report] [--acl public-read] [--bucket ...]
  43. * node uploader.mjs setacl --key <prefix|key> --acl public-read [-r]
  44. * node uploader.mjs test
  45. * node uploader.mjs config
  46. */
  47. import fs from 'fs';
  48. import os from 'os';
  49. import path from 'path';
  50. import { execSync, spawnSync } from 'child_process';
  51. import { fileURLToPath } from 'url';
  52. const HOME = os.homedir();
  53. const __dirname = path.dirname(fileURLToPath(import.meta.url));
  54. // fmode 网关基址(平台 STS 签发端点所在)
  55. const FMODE_API_BASE = process.env.FMODE_API_BASE || 'https://server.fmode.cn';
  56. const STORAGE_CREDENTIALS_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/storage/credentials`;
  57. // 自举权威端点(2026-09-12 生产实测 200):sessionToken + projectId → 项目隔离 STS
  58. const DEPLOY_STS_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/apig/deploy/huaweicloud`;
  59. const DEFAULT_ENDPOINT = 'obs.cn-north-4.myhuaweicloud.com';
  60. const PROBE_CACHE_FILE = path.join(__dirname, '.sts-probe.json'); // 探测结果缓存(1 小时有效)
  61. const PROBE_TTL_MS = 60 * 60 * 1000;
  62. // ── 第0级(首选):云函数预签名直传 ─────────────────────────────────────────
  63. // fmodeagent-upload-url 云函数保管 AK/SK,按调用者身份签发 5 分钟有效的
  64. // OBS SigV2 预签名 PUT URL;容器只拿到 URL,密钥永不下发。
  65. // 对象键:user/<userid>/<namespace>/<YYYYMM>/<uuid>-<filename>,公网 https://s3.fmode.cn/<key>
  66. const UPLOAD_FN_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/functions`;
  67. const UPLOAD_FN_ID = process.env.FMODE_UPLOAD_FN_ID || process.env.FMODE_STORAGE_FN_ID || 'AlP56LCKFm';
  68. const CDN_BASE = (process.env.FMODE_CDN_BASE || 'https://s3.fmode.cn').replace(/\/$/, '');
  69. /** 打印初始化向导(全链失败时的唯一出口,绝不伪装成功) */
  70. function printWizard() {
  71. console.error(`
  72. ┌─ fmode-storage 初始化向导 ─────────────────────────────────────────────┐
  73. │ 当前版本需一次性配置 OBS 子账号 AK/SK;sessionToken 免配置自举待平台 │
  74. │ 端点上线(设计文档 fmode-studio/docs/obs-cdn/04-API设计.md,规划中)。 │
  75. ├────────────────────────────────────────────────────────────────────────┤
  76. │ 步骤 1 向 Fmode 平台/管理员申请 OBS 子账号(邮件模板见 README.md │
  77. │ "三分钟初始化"章节),拿到 AK/SK 及所属桶/终端节点。 │
  78. │ 步骤 2 执行初始化(任选其一): │
  79. │ node uploader.mjs init --ak <AK> --sk <SK> \\ │
  80. │ --endpoint obs.cn-north-4.myhuaweicloud.com \\ │
  81. │ --bucket <bucket> │
  82. │ (省略参数则进入交互模式逐项询问) │
  83. │ 步骤 3 验证:node uploader.mjs test │
  84. │ (上传 1KB 探针文件→删除→报告成功) │
  85. └────────────────────────────────────────────────────────────────────────┘`);
  86. }
  87. // ============================================================================
  88. // 平台签发端点探测(B 节:诚实探测 + 1 小时缓存)
  89. // ============================================================================
  90. /**
  91. * HEAD 探测平台 STS 签发端点是否上线。结果缓存本文件 .sts-probe.json(1 小时)。
  92. * @returns {Promise<{online: boolean, checkedAt: number, status: number|null}>}
  93. */
  94. export async function probeStsEndpoint() {
  95. // 读缓存
  96. try {
  97. const j = JSON.parse(fs.readFileSync(PROBE_CACHE_FILE, 'utf8'));
  98. if (j.checkedAt && Date.now() - j.checkedAt < PROBE_TTL_MS) return j;
  99. } catch { /* 无缓存或损坏 → 重新探测 */ }
  100. let status = null;
  101. try {
  102. const res = await fetch(STORAGE_CREDENTIALS_URL, { method: 'HEAD', signal: AbortSignal.timeout(10000) });
  103. status = res.status;
  104. } catch { /* 网络失败视为未上线,不给假希望 */ }
  105. const result = { online: status === 200, checkedAt: Date.now(), status };
  106. try { fs.writeFileSync(PROBE_CACHE_FILE, JSON.stringify(result)); } catch { /* 只读环境忽略 */ }
  107. return result;
  108. }
  109. /** 探测缓存是否可以强制刷新(--refresh-probe / init / test 命令场景) */
  110. function invalidateProbeCache() {
  111. try { fs.rmSync(PROBE_CACHE_FILE, { force: true }); } catch { /* ignore */ }
  112. }
  113. // ============================================================================
  114. // 旧第0级自举(--experimental-sts 专用,端点上线前是死代码路径)
  115. // ============================================================================
  116. /**
  117. * 解析 sessionToken(优先级:FMODE_SESSION_TOKEN → user.json(登录流程写入的最新 token)
  118. * → ~/.fmode/config.json → ./.fmode/config.json)。
  119. */
  120. export function resolveSessionToken() {
  121. if (process.env.FMODE_SESSION_TOKEN) return process.env.FMODE_SESSION_TOKEN.trim();
  122. const candidates = [
  123. path.join(HOME, '.fmode', 'config', 'user.json'),
  124. path.join(HOME, '.fmode', 'config.json'),
  125. path.join(process.cwd(), '.fmode', 'config.json'),
  126. ];
  127. for (const p of candidates) {
  128. try {
  129. if (!fs.existsSync(p)) continue;
  130. const j = JSON.parse(fs.readFileSync(p, 'utf8').replace(/^/, ''));
  131. const t = j.sessionToken || (j.user && j.user.sessionToken) || null;
  132. if (t && String(t).trim()) return String(t).trim();
  133. } catch { /* try next source */ }
  134. }
  135. return null;
  136. }
  137. /**
  138. * 解析 storage 专用 projectId(非密钥)。来源优先级:FMODE_STORAGE_PROJECT_ID 环境变量
  139. * → ~/.fmode/config.json / user.json 的 storageProjectId → ./.fmode/deploy.json 的 projectId。
  140. */
  141. export function resolveStorageProjectId() {
  142. if (process.env.FMODE_STORAGE_PROJECT_ID) return process.env.FMODE_STORAGE_PROJECT_ID.trim();
  143. const candidates = [
  144. path.join(HOME, '.fmode', 'config.json'),
  145. path.join(HOME, '.fmode', 'config', 'user.json'),
  146. path.join(process.cwd(), '.fmode', 'deploy.json'),
  147. ];
  148. for (const p of candidates) {
  149. try {
  150. if (!fs.existsSync(p)) continue;
  151. const j = JSON.parse(fs.readFileSync(p, 'utf8').replace(/^/, ''));
  152. const id = j.storageProjectId || j.projectId || null;
  153. if (id && String(id).trim()) return String(id).trim();
  154. } catch { /* try next source */ }
  155. }
  156. return null;
  157. }
  158. /**
  159. * 第3级(权威,2026-09-12 生产实测 200):sessionToken + projectId → 项目隔离 STS。
  160. *
  161. * 权威链路(future-server api/api-ncloud/apig/routes-deploy.js):
  162. * POST /api/apig/deploy/huaweicloud {token, projectId}
  163. * → { code:200, data:{ accessKey, secretKey, securityToken, obsPath } }
  164. * → obsPath "obs://nova-cloud/dev/<projectId>/" 解析出 bucket/prefix
  165. * 服务端权限:token→用户身份 → Project.user / Project.owner / ProjectTeam 三查。
  166. * ⚠️ 返回的 STS 仅内存持有:不写文件、不打日志、不进错误信息。
  167. */
  168. export async function fetchStsViaDeploy(sessionToken, projectId) {
  169. if (!sessionToken || !projectId) return null;
  170. try {
  171. const res = await fetch(DEPLOY_STS_URL, {
  172. method: 'POST',
  173. headers: { 'Content-Type': 'application/json' },
  174. body: JSON.stringify({ token: sessionToken, projectId }),
  175. signal: AbortSignal.timeout(20000),
  176. });
  177. if (!res.ok) return null;
  178. const body = await res.json().catch(() => null);
  179. const data = body && body.data;
  180. if (!body || body.code !== 200 || !data || !data.success) return null;
  181. const obsPath = String(data.obsPath || '');
  182. const m = obsPath.match(/^obs:\/\/([^/]+)\/(.*)\/$/);
  183. return {
  184. ak: String(data.accessKey || ''),
  185. sk: String(data.secretKey || ''),
  186. securityToken: String(data.securityToken || ''),
  187. expiresAt: data.expiresAt || null,
  188. projectId,
  189. // nova-cloud 桶在 cn-south-1(实测 2026-09-12;north-4 会 NoSuchBucket)
  190. endpoint: 'obs.cn-south-1.myhuaweicloud.com',
  191. bucket: m ? m[1] : 'nova-cloud',
  192. prefix: m ? m[2] + '/' : `dev/${projectId}/`,
  193. };
  194. } catch { return null; }
  195. }
  196. /**
  197. * 备用(任务书 B 节预留):设计文档端点 /api/storage/credentials。
  198. * ⚠️ 该端点从未上线(HEAD 探测 404),端点上线前必然返回 null。仅 --experimental-sts 时调用。
  199. * 返回的 STS 仅内存持有:不写文件、不打日志、不进错误信息。
  200. */
  201. export async function fetchStsCredentials(sessionToken) {
  202. if (!sessionToken) return null;
  203. try {
  204. const res = await fetch(STORAGE_CREDENTIALS_URL, {
  205. method: 'POST',
  206. headers: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${sessionToken}` },
  207. body: JSON.stringify({ op: ['put', 'delete'] }),
  208. signal: AbortSignal.timeout(15000),
  209. });
  210. if (!res.ok) return null;
  211. const body = await res.json().catch(() => null);
  212. const cred = body && (body.credentials || body.data);
  213. if (!cred || !cred.accessKeyId || !cred.secretAccessKey) return null;
  214. return {
  215. ak: cred.accessKeyId,
  216. sk: cred.secretAccessKey,
  217. securityToken: cred.sessionToken || cred.securityToken || '',
  218. endpoint: cred.endpoint || DEFAULT_ENDPOINT,
  219. bucket: cred.bucket || null,
  220. prefix: cred.prefix || '',
  221. };
  222. } catch { return null; }
  223. }
  224. /** STS 签发作用域限定 key 必须在 prefix 内(dev/<projectId>/...),防越权路径 */
  225. export function scopedKey(cfg, key) {
  226. if (cfg.sts && cfg.sts.prefix) {
  227. const pfx = cfg.sts.prefix.endsWith('/') ? cfg.sts.prefix : cfg.sts.prefix + '/';
  228. if (key.startsWith(pfx)) return key;
  229. return pfx + key.replace(/^\/+/, '');
  230. }
  231. return key;
  232. }
  233. /**
  234. * 用 STS 临时凭证构造一次性 obsutil 配置目录,执行命令后即删。
  235. * (配置经 -config= 显式传给 obsutil——旧版 OBSUTIL_CONFIG_FILE 环境变量
  236. * obsutil 并不识别,属无效传递,本版修正。)
  237. */
  238. export function runWithSts(sts, args, timeout = 300000) {
  239. const tmpDir = fs.mkdtempSync(path.join(os.tmpdir(), 'fmode-sts-'));
  240. fs.chmodSync(tmpDir, 0o700);
  241. const cfgFile = path.join(tmpDir, '.obsutilconfig');
  242. fs.writeFileSync(cfgFile, [
  243. `endpoint=${sts.endpoint}`,
  244. `ak=${sts.ak}`,
  245. `sk=${sts.sk}`,
  246. `token=${sts.securityToken}`,
  247. '',
  248. ].join('\n'), { mode: 0o600 });
  249. try {
  250. return runObsutil(cfg.obsUtilPath, args, { cfgFile, timeout });
  251. } finally {
  252. try { fs.rmSync(tmpDir, { recursive: true, force: true }); } catch { /* best effort */ }
  253. }
  254. }
  255. // ============================================================================
  256. // obsutil 执行层
  257. // ============================================================================
  258. /** 统一 obsutil 调用。成功判定用退出码 + 末行无 "failed",杜绝"failed"文案误判为成功。 */
  259. function runObsutil(obsUtilPath, args, { cfgFile = null, timeout = 120000 } = {}) {
  260. const r = spawnSync(obsUtilPath, [...args, ...(cfgFile ? [`-config=${cfgFile}`] : [])], {
  261. encoding: 'utf8',
  262. timeout,
  263. });
  264. const out = (r.stdout || '') + (r.stderr || '');
  265. const ok = r.status === 0 && !/failed/i.test(out.split('\n').filter(Boolean).pop() || '');
  266. return { ok, out, status: r.status };
  267. }
  268. /** 公开 URL: cdnDomain 优先, 否则桶域名 */
  269. export function publicUrl(cfg, key) {
  270. if (cfg.cdnDomain) return `https://${cfg.cdnDomain}/${key}`;
  271. return `https://${cfg.bucket}.${cfg.endpoint}/${key}`;
  272. }
  273. // ============================================================================
  274. // 第0级:云函数预签名直传(免 AK/SK,首选)
  275. // ============================================================================
  276. /**
  277. * 申请预签名 URL 并直传(云函数持有真实 AK/SK)。
  278. * @returns {{ok:true, key:string, url:string, bytes:number, via:string}|null}
  279. * null = 该通道不可用(无 sessionToken / 云函数未配置 / 网络失败),调用方回落下一级
  280. */
  281. export async function putViaCloudFunction(file, objectKey, namespace = 'report', name = null) {
  282. const token = resolveSessionToken();
  283. if (!token) return null;
  284. let buf;
  285. try { buf = fs.readFileSync(file); } catch { return null; }
  286. const filename = name || path.basename(file);
  287. let res;
  288. try {
  289. res = await fetch(UPLOAD_FN_URL, {
  290. method: 'POST',
  291. headers: { 'Content-Type': 'application/json' },
  292. body: JSON.stringify({
  293. token, id: UPLOAD_FN_ID,
  294. params: { filename, size: buf.length, namespace, key: objectKey || undefined },
  295. }),
  296. signal: AbortSignal.timeout(20000),
  297. });
  298. } catch { return null; }
  299. if (!res.ok) return null;
  300. const body = await res.json().catch(() => null);
  301. if (!body || body.code !== 200 || !body.uploadUrl) return null;
  302. try {
  303. const put = await fetch(body.uploadUrl, { method: 'PUT', headers: body.headers || {}, body: buf });
  304. if (!put.ok) return null;
  305. } catch { return null; }
  306. return { ok: true, key: body.key, url: body.publicUrl || `${CDN_BASE}/${body.key}`, bytes: buf.length, via: `level0:cloudfunc(${UPLOAD_FN_ID})` };
  307. }
  308. // ============================================================================
  309. // 凭据链:诚实 4 级
  310. // ============================================================================
  311. /** 解析 obsutil config 文件内容 → {endpoint, ak, sk, token, bucket}。密钥不外泄,仅内部使用。 */
  312. function parseObsutilConfig(text) {
  313. const c = {};
  314. for (const line of String(text).split('\n')) {
  315. const m = line.match(/^(endpoint|ak|sk|token)=(.*)$/);
  316. if (m) c[m[1]] = m[2].trim();
  317. }
  318. return (c.ak && c.sk) ? c : null;
  319. }
  320. /** obsutil config 文件候选路径(OBSUTIL_CONFIG 环境变量优先,其次 ~/.obsutilconfig) */
  321. function obsutilConfigPaths() {
  322. const paths = [];
  323. if (process.env.OBSUTIL_CONFIG) paths.push(process.env.OBSUTIL_CONFIG);
  324. paths.push(path.join(HOME, '.obsutilconfig'));
  325. // getpwuid 的 home 可能与 $HOME 不同(容器常见):obsutil 实际按它解析默认配置
  326. try {
  327. const pwHome = os.userInfo().homedir;
  328. if (pwHome && pwHome !== HOME) paths.push(path.join(pwHome, '.obsutilconfig'));
  329. } catch { /* ignore */ }
  330. return paths;
  331. }
  332. /** 定位 obsutil 可执行文件:PATH → ~/.local/bin → ~/bin → getpwuid home/bin → /usr/local/bin */
  333. function findObsutil() {
  334. const candidates = [];
  335. for (const dir of (process.env.PATH || '').split(':')) {
  336. if (dir) candidates.push(path.join(dir, 'obsutil'));
  337. }
  338. for (const base of [path.join(HOME, '.local', 'bin'), path.join(HOME, 'bin')]) candidates.push(path.join(base, 'obsutil'));
  339. try {
  340. const pwHome = os.userInfo().homedir;
  341. if (pwHome && pwHome !== HOME) candidates.push(path.join(pwHome, 'bin', 'obsutil'));
  342. } catch { /* ignore */ }
  343. candidates.push('/usr/local/bin/obsutil', '/usr/bin/obsutil');
  344. for (const p of candidates) {
  345. try { fs.accessSync(p, fs.constants.X_OK); return p; } catch { /* next */ }
  346. }
  347. return 'obsutil'; // 交给 spawnSync 报"not found"
  348. }
  349. /**
  350. * 诚实 4 级凭据解析(命中即用,检测不到就换下一级):
  351. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  352. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)
  353. * 第3级 sessionToken + storageProjectId → deploy STS(端点探测见 fetchStsCredentials 注释)
  354. * 第4级 项目级 ./.fmode/config.json
  355. */
  356. export async function resolveStorageConfig({ experimentalSts = false } = {}) {
  357. const cfg = {
  358. obsUtilPath: 'obsutil',
  359. endpoint: DEFAULT_ENDPOINT,
  360. bucket: null,
  361. cdnDomain: null,
  362. sts: null,
  363. via: null, // 命中的解析级别(诊断用,不含任何密钥)
  364. ak: null, // 内部传递用,config 命令绝不输出
  365. sk: null,
  366. token: '',
  367. };
  368. cfg.obsUtilPath = findObsutil();
  369. // ---- 第1级:环境变量 ----
  370. if (process.env.OBS_AK && process.env.OBS_SK) {
  371. cfg.ak = process.env.OBS_AK.trim();
  372. cfg.sk = process.env.OBS_SK.trim();
  373. if (process.env.OBS_ENDPOINT) cfg.endpoint = process.env.OBS_ENDPOINT.trim();
  374. if (process.env.OBS_BUCKET) cfg.bucket = process.env.OBS_BUCKET.trim();
  375. cfg.via = 'level1:env(OBS_AK/OBS_SK)';
  376. }
  377. // ---- 第2级:obsutil config 文件 ----
  378. if (!cfg.ak) {
  379. for (const p of obsutilConfigPaths()) {
  380. try {
  381. if (!fs.existsSync(p)) continue;
  382. const c = parseObsutilConfig(fs.readFileSync(p, 'utf8'));
  383. if (c) {
  384. cfg.ak = c.ak; cfg.sk = c.sk; cfg.token = c.token || '';
  385. if (c.endpoint) cfg.endpoint = c.endpoint;
  386. cfg.via = `level2:obsutilconfig(${p})`;
  387. break;
  388. }
  389. } catch { /* try next path */ }
  390. }
  391. }
  392. // ---- 第3级:平台签发 STS(deploy 权威链路,2026-09-12 生产实测 200)----
  393. // sessionToken + storageProjectId → POST /api/apig/deploy/huaweicloud → 项目隔离 STS
  394. // (设计文档中的 /api/storage/credentials 从未上线——HEAD 探测 404,.sts-probe.json 缓存;
  395. // 端点若上线,见 fetchStsCredentials 的备用实现,仅 --experimental-sts 启用)
  396. if (!cfg.ak) {
  397. const sessionToken = resolveSessionToken();
  398. if (sessionToken) {
  399. const projectId = resolveStorageProjectId();
  400. const sts = projectId ? await fetchStsViaDeploy(sessionToken, projectId) : null;
  401. if (sts) {
  402. // deploy 端点已实测 200(区别于 storage/credentials 的伪自举),默认启用;
  403. // --experimental-sts 仅控制旧 storage/credentials 备用路径
  404. cfg.sts = sts;
  405. cfg.bucket = sts.bucket || cfg.bucket;
  406. cfg.endpoint = sts.endpoint || cfg.endpoint;
  407. cfg.cdnDomain = process.env.FMODE_CDN_DOMAIN || 'app.fmode.cn';
  408. cfg.via = 'level3:sessionToken+projectId->deploySTS';
  409. return cfg;
  410. }
  411. if (!projectId) {
  412. console.error('sessionToken 存在但缺少 storageProjectId——请设置 FMODE_STORAGE_PROJECT_ID 或在 ~/.fmode/config.json 配 storageProjectId(须为本人有权限的 Project objectId)');
  413. } else {
  414. console.error('sessionToken 存在但 STS 签发失败(/api/apig/deploy/huaweicloud 未 200)——token 失效或该 projectId 不属于当前用户');
  415. }
  416. console.error('(将继续尝试第4级回落配置)');
  417. } else {
  418. // 无 sessionToken:检查设计文档端点是否上线(任务书 B 节:诚实探测,缓存 1 小时)
  419. const probe = await probeStsEndpoint();
  420. if (probe.online && experimentalSts) {
  421. const token = resolveSessionToken() || process.env.FMODE_API_TOKEN || null;
  422. const sts = token ? await fetchStsCredentials(token) : null;
  423. if (sts) {
  424. cfg.sts = sts;
  425. cfg.bucket = sts.bucket || cfg.bucket;
  426. cfg.endpoint = sts.endpoint || cfg.endpoint;
  427. cfg.via = 'level3:experimental-storage-credentials';
  428. return cfg;
  429. }
  430. console.error('--experimental-sts 已启用且设计端点在线,但换取失败');
  431. } else if (probe.online) {
  432. console.error('平台 STS 设计端点已上线(/api/storage/credentials)。加 --experimental-sts 启用该自举路径,或继续用 deploy/obsutil 配置模式。');
  433. }
  434. }
  435. }
  436. // ---- 第4级:项目级 ./.fmode/config.json ----
  437. if (!cfg.ak && !cfg.sts) {
  438. try {
  439. const p = path.join(process.cwd(), '.fmode', 'config.json');
  440. const j = JSON.parse(fs.readFileSync(p, 'utf8'));
  441. if (j.obsUtilPath) cfg.obsUtilPath = j.obsUtilPath;
  442. if (j.obsBucket) { cfg.bucket = j.obsBucket; cfg.via = `level4:${p}`; }
  443. if (j.obsEndpoint) cfg.endpoint = j.obsEndpoint;
  444. if (j.cdnDomain) cfg.cdnDomain = j.cdnDomain;
  445. } catch { /* ignore */ }
  446. }
  447. // ---- bucket 补全:第1/2级命中但缺 bucket → obsutil ls 探测 ----
  448. if (cfg.ak && !cfg.bucket) {
  449. try {
  450. const out = execSync(`${JSON.stringify(cfg.obsUtilPath)} ls -limit=1`, { encoding: 'utf8', timeout: 15000 });
  451. const m = out.match(/obs:\/\/([^/\s]+)/);
  452. if (m) { cfg.bucket = m[1]; cfg.via += '+bucket-probe'; }
  453. } catch { /* 探测失败交给上层报错 */ }
  454. }
  455. return cfg;
  456. }
  457. // ============================================================================
  458. // 初始化向导(C 节:新用户路径)
  459. // ============================================================================
  460. /**
  461. * node uploader.mjs init [--ak ... --sk ... --endpoint ... --bucket ...]
  462. * 写入 obsutil config(600 权限)+ 本技能 config 段,然后立即 test。
  463. */
  464. async function cmdInit(rest) {
  465. const arg = (name) => { const i = rest.indexOf(name); return i >= 0 ? rest[i + 1] : null; };
  466. const ask = async (q) => {
  467. process.stdout.write(q);
  468. let buf = '';
  469. for await (const chunk of process.stdin) { buf += chunk; break; }
  470. return buf.trim();
  471. };
  472. const ak = arg('--ak') || await ask('AK: ');
  473. const sk = arg('--sk') || await ask('SK: ');
  474. const endpoint = arg('--endpoint') || await ask(`endpoint [${DEFAULT_ENDPOINT}]: `) || DEFAULT_ENDPOINT;
  475. const bucket = arg('--bucket') || await ask('bucket: ');
  476. if (!ak || !sk || !bucket) {
  477. console.error('init 失败:AK/SK/bucket 均必填(--ak --sk --endpoint --bucket 或交互输入)');
  478. process.exit(2);
  479. }
  480. // 1) 写 obsutil config(600)
  481. const cfgPath = path.join(HOME, '.obsutilconfig');
  482. fs.writeFileSync(cfgPath, [
  483. `endpoint=${endpoint}`,
  484. `ak=${ak}`,
  485. `sk=${sk}`,
  486. 'token=',
  487. 'cname=false',
  488. `endpointCrr=http://your-endpoint`,
  489. `akCrr=*** Provide your Access Key ***`,
  490. `skCrr=*** Provide your Secret Key ***`,
  491. `tokenCrr=`,
  492. '',
  493. ].join('\n'), { mode: 0o600 });
  494. // 2) 写本技能 config 段(~/.fmode/config.json,不含密钥本体)
  495. const fmodeDir = path.join(HOME, '.fmode');
  496. const fmodeCfg = path.join(fmodeDir, 'config.json');
  497. fs.mkdirSync(fmodeDir, { recursive: true });
  498. let j = {};
  499. try { j = JSON.parse(fs.readFileSync(fmodeCfg, 'utf8')); } catch { /* 新文件 */ }
  500. j.obsBucket = bucket;
  501. j.obsEndpoint = endpoint;
  502. fs.writeFileSync(fmodeCfg, JSON.stringify(j, null, 2) + '\n', { mode: 0o600 });
  503. console.error(`已写入 ${cfgPath}(600)与 ${fmodeCfg}(技能 config 段,不含密钥本体)`);
  504. // 3) 立即 test:上传 1KB 探针 → 删除 → 报告
  505. return cmdTest();
  506. }
  507. /** test:上传 1KB 探针文件→删除→报告成功 */
  508. async function cmdTest() {
  509. // 第0级:云函数免密钥通道(首选),能通就直接成功
  510. const probeTmp = path.join(os.tmpdir(), `fmode-storage-cfprobe-${process.pid}.txt`);
  511. fs.writeFileSync(probeTmp, 'fmode-storage cloudfunc probe ' + new Date().toISOString() + '\n');
  512. try {
  513. const r = await putViaCloudFunction(probeTmp, null, 'selftest');
  514. if (r) {
  515. console.log(JSON.stringify({ ok: true, via: r.via, url: r.url, bytes: r.bytes, message: '云函数免密钥通道自检成功(本机无需任何 AK/SK)' }, null, 2));
  516. return true;
  517. }
  518. } finally {
  519. try { fs.rmSync(probeTmp, { force: true }); } catch { /* ignore */ }
  520. }
  521. const cfg = await resolveStorageConfig();
  522. if (!cfg.ak && !cfg.sts) { printWizard(); process.exit(2); }
  523. if (!cfg.bucket) { console.error(`凭据已命中(${cfg.via})但未解析到 bucket:请 --bucket 指定或用 init 写入`); process.exit(2); }
  524. const tmp = path.join(os.tmpdir(), `fmode-storage-probe-${process.pid}.txt`);
  525. fs.writeFileSync(tmp, 'fmode-storage probe ' + new Date().toISOString() + '\n');
  526. const key = `skill-storage-selftest/probe-${process.pid}.txt`;
  527. try {
  528. const up = runObsutil(cfg.obsUtilPath, ['cp', tmp, `obs://${cfg.bucket}/${key}`], { timeout: 120000 });
  529. if (!up.ok) { console.error('test 失败(上传):', up.out.slice(-300)); process.exit(1); }
  530. const del = runObsutil(cfg.obsUtilPath, ['rm', `obs://${cfg.bucket}/${key}`, '-f'], { timeout: 60000 });
  531. if (!del.ok) { console.error('test 失败(清理探针文件,上传本身已成功):', del.out.slice(-300)); process.exit(1); }
  532. console.log(JSON.stringify({ ok: true, bucket: cfg.bucket, endpoint: cfg.endpoint, via: cfg.via, probeKey: key, message: '上传 1KB 探针→删除 全部成功' }, null, 2));
  533. return true;
  534. } finally {
  535. try { fs.rmSync(tmp, { force: true }); } catch { /* ignore */ }
  536. }
  537. }
  538. // ============================================================================
  539. // main
  540. // ============================================================================
  541. async function main() {
  542. const [cmd, ...rest] = process.argv.slice(2);
  543. const arg = (name) => { const i = rest.indexOf(name); return i >= 0 ? rest[i + 1] : null; };
  544. const experimentalSts = rest.includes('--experimental-sts');
  545. if (rest.includes('--refresh-probe')) invalidateProbeCache();
  546. if (cmd === 'init') { process.exit(await cmdInit(rest) ? 0 : 1); }
  547. if (cmd === 'test') { process.exit(await cmdTest() ? 0 : 1); }
  548. // ── 第0级(首选,免密钥):put 直接走云函数预签名直传 ──────────────────
  549. // 必须在凭据链解析之前:否则"4 级全未命中 → 打印向导 exit 2"会把这条路挡住,
  550. // 而这条路恰恰是唯一不需要任何本机凭据的通道。
  551. if (cmd === 'put') {
  552. const file0 = rest[0];
  553. const key0 = arg('--key');
  554. if (!file0 || !key0) { console.error('用法: put <file> --key <objectKey> [--acl public-read] [--ns report]'); process.exit(2); }
  555. if (!fs.existsSync(file0)) { console.error('文件不存在: ' + file0); process.exit(2); }
  556. const ns0 = arg('--ns') || 'report';
  557. const cf0 = await putViaCloudFunction(file0, key0, ns0, path.basename(key0));
  558. if (cf0) {
  559. console.log(JSON.stringify({ ok: true, key: cf0.key, url: cf0.url, bucket: 'storage-s3-nkkj', via: cf0.via, bytes: cf0.bytes }, null, 2));
  560. return;
  561. }
  562. // 云函数不可用(无 sessionToken / 云函数未配置)→ 落到下面的 obsutil 4 级兜底
  563. }
  564. // setacl:云函数通道下对象在 PUT 时已带 x-obs-acl:public-read,无需单独设 ACL
  565. if (cmd === 'setacl' && resolveSessionToken()) {
  566. console.log(JSON.stringify({ ok: true, via: 'level0:cloudfunc', message: '云函数通道:对象在上传时即带上 x-obs-acl:public-read,无需再单独设置 ACL' }, null, 2));
  567. return;
  568. }
  569. const cfg = await resolveStorageConfig({ experimentalSts });
  570. if (!cfg.ak && !cfg.sts) {
  571. if (cmd !== 'help') {
  572. console.error('凭据链 4 级全部未命中(env → obsutil config → 平台签发(sessionToken+projectId) → 项目 config)。');
  573. printWizard();
  574. process.exit(2);
  575. }
  576. }
  577. if (cfg.ak && !cfg.sts && !cfg.bucket && ['put', 'setacl'].includes(cmd)) {
  578. console.error(`凭据已命中(${cfg.via})但未解析到 bucket:用 --bucket 指定,或重新执行 init 写入完整配置。`);
  579. process.exit(2);
  580. }
  581. const obs = (args, timeout = 120000) => cfg.sts
  582. ? runWithSts(cfg.sts, args, timeout)
  583. : runObsutil(cfg.obsUtilPath, args, { timeout });
  584. if (cmd === 'put') {
  585. const file = rest[0];
  586. let key = arg('--key');
  587. if (!file || !key) { console.error('用法: put <file> --key <objectKey> [--acl public-read]'); process.exit(2); }
  588. const acl = arg('--acl') || 'public-read';
  589. const bucketArg = arg('--bucket'); if (bucketArg) cfg.bucket = bucketArg;
  590. // 第0级(首选):云函数预签名直传 —— 容器不需要任何 AK/SK
  591. const ns = arg('--ns') || 'report';
  592. const cf = await putViaCloudFunction(file, key, ns, path.basename(key || file));
  593. if (cf) {
  594. console.log(JSON.stringify({ ok: true, key: cf.key, url: cf.url, bucket: 'storage-s3-nkkj', via: cf.via, bytes: cf.bytes }, null, 2));
  595. return;
  596. }
  597. key = scopedKey(cfg, key); // STS 签发时强制限定 dev/<projectId>/ 前缀,防越权路径
  598. const r = obs(['cp', file, `obs://${cfg.bucket}/${key}`, ...(acl ? ['-acl', acl] : [])]);
  599. if (!r.ok) { console.error('上传失败:', r.out.slice(-300)); process.exit(1); }
  600. console.log(JSON.stringify({ ok: true, key, url: publicUrl(cfg, key), bucket: cfg.bucket, via: cfg.via }, null, 2));
  601. return;
  602. }
  603. if (cmd === 'setacl') {
  604. const key = arg('--key'); const acl = arg('--acl') || 'public-read';
  605. const recursive = rest.includes('-r');
  606. const r = obs(['chattri', `obs://${cfg.bucket}/${key}`, '-acl', acl, ...(recursive ? ['-r', '-f'] : ['-f'])]);
  607. if (!r.ok) { console.error('setacl 失败:', r.out.slice(-300)); process.exit(1); }
  608. console.log(JSON.stringify({ ok: true }, null, 2));
  609. return;
  610. }
  611. if (cmd === 'config') {
  612. // 诊断输出:绝不包含 AK/SK/token/sessionToken 任何密钥本体
  613. console.log(JSON.stringify({
  614. via: cfg.via,
  615. bucket: cfg.bucket,
  616. endpoint: cfg.endpoint,
  617. cdnDomain: cfg.cdnDomain,
  618. credentialsResolved: Boolean(cfg.ak || cfg.sts),
  619. stsBootstrapped: Boolean(cfg.sts),
  620. stsPrefix: cfg.sts ? cfg.sts.prefix : null,
  621. stsProjectId: cfg.sts && cfg.sts.projectId ? cfg.sts.projectId : null,
  622. stsExpiresAt: cfg.sts && cfg.sts.expiresAt ? cfg.sts.expiresAt : null,
  623. }, null, 2));
  624. return;
  625. }
  626. console.log('用法: init | test | put | setacl | config');
  627. }
  628. main().catch((e) => { console.error('未预期错误:', e.message); process.exit(1); });