uploader.mjs 31 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664
  1. #!/usr/bin/env node
  2. /**
  3. * fmode-storage uploader — 对象存储上传/公开链接/ACL
  4. * 零依赖(Node ≥18)。凭据按 5 级优先级自动解析,永不入库。
  5. *
  6. * v0.4.0(2026-09-23):新增**第0级 云函数预签名直传**(首选)。
  7. * 容器只需 FMODE_SESSION_TOKEN,平台云函数 fmodeagent-upload-url 持有 AK/SK 并
  8. * 签发 5 分钟预签名 PUT URL;对象键 user/<userid>/<ns>/<YYYYMM>/...,公网
  9. * https://s3.fmode.cn/<key>。解决"每个容器都要配 OBS AK/SK / storageProjectId"
  10. * 的落地缺口(此前 34 台容器无一具备,技能只能打印向导退出)。
  11. *
  12. * v0.3.0 诚实凭据链(真因修复,见 CHANGELOG.md):
  13. * 旧版第0级调用 POST /api/storage/credentials —— 该端点从未上线(404,
  14. * 设计文档 fmode-studio/docs/obs-cdn/04-API设计.md 状态为"规划中"),
  15. * "登录即可上传"是伪自举。本版改为:
  16. *
  17. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  18. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)解析 AK/SK/endpoint/bucket
  19. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  20. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)解析 AK/SK/endpoint/bucket
  21. * 第3级 sessionToken + storageProjectId → POST /api/apig/deploy/huaweicloud
  22. * → 项目隔离 STS(权威端点,生产实测 200;/api/storage/credentials
  23. * 设计端点从未上线——HEAD 探测 404 缓存于 .sts-probe.json)
  24. * 第4级 项目级 ./.fmode/config.json
  25. * 全失败:打印初始化向导指引并退出码 2,绝不伪装成功。
  26. *
  27. * 旧 sessionToken 自举保留为 --experimental-sts:仅当显式传入该参数
  28. * 且端点探测返回 200 时启用(面向未来端点上线,默认关闭)。
  29. *
  30. * 用法:
  31. * node uploader.mjs init [--ak ... --sk ... --endpoint ... --bucket ...]
  32. * node uploader.mjs put <file> --key <objectKey> [--ns report] [--acl public-read] [--bucket ...]
  33. * node uploader.mjs setacl --key <prefix|key> --acl public-read [-r]
  34. * node uploader.mjs test
  35. * node uploader.mjs config
  36. */
  37. import fs from 'fs';
  38. import os from 'os';
  39. import path from 'path';
  40. import { execSync, spawnSync } from 'child_process';
  41. import { fileURLToPath } from 'url';
  42. const HOME = os.homedir();
  43. const __dirname = path.dirname(fileURLToPath(import.meta.url));
  44. // fmode 网关基址(平台 STS 签发端点所在)
  45. const FMODE_API_BASE = process.env.FMODE_API_BASE || 'https://server.fmode.cn';
  46. const STORAGE_CREDENTIALS_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/storage/credentials`;
  47. // 自举权威端点(2026-09-12 生产实测 200):sessionToken + projectId → 项目隔离 STS
  48. const DEPLOY_STS_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/apig/deploy/huaweicloud`;
  49. const DEFAULT_ENDPOINT = 'obs.cn-north-4.myhuaweicloud.com';
  50. const PROBE_CACHE_FILE = path.join(__dirname, '.sts-probe.json'); // 探测结果缓存(1 小时有效)
  51. const PROBE_TTL_MS = 60 * 60 * 1000;
  52. // ── 第0级(首选):云函数预签名直传 ─────────────────────────────────────────
  53. // fmodeagent-upload-url 云函数保管 AK/SK,按调用者身份签发 5 分钟有效的
  54. // OBS SigV2 预签名 PUT URL;容器只拿到 URL,密钥永不下发。
  55. // 对象键:user/<userid>/<namespace>/<YYYYMM>/<uuid>-<filename>,公网 https://s3.fmode.cn/<key>
  56. const UPLOAD_FN_URL = `${FMODE_API_BASE.replace(/\/$/, '')}/api/functions`;
  57. const UPLOAD_FN_ID = process.env.FMODE_UPLOAD_FN_ID || process.env.FMODE_STORAGE_FN_ID || 'AlP56LCKFm';
  58. const CDN_BASE = (process.env.FMODE_CDN_BASE || 'https://s3.fmode.cn').replace(/\/$/, '');
  59. /** 打印初始化向导(全链失败时的唯一出口,绝不伪装成功) */
  60. function printWizard() {
  61. console.error(`
  62. ┌─ fmode-storage 初始化向导 ─────────────────────────────────────────────┐
  63. │ 当前版本需一次性配置 OBS 子账号 AK/SK;sessionToken 免配置自举待平台 │
  64. │ 端点上线(设计文档 fmode-studio/docs/obs-cdn/04-API设计.md,规划中)。 │
  65. ├────────────────────────────────────────────────────────────────────────┤
  66. │ 步骤 1 向 Fmode 平台/管理员申请 OBS 子账号(邮件模板见 README.md │
  67. │ "三分钟初始化"章节),拿到 AK/SK 及所属桶/终端节点。 │
  68. │ 步骤 2 执行初始化(任选其一): │
  69. │ node uploader.mjs init --ak <AK> --sk <SK> \\ │
  70. │ --endpoint obs.cn-north-4.myhuaweicloud.com \\ │
  71. │ --bucket <bucket> │
  72. │ (省略参数则进入交互模式逐项询问) │
  73. │ 步骤 3 验证:node uploader.mjs test │
  74. │ (上传 1KB 探针文件→删除→报告成功) │
  75. └────────────────────────────────────────────────────────────────────────┘`);
  76. }
  77. // ============================================================================
  78. // 平台签发端点探测(B 节:诚实探测 + 1 小时缓存)
  79. // ============================================================================
  80. /**
  81. * HEAD 探测平台 STS 签发端点是否上线。结果缓存本文件 .sts-probe.json(1 小时)。
  82. * @returns {Promise<{online: boolean, checkedAt: number, status: number|null}>}
  83. */
  84. export async function probeStsEndpoint() {
  85. // 读缓存
  86. try {
  87. const j = JSON.parse(fs.readFileSync(PROBE_CACHE_FILE, 'utf8'));
  88. if (j.checkedAt && Date.now() - j.checkedAt < PROBE_TTL_MS) return j;
  89. } catch { /* 无缓存或损坏 → 重新探测 */ }
  90. let status = null;
  91. try {
  92. const res = await fetch(STORAGE_CREDENTIALS_URL, { method: 'HEAD', signal: AbortSignal.timeout(10000) });
  93. status = res.status;
  94. } catch { /* 网络失败视为未上线,不给假希望 */ }
  95. const result = { online: status === 200, checkedAt: Date.now(), status };
  96. try { fs.writeFileSync(PROBE_CACHE_FILE, JSON.stringify(result)); } catch { /* 只读环境忽略 */ }
  97. return result;
  98. }
  99. /** 探测缓存是否可以强制刷新(--refresh-probe / init / test 命令场景) */
  100. function invalidateProbeCache() {
  101. try { fs.rmSync(PROBE_CACHE_FILE, { force: true }); } catch { /* ignore */ }
  102. }
  103. // ============================================================================
  104. // 旧第0级自举(--experimental-sts 专用,端点上线前是死代码路径)
  105. // ============================================================================
  106. /**
  107. * 解析 sessionToken(优先级:FMODE_SESSION_TOKEN → user.json(登录流程写入的最新 token)
  108. * → ~/.fmode/config.json → ./.fmode/config.json)。
  109. */
  110. export function resolveSessionToken() {
  111. if (process.env.FMODE_SESSION_TOKEN) return process.env.FMODE_SESSION_TOKEN.trim();
  112. const candidates = [
  113. path.join(HOME, '.fmode', 'config', 'user.json'),
  114. path.join(HOME, '.fmode', 'config.json'),
  115. path.join(process.cwd(), '.fmode', 'config.json'),
  116. ];
  117. for (const p of candidates) {
  118. try {
  119. if (!fs.existsSync(p)) continue;
  120. const j = JSON.parse(fs.readFileSync(p, 'utf8').replace(/^/, ''));
  121. const t = j.sessionToken || (j.user && j.user.sessionToken) || null;
  122. if (t && String(t).trim()) return String(t).trim();
  123. } catch { /* try next source */ }
  124. }
  125. return null;
  126. }
  127. /**
  128. * 解析 storage 专用 projectId(非密钥)。来源优先级:FMODE_STORAGE_PROJECT_ID 环境变量
  129. * → ~/.fmode/config.json / user.json 的 storageProjectId → ./.fmode/deploy.json 的 projectId。
  130. */
  131. export function resolveStorageProjectId() {
  132. if (process.env.FMODE_STORAGE_PROJECT_ID) return process.env.FMODE_STORAGE_PROJECT_ID.trim();
  133. const candidates = [
  134. path.join(HOME, '.fmode', 'config.json'),
  135. path.join(HOME, '.fmode', 'config', 'user.json'),
  136. path.join(process.cwd(), '.fmode', 'deploy.json'),
  137. ];
  138. for (const p of candidates) {
  139. try {
  140. if (!fs.existsSync(p)) continue;
  141. const j = JSON.parse(fs.readFileSync(p, 'utf8').replace(/^/, ''));
  142. const id = j.storageProjectId || j.projectId || null;
  143. if (id && String(id).trim()) return String(id).trim();
  144. } catch { /* try next source */ }
  145. }
  146. return null;
  147. }
  148. /**
  149. * 第3级(权威,2026-09-12 生产实测 200):sessionToken + projectId → 项目隔离 STS。
  150. *
  151. * 权威链路(future-server api/api-ncloud/apig/routes-deploy.js):
  152. * POST /api/apig/deploy/huaweicloud {token, projectId}
  153. * → { code:200, data:{ accessKey, secretKey, securityToken, obsPath } }
  154. * → obsPath "obs://nova-cloud/dev/<projectId>/" 解析出 bucket/prefix
  155. * 服务端权限:token→用户身份 → Project.user / Project.owner / ProjectTeam 三查。
  156. * ⚠️ 返回的 STS 仅内存持有:不写文件、不打日志、不进错误信息。
  157. */
  158. export async function fetchStsViaDeploy(sessionToken, projectId) {
  159. if (!sessionToken || !projectId) return null;
  160. try {
  161. const res = await fetch(DEPLOY_STS_URL, {
  162. method: 'POST',
  163. headers: { 'Content-Type': 'application/json' },
  164. body: JSON.stringify({ token: sessionToken, projectId }),
  165. signal: AbortSignal.timeout(20000),
  166. });
  167. if (!res.ok) return null;
  168. const body = await res.json().catch(() => null);
  169. const data = body && body.data;
  170. if (!body || body.code !== 200 || !data || !data.success) return null;
  171. const obsPath = String(data.obsPath || '');
  172. const m = obsPath.match(/^obs:\/\/([^/]+)\/(.*)\/$/);
  173. return {
  174. ak: String(data.accessKey || ''),
  175. sk: String(data.secretKey || ''),
  176. securityToken: String(data.securityToken || ''),
  177. expiresAt: data.expiresAt || null,
  178. projectId,
  179. // nova-cloud 桶在 cn-south-1(实测 2026-09-12;north-4 会 NoSuchBucket)
  180. endpoint: 'obs.cn-south-1.myhuaweicloud.com',
  181. bucket: m ? m[1] : 'nova-cloud',
  182. prefix: m ? m[2] + '/' : `dev/${projectId}/`,
  183. };
  184. } catch { return null; }
  185. }
  186. /**
  187. * 备用(任务书 B 节预留):设计文档端点 /api/storage/credentials。
  188. * ⚠️ 该端点从未上线(HEAD 探测 404),端点上线前必然返回 null。仅 --experimental-sts 时调用。
  189. * 返回的 STS 仅内存持有:不写文件、不打日志、不进错误信息。
  190. */
  191. export async function fetchStsCredentials(sessionToken) {
  192. if (!sessionToken) return null;
  193. try {
  194. const res = await fetch(STORAGE_CREDENTIALS_URL, {
  195. method: 'POST',
  196. headers: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${sessionToken}` },
  197. body: JSON.stringify({ op: ['put', 'delete'] }),
  198. signal: AbortSignal.timeout(15000),
  199. });
  200. if (!res.ok) return null;
  201. const body = await res.json().catch(() => null);
  202. const cred = body && (body.credentials || body.data);
  203. if (!cred || !cred.accessKeyId || !cred.secretAccessKey) return null;
  204. return {
  205. ak: cred.accessKeyId,
  206. sk: cred.secretAccessKey,
  207. securityToken: cred.sessionToken || cred.securityToken || '',
  208. endpoint: cred.endpoint || DEFAULT_ENDPOINT,
  209. bucket: cred.bucket || null,
  210. prefix: cred.prefix || '',
  211. };
  212. } catch { return null; }
  213. }
  214. /** STS 签发作用域限定 key 必须在 prefix 内(dev/<projectId>/...),防越权路径 */
  215. export function scopedKey(cfg, key) {
  216. if (cfg.sts && cfg.sts.prefix) {
  217. const pfx = cfg.sts.prefix.endsWith('/') ? cfg.sts.prefix : cfg.sts.prefix + '/';
  218. if (key.startsWith(pfx)) return key;
  219. return pfx + key.replace(/^\/+/, '');
  220. }
  221. return key;
  222. }
  223. /**
  224. * 用 STS 临时凭证构造一次性 obsutil 配置目录,执行命令后即删。
  225. * (配置经 -config= 显式传给 obsutil——旧版 OBSUTIL_CONFIG_FILE 环境变量
  226. * obsutil 并不识别,属无效传递,本版修正。)
  227. */
  228. export function runWithSts(sts, args, timeout = 300000) {
  229. const tmpDir = fs.mkdtempSync(path.join(os.tmpdir(), 'fmode-sts-'));
  230. fs.chmodSync(tmpDir, 0o700);
  231. const cfgFile = path.join(tmpDir, '.obsutilconfig');
  232. fs.writeFileSync(cfgFile, [
  233. `endpoint=${sts.endpoint}`,
  234. `ak=${sts.ak}`,
  235. `sk=${sts.sk}`,
  236. `token=${sts.securityToken}`,
  237. '',
  238. ].join('\n'), { mode: 0o600 });
  239. try {
  240. return runObsutil(cfg.obsUtilPath, args, { cfgFile, timeout });
  241. } finally {
  242. try { fs.rmSync(tmpDir, { recursive: true, force: true }); } catch { /* best effort */ }
  243. }
  244. }
  245. // ============================================================================
  246. // obsutil 执行层
  247. // ============================================================================
  248. /** 统一 obsutil 调用。成功判定用退出码 + 末行无 "failed",杜绝"failed"文案误判为成功。 */
  249. function runObsutil(obsUtilPath, args, { cfgFile = null, timeout = 120000 } = {}) {
  250. const r = spawnSync(obsUtilPath, [...args, ...(cfgFile ? [`-config=${cfgFile}`] : [])], {
  251. encoding: 'utf8',
  252. timeout,
  253. });
  254. const out = (r.stdout || '') + (r.stderr || '');
  255. const ok = r.status === 0 && !/failed/i.test(out.split('\n').filter(Boolean).pop() || '');
  256. return { ok, out, status: r.status };
  257. }
  258. /** 公开 URL: cdnDomain 优先, 否则桶域名 */
  259. export function publicUrl(cfg, key) {
  260. if (cfg.cdnDomain) return `https://${cfg.cdnDomain}/${key}`;
  261. return `https://${cfg.bucket}.${cfg.endpoint}/${key}`;
  262. }
  263. // ============================================================================
  264. // 第0级:云函数预签名直传(免 AK/SK,首选)
  265. // ============================================================================
  266. /**
  267. * 申请预签名 URL 并直传(云函数持有真实 AK/SK)。
  268. * @returns {{ok:true, key:string, url:string, bytes:number, via:string}|null}
  269. * null = 该通道不可用(无 sessionToken / 云函数未配置 / 网络失败),调用方回落下一级
  270. */
  271. export async function putViaCloudFunction(file, objectKey, namespace = 'report', name = null) {
  272. const token = resolveSessionToken();
  273. if (!token) return null;
  274. let buf;
  275. try { buf = fs.readFileSync(file); } catch { return null; }
  276. const filename = name || path.basename(file);
  277. let res;
  278. try {
  279. res = await fetch(UPLOAD_FN_URL, {
  280. method: 'POST',
  281. headers: { 'Content-Type': 'application/json' },
  282. body: JSON.stringify({
  283. token, id: UPLOAD_FN_ID,
  284. params: { filename, size: buf.length, namespace, key: objectKey || undefined },
  285. }),
  286. signal: AbortSignal.timeout(20000),
  287. });
  288. } catch { return null; }
  289. if (!res.ok) return null;
  290. const body = await res.json().catch(() => null);
  291. if (!body || body.code !== 200 || !body.uploadUrl) return null;
  292. try {
  293. const put = await fetch(body.uploadUrl, { method: 'PUT', headers: body.headers || {}, body: buf });
  294. if (!put.ok) return null;
  295. } catch { return null; }
  296. return { ok: true, key: body.key, url: body.publicUrl || `${CDN_BASE}/${body.key}`, bytes: buf.length, via: `level0:cloudfunc(${UPLOAD_FN_ID})` };
  297. }
  298. // ============================================================================
  299. // 凭据链:诚实 4 级
  300. // ============================================================================
  301. /** 解析 obsutil config 文件内容 → {endpoint, ak, sk, token, bucket}。密钥不外泄,仅内部使用。 */
  302. function parseObsutilConfig(text) {
  303. const c = {};
  304. for (const line of String(text).split('\n')) {
  305. const m = line.match(/^(endpoint|ak|sk|token)=(.*)$/);
  306. if (m) c[m[1]] = m[2].trim();
  307. }
  308. return (c.ak && c.sk) ? c : null;
  309. }
  310. /** obsutil config 文件候选路径(OBSUTIL_CONFIG 环境变量优先,其次 ~/.obsutilconfig) */
  311. function obsutilConfigPaths() {
  312. const paths = [];
  313. if (process.env.OBSUTIL_CONFIG) paths.push(process.env.OBSUTIL_CONFIG);
  314. paths.push(path.join(HOME, '.obsutilconfig'));
  315. // getpwuid 的 home 可能与 $HOME 不同(容器常见):obsutil 实际按它解析默认配置
  316. try {
  317. const pwHome = os.userInfo().homedir;
  318. if (pwHome && pwHome !== HOME) paths.push(path.join(pwHome, '.obsutilconfig'));
  319. } catch { /* ignore */ }
  320. return paths;
  321. }
  322. /** 定位 obsutil 可执行文件:PATH → ~/.local/bin → ~/bin → getpwuid home/bin → /usr/local/bin */
  323. function findObsutil() {
  324. const candidates = [];
  325. for (const dir of (process.env.PATH || '').split(':')) {
  326. if (dir) candidates.push(path.join(dir, 'obsutil'));
  327. }
  328. for (const base of [path.join(HOME, '.local', 'bin'), path.join(HOME, 'bin')]) candidates.push(path.join(base, 'obsutil'));
  329. try {
  330. const pwHome = os.userInfo().homedir;
  331. if (pwHome && pwHome !== HOME) candidates.push(path.join(pwHome, 'bin', 'obsutil'));
  332. } catch { /* ignore */ }
  333. candidates.push('/usr/local/bin/obsutil', '/usr/bin/obsutil');
  334. for (const p of candidates) {
  335. try { fs.accessSync(p, fs.constants.X_OK); return p; } catch { /* next */ }
  336. }
  337. return 'obsutil'; // 交给 spawnSync 报"not found"
  338. }
  339. /**
  340. * 诚实 4 级凭据解析(命中即用,检测不到就换下一级):
  341. * 第1级 环境变量 OBS_AK/OBS_SK(/OBS_ENDPOINT/OBS_BUCKET)
  342. * 第2级 obsutil config 文件(OBSUTIL_CONFIG 或 ~/.obsutilconfig)
  343. * 第3级 sessionToken + storageProjectId → deploy STS(端点探测见 fetchStsCredentials 注释)
  344. * 第4级 项目级 ./.fmode/config.json
  345. */
  346. export async function resolveStorageConfig({ experimentalSts = false } = {}) {
  347. const cfg = {
  348. obsUtilPath: 'obsutil',
  349. endpoint: DEFAULT_ENDPOINT,
  350. bucket: null,
  351. cdnDomain: null,
  352. sts: null,
  353. via: null, // 命中的解析级别(诊断用,不含任何密钥)
  354. ak: null, // 内部传递用,config 命令绝不输出
  355. sk: null,
  356. token: '',
  357. };
  358. cfg.obsUtilPath = findObsutil();
  359. // ---- 第1级:环境变量 ----
  360. if (process.env.OBS_AK && process.env.OBS_SK) {
  361. cfg.ak = process.env.OBS_AK.trim();
  362. cfg.sk = process.env.OBS_SK.trim();
  363. if (process.env.OBS_ENDPOINT) cfg.endpoint = process.env.OBS_ENDPOINT.trim();
  364. if (process.env.OBS_BUCKET) cfg.bucket = process.env.OBS_BUCKET.trim();
  365. cfg.via = 'level1:env(OBS_AK/OBS_SK)';
  366. }
  367. // ---- 第2级:obsutil config 文件 ----
  368. if (!cfg.ak) {
  369. for (const p of obsutilConfigPaths()) {
  370. try {
  371. if (!fs.existsSync(p)) continue;
  372. const c = parseObsutilConfig(fs.readFileSync(p, 'utf8'));
  373. if (c) {
  374. cfg.ak = c.ak; cfg.sk = c.sk; cfg.token = c.token || '';
  375. if (c.endpoint) cfg.endpoint = c.endpoint;
  376. cfg.via = `level2:obsutilconfig(${p})`;
  377. break;
  378. }
  379. } catch { /* try next path */ }
  380. }
  381. }
  382. // ---- 第3级:平台签发 STS(deploy 权威链路,2026-09-12 生产实测 200)----
  383. // sessionToken + storageProjectId → POST /api/apig/deploy/huaweicloud → 项目隔离 STS
  384. // (设计文档中的 /api/storage/credentials 从未上线——HEAD 探测 404,.sts-probe.json 缓存;
  385. // 端点若上线,见 fetchStsCredentials 的备用实现,仅 --experimental-sts 启用)
  386. if (!cfg.ak) {
  387. const sessionToken = resolveSessionToken();
  388. if (sessionToken) {
  389. const projectId = resolveStorageProjectId();
  390. const sts = projectId ? await fetchStsViaDeploy(sessionToken, projectId) : null;
  391. if (sts) {
  392. // deploy 端点已实测 200(区别于 storage/credentials 的伪自举),默认启用;
  393. // --experimental-sts 仅控制旧 storage/credentials 备用路径
  394. cfg.sts = sts;
  395. cfg.bucket = sts.bucket || cfg.bucket;
  396. cfg.endpoint = sts.endpoint || cfg.endpoint;
  397. cfg.cdnDomain = process.env.FMODE_CDN_DOMAIN || 'app.fmode.cn';
  398. cfg.via = 'level3:sessionToken+projectId->deploySTS';
  399. return cfg;
  400. }
  401. if (!projectId) {
  402. console.error('sessionToken 存在但缺少 storageProjectId——请设置 FMODE_STORAGE_PROJECT_ID 或在 ~/.fmode/config.json 配 storageProjectId(须为本人有权限的 Project objectId)');
  403. } else {
  404. console.error('sessionToken 存在但 STS 签发失败(/api/apig/deploy/huaweicloud 未 200)——token 失效或该 projectId 不属于当前用户');
  405. }
  406. console.error('(将继续尝试第4级回落配置)');
  407. } else {
  408. // 无 sessionToken:检查设计文档端点是否上线(任务书 B 节:诚实探测,缓存 1 小时)
  409. const probe = await probeStsEndpoint();
  410. if (probe.online && experimentalSts) {
  411. const token = resolveSessionToken() || process.env.FMODE_API_TOKEN || null;
  412. const sts = token ? await fetchStsCredentials(token) : null;
  413. if (sts) {
  414. cfg.sts = sts;
  415. cfg.bucket = sts.bucket || cfg.bucket;
  416. cfg.endpoint = sts.endpoint || cfg.endpoint;
  417. cfg.via = 'level3:experimental-storage-credentials';
  418. return cfg;
  419. }
  420. console.error('--experimental-sts 已启用且设计端点在线,但换取失败');
  421. } else if (probe.online) {
  422. console.error('平台 STS 设计端点已上线(/api/storage/credentials)。加 --experimental-sts 启用该自举路径,或继续用 deploy/obsutil 配置模式。');
  423. }
  424. }
  425. }
  426. // ---- 第4级:项目级 ./.fmode/config.json ----
  427. if (!cfg.ak && !cfg.sts) {
  428. try {
  429. const p = path.join(process.cwd(), '.fmode', 'config.json');
  430. const j = JSON.parse(fs.readFileSync(p, 'utf8'));
  431. if (j.obsUtilPath) cfg.obsUtilPath = j.obsUtilPath;
  432. if (j.obsBucket) { cfg.bucket = j.obsBucket; cfg.via = `level4:${p}`; }
  433. if (j.obsEndpoint) cfg.endpoint = j.obsEndpoint;
  434. if (j.cdnDomain) cfg.cdnDomain = j.cdnDomain;
  435. } catch { /* ignore */ }
  436. }
  437. // ---- bucket 补全:第1/2级命中但缺 bucket → obsutil ls 探测 ----
  438. if (cfg.ak && !cfg.bucket) {
  439. try {
  440. const out = execSync(`${JSON.stringify(cfg.obsUtilPath)} ls -limit=1`, { encoding: 'utf8', timeout: 15000 });
  441. const m = out.match(/obs:\/\/([^/\s]+)/);
  442. if (m) { cfg.bucket = m[1]; cfg.via += '+bucket-probe'; }
  443. } catch { /* 探测失败交给上层报错 */ }
  444. }
  445. return cfg;
  446. }
  447. // ============================================================================
  448. // 初始化向导(C 节:新用户路径)
  449. // ============================================================================
  450. /**
  451. * node uploader.mjs init [--ak ... --sk ... --endpoint ... --bucket ...]
  452. * 写入 obsutil config(600 权限)+ 本技能 config 段,然后立即 test。
  453. */
  454. async function cmdInit(rest) {
  455. const arg = (name) => { const i = rest.indexOf(name); return i >= 0 ? rest[i + 1] : null; };
  456. const ask = async (q) => {
  457. process.stdout.write(q);
  458. let buf = '';
  459. for await (const chunk of process.stdin) { buf += chunk; break; }
  460. return buf.trim();
  461. };
  462. const ak = arg('--ak') || await ask('AK: ');
  463. const sk = arg('--sk') || await ask('SK: ');
  464. const endpoint = arg('--endpoint') || await ask(`endpoint [${DEFAULT_ENDPOINT}]: `) || DEFAULT_ENDPOINT;
  465. const bucket = arg('--bucket') || await ask('bucket: ');
  466. if (!ak || !sk || !bucket) {
  467. console.error('init 失败:AK/SK/bucket 均必填(--ak --sk --endpoint --bucket 或交互输入)');
  468. process.exit(2);
  469. }
  470. // 1) 写 obsutil config(600)
  471. const cfgPath = path.join(HOME, '.obsutilconfig');
  472. fs.writeFileSync(cfgPath, [
  473. `endpoint=${endpoint}`,
  474. `ak=${ak}`,
  475. `sk=${sk}`,
  476. 'token=',
  477. 'cname=false',
  478. `endpointCrr=http://your-endpoint`,
  479. `akCrr=*** Provide your Access Key ***`,
  480. `skCrr=*** Provide your Secret Key ***`,
  481. `tokenCrr=`,
  482. '',
  483. ].join('\n'), { mode: 0o600 });
  484. // 2) 写本技能 config 段(~/.fmode/config.json,不含密钥本体)
  485. const fmodeDir = path.join(HOME, '.fmode');
  486. const fmodeCfg = path.join(fmodeDir, 'config.json');
  487. fs.mkdirSync(fmodeDir, { recursive: true });
  488. let j = {};
  489. try { j = JSON.parse(fs.readFileSync(fmodeCfg, 'utf8')); } catch { /* 新文件 */ }
  490. j.obsBucket = bucket;
  491. j.obsEndpoint = endpoint;
  492. fs.writeFileSync(fmodeCfg, JSON.stringify(j, null, 2) + '\n', { mode: 0o600 });
  493. console.error(`已写入 ${cfgPath}(600)与 ${fmodeCfg}(技能 config 段,不含密钥本体)`);
  494. // 3) 立即 test:上传 1KB 探针 → 删除 → 报告
  495. return cmdTest();
  496. }
  497. /** test:上传 1KB 探针文件→删除→报告成功 */
  498. async function cmdTest() {
  499. // 第0级:云函数免密钥通道(首选),能通就直接成功
  500. const probeTmp = path.join(os.tmpdir(), `fmode-storage-cfprobe-${process.pid}.txt`);
  501. fs.writeFileSync(probeTmp, 'fmode-storage cloudfunc probe ' + new Date().toISOString() + '\n');
  502. try {
  503. const r = await putViaCloudFunction(probeTmp, null, 'selftest');
  504. if (r) {
  505. console.log(JSON.stringify({ ok: true, via: r.via, url: r.url, bytes: r.bytes, message: '云函数免密钥通道自检成功(本机无需任何 AK/SK)' }, null, 2));
  506. return true;
  507. }
  508. } finally {
  509. try { fs.rmSync(probeTmp, { force: true }); } catch { /* ignore */ }
  510. }
  511. const cfg = await resolveStorageConfig();
  512. if (!cfg.ak && !cfg.sts) { printWizard(); process.exit(2); }
  513. if (!cfg.bucket) { console.error(`凭据已命中(${cfg.via})但未解析到 bucket:请 --bucket 指定或用 init 写入`); process.exit(2); }
  514. const tmp = path.join(os.tmpdir(), `fmode-storage-probe-${process.pid}.txt`);
  515. fs.writeFileSync(tmp, 'fmode-storage probe ' + new Date().toISOString() + '\n');
  516. const key = `skill-storage-selftest/probe-${process.pid}.txt`;
  517. try {
  518. const up = runObsutil(cfg.obsUtilPath, ['cp', tmp, `obs://${cfg.bucket}/${key}`], { timeout: 120000 });
  519. if (!up.ok) { console.error('test 失败(上传):', up.out.slice(-300)); process.exit(1); }
  520. const del = runObsutil(cfg.obsUtilPath, ['rm', `obs://${cfg.bucket}/${key}`, '-f'], { timeout: 60000 });
  521. if (!del.ok) { console.error('test 失败(清理探针文件,上传本身已成功):', del.out.slice(-300)); process.exit(1); }
  522. console.log(JSON.stringify({ ok: true, bucket: cfg.bucket, endpoint: cfg.endpoint, via: cfg.via, probeKey: key, message: '上传 1KB 探针→删除 全部成功' }, null, 2));
  523. return true;
  524. } finally {
  525. try { fs.rmSync(tmp, { force: true }); } catch { /* ignore */ }
  526. }
  527. }
  528. // ============================================================================
  529. // main
  530. // ============================================================================
  531. async function main() {
  532. const [cmd, ...rest] = process.argv.slice(2);
  533. const arg = (name) => { const i = rest.indexOf(name); return i >= 0 ? rest[i + 1] : null; };
  534. const experimentalSts = rest.includes('--experimental-sts');
  535. if (rest.includes('--refresh-probe')) invalidateProbeCache();
  536. if (cmd === 'init') { process.exit(await cmdInit(rest) ? 0 : 1); }
  537. if (cmd === 'test') { process.exit(await cmdTest() ? 0 : 1); }
  538. // ── 第0级(首选,免密钥):put 直接走云函数预签名直传 ──────────────────
  539. // 必须在凭据链解析之前:否则"4 级全未命中 → 打印向导 exit 2"会把这条路挡住,
  540. // 而这条路恰恰是唯一不需要任何本机凭据的通道。
  541. if (cmd === 'put') {
  542. const file0 = rest[0];
  543. const key0 = arg('--key');
  544. if (!file0 || !key0) { console.error('用法: put <file> --key <objectKey> [--acl public-read] [--ns report]'); process.exit(2); }
  545. if (!fs.existsSync(file0)) { console.error('文件不存在: ' + file0); process.exit(2); }
  546. const ns0 = arg('--ns') || 'report';
  547. const cf0 = await putViaCloudFunction(file0, key0, ns0, path.basename(key0));
  548. if (cf0) {
  549. console.log(JSON.stringify({ ok: true, key: cf0.key, url: cf0.url, bucket: 'storage-s3-nkkj', via: cf0.via, bytes: cf0.bytes }, null, 2));
  550. return;
  551. }
  552. // 云函数不可用(无 sessionToken / 云函数未配置)→ 落到下面的 obsutil 4 级兜底
  553. }
  554. // setacl:云函数通道下对象在 PUT 时已带 x-obs-acl:public-read,无需单独设 ACL
  555. if (cmd === 'setacl' && resolveSessionToken()) {
  556. console.log(JSON.stringify({ ok: true, via: 'level0:cloudfunc', message: '云函数通道:对象在上传时即带上 x-obs-acl:public-read,无需再单独设置 ACL' }, null, 2));
  557. return;
  558. }
  559. const cfg = await resolveStorageConfig({ experimentalSts });
  560. if (!cfg.ak && !cfg.sts) {
  561. if (cmd !== 'help') {
  562. console.error('凭据链 4 级全部未命中(env → obsutil config → 平台签发(sessionToken+projectId) → 项目 config)。');
  563. printWizard();
  564. process.exit(2);
  565. }
  566. }
  567. if (cfg.ak && !cfg.sts && !cfg.bucket && ['put', 'setacl'].includes(cmd)) {
  568. console.error(`凭据已命中(${cfg.via})但未解析到 bucket:用 --bucket 指定,或重新执行 init 写入完整配置。`);
  569. process.exit(2);
  570. }
  571. const obs = (args, timeout = 120000) => cfg.sts
  572. ? runWithSts(cfg.sts, args, timeout)
  573. : runObsutil(cfg.obsUtilPath, args, { timeout });
  574. if (cmd === 'put') {
  575. const file = rest[0];
  576. let key = arg('--key');
  577. if (!file || !key) { console.error('用法: put <file> --key <objectKey> [--acl public-read]'); process.exit(2); }
  578. const acl = arg('--acl') || 'public-read';
  579. const bucketArg = arg('--bucket'); if (bucketArg) cfg.bucket = bucketArg;
  580. // 第0级(首选):云函数预签名直传 —— 容器不需要任何 AK/SK
  581. const ns = arg('--ns') || 'report';
  582. const cf = await putViaCloudFunction(file, key, ns, path.basename(key || file));
  583. if (cf) {
  584. console.log(JSON.stringify({ ok: true, key: cf.key, url: cf.url, bucket: 'storage-s3-nkkj', via: cf.via, bytes: cf.bytes }, null, 2));
  585. return;
  586. }
  587. key = scopedKey(cfg, key); // STS 签发时强制限定 dev/<projectId>/ 前缀,防越权路径
  588. const r = obs(['cp', file, `obs://${cfg.bucket}/${key}`, ...(acl ? ['-acl', acl] : [])]);
  589. if (!r.ok) { console.error('上传失败:', r.out.slice(-300)); process.exit(1); }
  590. console.log(JSON.stringify({ ok: true, key, url: publicUrl(cfg, key), bucket: cfg.bucket, via: cfg.via }, null, 2));
  591. return;
  592. }
  593. if (cmd === 'setacl') {
  594. const key = arg('--key'); const acl = arg('--acl') || 'public-read';
  595. const recursive = rest.includes('-r');
  596. const r = obs(['chattri', `obs://${cfg.bucket}/${key}`, '-acl', acl, ...(recursive ? ['-r', '-f'] : ['-f'])]);
  597. if (!r.ok) { console.error('setacl 失败:', r.out.slice(-300)); process.exit(1); }
  598. console.log(JSON.stringify({ ok: true }, null, 2));
  599. return;
  600. }
  601. if (cmd === 'config') {
  602. // 诊断输出:绝不包含 AK/SK/token/sessionToken 任何密钥本体
  603. console.log(JSON.stringify({
  604. via: cfg.via,
  605. bucket: cfg.bucket,
  606. endpoint: cfg.endpoint,
  607. cdnDomain: cfg.cdnDomain,
  608. credentialsResolved: Boolean(cfg.ak || cfg.sts),
  609. stsBootstrapped: Boolean(cfg.sts),
  610. stsPrefix: cfg.sts ? cfg.sts.prefix : null,
  611. stsProjectId: cfg.sts && cfg.sts.projectId ? cfg.sts.projectId : null,
  612. stsExpiresAt: cfg.sts && cfg.sts.expiresAt ? cfg.sts.expiresAt : null,
  613. }, null, 2));
  614. return;
  615. }
  616. console.log('用法: init | test | put | setacl | config');
  617. }
  618. main().catch((e) => { console.error('未预期错误:', e.message); process.exit(1); });