SAOS-3624/dsh-video-storyboard

多模态模型看视频有两种笨办法： 本插件走第三条：把画面压成一张宫格图（384 token 封顶），旁边配一份按时间对齐的文本清单（每格起止时间 + 这一格里的台词 + 切了几刀）。 模型得到的是"这 90 秒里发生了什么、大概在第几秒"，需要细节时再用 videozoom 放大某一段。 从零开始的完整步骤（含依赖、自检、排错）见 docs/INSTALL.zh.md。 三句话版本： 插件不打包 ffmpeg 和 yt-dlp，只调用你自己装的那份。找不到时会给出安装指引，不会静默失败。 任何 yt-dlp 支持的站点都行（YouTube、Vimeo、各种自建站……完整列表见 yt-dlp 文档）。 插件会自己下载、缓存，然后用本地文件的那套流程跑。竖屏、DASH、多分P 都处理了。 一张图 + 一段文本： 几条设计原则： 先说结论：普通视频匿名就能看 360p；要高清、会员、或遇到 567，才需要 cookies。 或者每次调用时传： 也可以设环境变量 DSHVIDEOCOOKIES（桌面版读不到 setx 的变量，优先用配置文件）。 直接把视频下载下来，喂本地路径——插件对本地文件一视同仁，还更快： cookies.txt 里的 SESSDATA 等同于你的登录凭证。别提交到仓库、别发群里、别贴到 issue 里。 用完可以退出登录让它失效。 转写是可选的：不配也能出图，只是清单里没有台词。 为什么默认是 sherpa：2024 版 paraformer 比旧版准（实测「像差」不加热词就对），而且冷启动 30 秒 → 5 秒、 内存 6.8 GB → 不到 1 GB。代价是它在 sherpa 运行时里没有热词接口，同音字只能靠 terms 表后处理。 什么时候切回 funasr：你的片子里专有名词多、热词列表很长（比如人名一堆），热词的收益大过 30 秒启动成本时。 /.dsh/asr.json： idleMs 要按后端设，两者差 100 倍： hotwords 只对 funasr 后端有效 —— sherpa 的 paraformer 没有热词接口，同音字请写进 terms。 服务端要满足两个约定： 换成 OpenAI： 便宜的选择（自己按需改）： 云端不填 key 会直接跳过 ASR（不会报错，清单写 transcript: none）。 支持 SRT / VTT / JSON（[{ "start": 1.2, "end": 3.4, "text": "..." }]）。这条路零 ASR 成本，也最准—— 平台自带的字幕比任何识别都可靠。 画面里烧进去的字幕是确定的文本，ASR 会听错。开 detail: high 时插件会： 实测（同一段 PV）：ASR 出「所以。他也忘记。」，画面是「你连，也要忘记吗」——OCR 把整句救回来了。 这是抽检，不是全片校对。 默认只抽查 16 条，清单里写的是 spot-checked N lines, corrected M —— 请按这个口径读，别当成"整片台词已核对"。 贴链接时（URL 模式）跑的是下载的 360p 扫描副本，scale=1280 放大不回细节，硬字幕本来就糊； 清单会标 [from the 360p scan copy]。想要更准就用本地高清文件。 全程本地、不花 token。但引擎要你自己装 —— 插件不带。…