dsh-mm-models
Verifieddsh-mm-models · v0.3.0 · MIT · Web UI
DeepSeek 主脑 + GLM/Qwen 读图 / Qwen 制图 / Seedance·可灵·万相·MiniMax 出片:把外部多模态能力做成与 bash 同级的顶级工具,共用异步任务层、多 key 管理与成本闸门。 另含 MiniMax Code 订阅接入(vendored dsh-minimax-connect,编码/脚本子代理路由)。
Install
dsh plugin add dsh-mm-models Confirm the layer applied with dsh --profile default --dump-config — see the install guide.
Source
Tags
Creators
Readme
给 DeepSeek Harness 装上眼睛、画笔和摄像机
GLM/Qwen 读图 · Qwen 出图 · Seedance/可灵/海螺 出片 外加一道 fail-closed 花费闸门:未计价一律拒付。
包名
dsh-mm-models· 插件 idmm-models·0.3.0· 本地优先 · 不收集遥测 · MIT · 需要 DeepSeek Harness0.2.1+
一个 DeepSeek Harness(DSH)bundle:把 GLM / Qwen-VL 读图、Qwen 制图、Seedance / 可灵 / 万相 / MiniMax 海螺出片做成与 bash、ops_* 同级的顶级工具,并共用一层异步任务管理、一套多 key 管理与一套花钱闸门。
DeepSeek 主模型负责思考与交付;外部模型只负责"看 / 画 / 拍"这些它原生没有的能力。
它提供什么
| 工具 | 能力 | 默认 | 说明 |
|---|---|---|---|
ask_glm |
GLM 读图子代理 | ✅ 开 | 看图、截图、PDF、图表、手写、界面 → 结构化结论 |
ask_qwen |
Qwen-VL 读图子代理 | ⛔ 关 | 与 ask_glm 二选一;默认 qwen3.8-max,中文界面 / 密集文字 / 场景描述较强 |
ocr_image |
本地 OCR(Windows 自带引擎) | ✅ 开 | 纯文字截图直接抄字:免费、离线、图片不出网,通常 0.3–1.5 秒 |
qwen_draw |
Qwen 文生图 / 图生图 | ✅ 开 | 产物落盘 + 返回路径;可选把图附回上下文 |
seedance_video |
火山方舟 Seedance 出片 | ⛔ 关 | 文生 / 图生视频,异步任务 |
video_gen |
百炼出片:可灵 v3 / 万相 2.5 | ⛔ 关 | 复用 DASHSCOPE_API_KEY,需业务空间 ID |
minimax_video |
MiniMax(海螺)出片 | ⛔ 关 | 文生 / 图生 / 首尾帧;独立 MINIMAX_API_KEY;按条计费 |
media_task |
异步任务重查 / 补下载 | ✅ 开 | 整轮失败后按 provider + task_id 找回产物 |
media_report |
成本估算 / 链路健康 | ✅ 开 | 账本、单价自检、四把 key 与各条链路状态 |
run_batch |
批量执行(一次多条命令) | ✅ 开 | 跑测试 / 构建 / 批量检查:步数从 N 降到 1,日志落 gen/batch/ |
subagent_code |
窄工具面编码子代理 | 常开 | 命令 + 文件读写 + 查找;适合设计 / 重构 / 根因 |
subagent_script |
窄工具面脚本子代理 | 常开 | 命令 + 文件读写 + 查找;跑构建 / 测试到绿 / 批量机械改动,默认走 MiniMax 路线 |
subagent_research |
窄工具面资料子代理 | 常开 | 只有只读文件 + 网页检索;适合查文档 / 核实事实 |
后三个工具是"窄委派":通用子代理每轮要背全部工具表(约 36 个 / 33 KB),这三个只背 7 / 7 / 5 个。读图员本身也是子代理。
为什么不是"让主模型自己看图"
- 主路由对单图常有 token 上限(例如 DeepSeek 路由
MAX_IMAGE_TOKENS = 1024),大图会被大幅降采样;交给没有该上限的视觉模型反而更准。 - 图片内容块会把"上传 / 传输失败"的风险带进每一轮对话;产物几 MB 时尤其明显。
- 读图员是只读子代理:工具面只有
read_image,不会读代码、翻目录、跑命令。
所以默认策略是:主代理不看原图,读图员看;主代理拿文字结论。如果你更喜欢原生读图,见下面的开关。
安装
前置:DSH Desktop 0.2.1-rc.1 或更高(0.2.x 线),profile 默认 desktop。
dsh plugin 在 profile 内转发给 pnpm,所以 npm 上的包与本地目录都能装。
:: 从 npm 安装(推荐)——装到的是预构建代码,不需要构建脚本授权
dsh plugin --profile desktop add dsh-mm-models
:: 锁定版本,便于复现(0.3.0 发布后可用)
dsh plugin --profile desktop add [email protected]
:: 改源码 / 跟未发布分支时,从本地目录安装
git clone https://github.com/nanfangtown/CN-gpt.git
dsh plugin --profile desktop add ".\CN-gpt"
装完完整重启 DSH。安装会在 profile 里加两行 + 三个 agent preset:
llm-pi-ai—— 注册两条读图路由:providers.glm(智谱)与providers.qwen-vl(百炼)。mm-models—— 插件本体(13 个工具 + 一段可关闭的分工提示词)。
⚠ 第 1 行是覆盖语义:
config整体替换,不与已有providers深合并。 如果你在 设置 → 模型 里配过自定义 provider,安装前先备份cordis.patch.yml, 或安装后把providers.glm/providers.qwen-vl合并进你原有的配置。 不需要插件代配路由时,删掉cordis.patch.yml的第 1 行,再手工在设置里添加 GLM / Qwen-VL 路由。
配置卡入口:侧栏「插件」→ 已安装 → dsh-mm-models(显示名 CN-gpt)→ 组合包详情 → 配置卡。
四把 key
| Key | 给谁用 | 推荐放法 |
|---|---|---|
ZHIPU_API_KEY |
ask_glm |
设置 → 模型 → GLM 行;或 ~/.dsh/.env |
DASHSCOPE_API_KEY |
qwen_draw / ask_qwen / video_gen |
~/.dsh/.env 或配置卡引用名 |
ARK_API_KEY |
seedance_video |
~/.dsh/.env 或配置卡引用名 |
MINIMAX_API_KEY |
minimax_video |
~/.dsh/.env 或配置卡引用名;国内 .cn / 国际 .io 的 key 不通用 |
cp .env.example ~/.dsh/.env # 然后填入真值;不要把填好的 .env 提交到仓库
解析优先级:配置卡字面值 > 凭据服务 / 引用名 > 环境变量 / ~/.dsh/.env。
各条链路互相独立:缺任何一把 key 只影响对应工具,不会让插件加载失败。
用 media_report(action=health) 可以在对话里直接看到每把 key 的
"是否已配置 / 来源 / 最近成功失败 / 连通性",但永远不回显 key 本身。
用它
# 读图(把本地路径交给读图员)
ask_qwen(image_path="D:/shots/ui.png", question="这个弹窗的按钮排版有什么问题?")
# 画图
qwen_draw(prompt="雨夜校园,霓虹,电影感,16:9", n=2)
# 出片(5 秒 × ¥0.8/秒 = ¥4.00,需要复述金额)
video_gen(prompt="镜头缓慢推进,雨滴打在窗上", duration=5, confirm_estimate=4)
# MiniMax 出片(768P 6 秒 = ¥2.00,按条计费)
minimax_video(prompt="镜头缓慢推进,雨滴打在窗上", duration=6, resolution="768P", confirm_estimate=2)
所有生成类调用都返回本地文件路径;是否把图片附回模型上下文由 attachResultImages 控制(默认关,只回路径)。
花钱闸门
这是插件最核心的安全设计。所有付费提交(出图 / 出片)都走同一道收口:
- 未计价 = 拒绝:单价表查不到、单价为
0或负数,一律 fail-closed;调用方自报金额不作数。 - 单次上限:默认
videoCostLimitCNY = 10元。 - 会话累计上限:默认
videoSessionCostLimitCNY = 30元,含子代理会话树。 - 复述金额:预估超过
noConfirmUnderCNY(默认 1 元)时必须传回精确到分的confirm_estimate。
单价表在配置卡里可改;填错价拦不住(只拦"缺档位"),请按厂商官网核对。 金额是估算,不是账单。详见 SECURITY.md。
批量执行:把「一步」做大(run_batch)
逐条跑命令的成本不在执行,而在步数:每条命令都是一步,每步都要重发一遍上下文。
实测一轮 12 个测试文件逐条跑 = 54 步、3M cacheRead;合成一次 run_batch 后是 1 步。
- 串行 / 并行:默认串行(有依赖的命令别并行);
parallel: true时按batchParallelLimit(默认 4)并发,结果顺序仍与输入一致。并行下stop_on_error不可用(已经起跑的命令停不下来,会直接拒绝); - 脚本入口:
script: "test"直接读package.json的scripts.test,按&&拆条执行,npm run x引用递归展开(最多 3 层)。会改变语义的构造(||、反引号、$(...)、行首cd)整段当一条跑——机器上没装 npm 时这一条尤其有用; - 退出码原样保留:Windows 下用包装脚本把真实退出码写出来(
powershell -Command会把 3 压成 1); - 只回摘要:每条命令都带一行输出尾巴(≤ 200 字符,"通过 13,失败 0"这类结论文本一次就能看到);输出本身很短时标注「完整输出,无需再读日志」,避免模型为"逐字核对"再读一遍日志;失败另带摘要(≤ 600 字符),完整输出落
gen/batch/<时间戳>/<序号>-<命令>.log; - 超时杀进程树:
batchCommandTimeoutMs(默认 120 s)到点用taskkill /T连孙进程一起收; - 上限点名拒绝:
batchMaxCommands(默认 20)超过就报错,不静默截断。
配置:enableRunBatch(默认开)、batchMaxCommands、batchCommandTimeoutMs。
激进模式:屏蔽原生 shell(blockNativeShell,默认关)
打开后主代理不能再调 pwsh / bash / ops_bash——命令只能经 run_batch 执行:
要跑的命令一次都给它(只有一条时 commands 给一条即可)。这样"逐条跑"在物理上不可用,
"批量"成为唯一路径;被拦时它会拿到明确的指路文案。
⚠ 这是动地基的开关,所以默认关:
- shell 是执行基底,不像
read_image那样是叶子能力:打开后主代理失去交互式单步能力 (探针、调试、看输出再决定下一步); - 子代理不受影响(
subagent_script仍可执行命令,它有自己的 shell 工具面); - 如果同时把
enableRunBatch关了,主代理将无法执行任何命令——启动自检会告警。
保存后立即生效(守卫每次调用都读实时配置);启动自检那条告警日志要重启后才会打印。 工具表本身不变(pwsh 仍在表里,只是调用被拒),所以不需要为它重启。
出片三选一(互斥)
seedance_video(方舟)、video_gen(百炼可灵/万相)、minimax_video(MiniMax 海螺)三家协议、密钥与计费都不同,同一时刻只允许一个开启:
- 设置卡里打开一个,会自动关闭另外两个;
- 手改配置同时打开多个时,Host 按声明顺序取第一个生效(
seedance_video>video_gen>minimax_video),其余被压制; media_report(action=health)会把冲突标出来。
MiniMax 的计费单位是条(分辨率 × 时长),与另外两家的"按秒"不同;单价表里用 unit: call + tiers 表达,缺档位一律 fail-closed。
国内 .cn 与国际 .io 的 key 不通用,minimaxBase 必须与 key 同区域。
读图路由与两个 block 开关(重要)
出厂默认:
enableAskGlm = true(读图员开着)blockMainAgentNativeVision = true(主代理的read_image被摘掉)blockSubagentNativeVision = true(通用子代理也不能自己读图;读图员豁免)
如果你没有配 GLM key,这套默认会让主模型既看不到原生图、也叫不出读图员 —— 等于没有看图途径。 这种情况下请二选一:
- 关掉两个
block*开关,回到原生读图;或 - 改用
ask_qwen(配DASHSCOPE_API_KEY),并关掉ask_glm。
blockSubagentNativeVision 还要求 readerMaxDepth >= 2,否则被委派的子代理调不动读图员。改完需要完整重启。
纯文字截图:本地 OCR(ocr_image)
读图员是"视觉理解"通道,但日常读图的大头其实是纯文字截图:报错、日志、代码、表格、 文档、聊天记录。这类图不需要理解画面,只需要抄字 —— 派一次子代理意味着两跳模型调用 和一次外发,而 OCR 更便宜、更保真(不会意译、不会漏列),截图里的 key / 订单号也不出网。
ocr_image 用 Windows 自带的 Windows.Media.Ocr,没有任何额外依赖:
- 免费、离线:不调任何 API,不需要 tesseract / Python / 在线模型;
- 快:通常 0.3–1.5 秒(其中约 0.2 秒是 PowerShell 冷启动);
- 会自己挑引擎:中文界面用中文引擎;纯 ASCII(代码 / 英文日志)自动切英文引擎 ——
中文引擎会把
File认成Fi1e、把.认成全角; - 小字会放大后重认一次:14 px 的代码截图,字符相似度从约 0.73 提到 0.87;
- 会把引擎拆乱的行按坐标拼回来:等宽代码常被切成
const total =/add(12,/30);三段,按 y→x 重排成一行;中文也不再逐字带空格(任 务 队 列→任务队列)。 Windows 的 OCR 对 CJK 是按单字出词的,所以这层重排是必需的。
分工(已写进插件提示词,模型自己会分):
| 图里是什么 | 走哪条路 |
|---|---|
| 纯文字:代码 / 日志 / 报错 / 表格 / 文档 / 聊天记录 | ocr_image |
| 图表读数、界面排版、画面内容、照片、手写、艺术字 | ask_qwen(读图员) |
ocr_image 返回"几乎没认出文字" |
说明这张图不是文字图,改走读图员 |
限制如实说:缩进会丢(行首空格没有词框可依),艺术字、低分辨率、旋转/倾斜的截图 识别率会掉,逐字抄写也不等于百分之百准确。需要"理解"而不只是"抄写"时,仍然走读图员。
调参:enableOcrImage(默认开)、ocrLanguage(默认 auto)、ocrTimeoutMs(20 s)、
ocrMaxChars(12000)、ocrMaxBytes(20 MiB);media_report(action=health) 里有一行
「本地 OCR:✅ 开」可确认状态。
⚠ 语言包:Windows OCR 是按语言安装的。本机已有 zh-Hans-CN 与 en-US;精简系统第
一次调用会返回安装指引(设置 → 时间和语言 → 语言 → 可选功能 → 光学字符识别)。
读图回合闸门:结论没回来,不许先开口(0.2.2)
旧行为:模型派出读图员 → 工具立刻返回 subagentId → 模型下一步就凭印象作答,
读图结论几秒后才到。于是同一张图先给一条错的、再给一条"更正"。
0.2.2 起,插件在宿主的 agent/pre-step 上加了一道闸:
- 主 agent 派出读图员后,下一步不会开始,一直等到读图结论回来(默认上限 90 s);
- 结论取回后并入本步消息,模型第一次看到它就是在作答的那一步;
- 为什么不在
agent/turn-stopping拦:宿主顺序是先 step(assistant 文本已流式发出、 已入库)后 turn-stopping,在那里拦只能"补一条更正",拦不住"先说错"。
同一道闸还管两件事:
- 有图自动 OCR(
autoOcrOnImage,默认开):本轮消息含图时先在本机抄一遍字 (免费、离线、约 0.4 s)再交给模型。粘贴图在.dsh/attachments下是无扩展名对象、 路径也不在消息文本里,插件从sha256还原对象路径再 OCR。 - 有图无证据(
readerGateImageHint):模型一次读图 / OCR 都没调时注入机械提醒(每轮一次); 收尾仍无证据则拒绝结束该回合、补一个纠正回合(readerGateForceEvidence)。
只作用于读图员——出片 / 视频 / 复杂工作流的异步链路完全不动(它们不登记在闸门表里)。
| 配置 | 默认 | 说明 |
|---|---|---|
readerGate |
true |
闸门总开关 |
readerGateTimeoutMs |
90000 |
等待上限;超时放行并提示"待确认" |
readerGateImageHint |
true |
本轮有图未取证 → 注入提醒 |
readerGateForceEvidence |
true |
无证据收尾 → 补纠正回合 |
autoOcrOnImage |
true |
有图先跑本地 OCR |
代价要如实说:慢。 闸门不产生延迟,它只是把读图员的延迟如实等完。视觉模型单次延迟
实测 40–200 s(含一次 120 s 的尾延迟),所以带图回合的体感会明显变慢;不接受就关掉 readerGate。
media_report(action=health) 里有一行「读图闸门:✅ 开 | 在等 N」;verbose 下还能看到
「上次 OCR 找到 X 张/成功 Y 张」——用来区分"没找到图"和"OCR 失败"。
批量读图(默认关闭)
打开 readerBatchMode 后,读图员变成"一次读一批":schema 里只有 image_paths(数组,
≤ readerBatchMax,默认 4),不再有单图入口。定位:
- 同一批图一次传完:分两次调用会各自独立、无法互相参照;
- 结论按「图1/图2」分段,溯源不断;
- 超过上限点名拒绝(不静默截断),请分组成多次调用;
- 不相关、或每张要分别提问 → 分开调用。
收益是形状唯一、行为可预测(没有"逐张调三次"的岔路);代价是单图精细度与失败隔离下降。
所以默认关闭,出厂行为与 0.2.1 一致。image_path 仍被接受(旧会话兼容),但批量 schema 里不出现。
兼容性
| DSH 运行时 | 结果 |
|---|---|
0.2.0-rc.x |
⛔ 不支持(子代理的 persona / 工具面已迁移到 Agent Preset) |
0.2.1-alpha.* / 0.2.1-rc.* / 0.2.1 |
✅ |
0.3.0-rc.1 及以后 |
⛔ 需重新验证(engines.dsh 已显式排除) |
package.json 的 engines.dsh = ">=0.2.1-rc.1 <0.3.0-0" 是给 DSH 0.2.1+ 的版本校验用的;
peerDependencies 里的 @deepseek-ai/dsh-* 由宿主提供,链接安装时必须声明,否则 harness 只会报 "failed to import"。
文档
| 文档 | 内容 |
|---|---|
| docs/ENGINEERING-NOTES.md | 完整工程记录:设计取舍、事故复盘、性能与测试数据(历史快照,可能过时) |
| docs/reports/ | 三次修复 / 性能 / 读图路由的专项报告 |
| SECURITY.md | 密钥处理、花费安全、漏洞报告方式 |
| THIRD_PARTY_NOTICES.md | 第三方代码来源与许可(vendored MiniMax 接入等) |
| PUBLISHING.md | 发布到 npm:鉴权、首发步骤、发布后验证与回滚 |
| CONTRIBUTING.md | 开发环境、测试、提交规范、发布流程 |
| CHANGELOG.md | 版本变更 |
| tests/README.md | 测试矩阵与试运行脚本 |
开发
npm install # 只装一个 devDependency(schemastery)
npm test # 离线套件:13 个文件 / 约 160 项断言;不需要 DSH、不需要 key、不联网、不花钱
npm run test:batch # 只跑 run_batch 的 16 项(串行/并行、退出码、超时、脚本入口、环境隔离)
npm run test:docs # 文档相对链接检查
测试的边界:
- 离线套件用本地假厂商(
tests/mock-providers.mjs)跑完 提交 → 轮询 → 下载 → 记账,CI 在 Linux / Windows × Node 22 / 24 上跑。 - 真实 harness 脚本(
tests/e2e-*.mjs)需要本机 DSH 安装与真 key,SKIPPED:与通过可区分,DSH_E2E_STRICT=1时跳过会以 78 退出。 - 变异测试(
npm run test:mutation)会直接改写工作区源码再还原,不要与其它测试并发跑。
参与
- 问题 / 需求:GitHub Issues
- 提交代码:CONTRIBUTING.md
- 安全问题:不要开公开 issue,按 SECURITY.md 私下报告
- 行为准则:CODE_OF_CONDUCT.md
- 第三方代码来源:THIRD_PARTY_NOTICES.md
名字
插件页显示名暂时仍是 CN-gpt(历史遗留,后续统一成功能名),包名 dsh-mm-models,插件 id mm-models。这是玩梗,不是技术栈——调用链里 GPT 含量 0%,实际是 GLM / Qwen / Seedance / 可灵 / 万相 / MiniMax 海螺。主脑仍是 DeepSeek。
仓库标题、README 标题与 GitHub About 从 0.2.2 之后统一改成功能定位(见页面顶部),CN-gpt 只保留为彩蛋式别名。
许可
MIT。见 LICENSE。