跳到主要内容

dsh-voice-say

已验证

dsh-voice-say · v0.9.0 · MIT · Web 界面

dsh-voice-say:把一句话合成语音(本机 Breeze TTS 2,离线免费)。上传一段音频就是嗓子——逐字转写可以不用手打,插件用本地 faster-whisper 自动听写(也可自己指定 python / 装识别环境);主参数两个——instructions(自然语言写「怎么说话」)与 guidanceScale;18 个风格可叠加;音色可存库、可指定 QQ 桥接用哪个嗓子(设了就只认它,文件丢了直接报错不退回默认)。合成前「读音导演」按人设、当下情绪与对话情节重排标点(只动标点不改字)。Q

安装

dsh plugin add dsh-voice-say

用 dsh --profile default --dump-config 确认 layer 已生效 —— 参见安装指南。

源码

发布到 npm 但没有公开仓库。安装前请检查包内容。

标签

说明文档

dsh-voice-say

把一句话合成成语音。只有一条通道:本机 Breeze TTS 2(离线、免费、走 GPU)。

两条设计原则:

  1. 调声音不靠调快慢。 只有两个主参数:
    • instructions —— 用自然语言写「怎么说话」(情绪、语气、停顿、哑不哑);
    • guidanceScale —— 模型多听这句话(1.0 完全不听,1.2~1.6 最常用,>2 开始发毛)。 语速、音高这类硬参数不是主要手段——这个引擎里根本没有旋钮,全靠这句话带。
  2. 试听和 QQ 里收到的,是同一个文件。 插件把「怎么念 + 念出来」一步做完(POST /render), QQ 桥接直接拿这个 wav 当语音条发出去;除了 QQ 网关的 SILK 转码(低码率削高频),逐字节相同。

装

npm i dsh-voice-say@latest        # 或 dsh plugin --profile <你的 profile> add dsh-voice-say@latest

装完完全退出 DSH 再打开(bundle 只在宿主启动时加载)。设置页 → 左侧「语音合成」。

三个功能区

1. 参考音色(你的嗓子)

  • 选一段 5~15 秒、干净、单人的音频 —— 直接把音频丢进来就行,不用再手打逐字转写。
  • 插件会用本地离线听写(faster-whisper,藏在 lib/asr_once.py)先把这段音频听成文字, 再交给引擎对齐音色;听写结果会一起显示出来,想改再改(text 依然可以手动指定)。
  • 点「就用这段当嗓子」→ 插件用 ffmpeg 规整成 24k 单声道,存到 <数据根>/ref/ref-24k.wav。
  • 之后试听和 QQ 都用它。不想编成音色、只想临时用一次,这就是最省事的路。
  • 没设参考音色时会借用 QQ 桥接那段参考音频(qq-bridge-main 里 socialV2.voice.clone 指向的 ref/ref-24k.wav),所以哪怕什么都不传,试听和 QQ 也是同一个嗓子。

1.1 QQ 桥接用的嗓子(0.8.0 新增)

同一张卡片里还有一个下拉框:QQ 桥接用的嗓子。

  • 选中「音色库」里的某个音色 → 「设成 QQ 音色」→ 以后 QQ 里发语音就是这一把, 网页试听用什么跟它无关。
  • 只有这一个设置,没有「备用嗓子」。 设了它,surface=qq 的请求只认它; 那个 .breeze 文件要是被删了/改名了,直接把错误抛回去(render 返回 500, QQ 侧报「发语音失败:音色「X」的 .breeze 文件不在了…」),不会悄悄换成默认嗓子。
  • 选「(不指定:跟随默认嗓子)」= 取消:QQ 跟网页走同一条优先级。

2. 调节音色(怎么说话)

  • 风格:18 个可叠加的预设——傲娇 / 高冷 / 撒娇 / 温柔 / 元气 / 慵懒 / 疲惫 / 哽咽 / 敷衍 / 生气 / 害羞 / 耳语 / 正经播报 / 委屈 / 神秘低语 / 兴奋 / 哄人 / 面瘫。点一下加、再点一下减。 风格不是一个新参数:它就是一段 instructions + 一个建议强度,叠加时按顺序拼成一条 --instruction,强度取最大;你手写 instructions 会作为「补充」拼在最后。
  • instructions:想怎么说就怎么写,例:像刚睡醒,声音有点哑,别太用力。
  • guidanceScale:滑杆 1.0~3.0;选了风格时右边会出现「建议 1.45」这类提示,点一下就用它。
  • seed:同 seed + 同文字 + 同设置 = 同一条音频(可复现)。

3. 试听

  • 输入文字 → 「合成并试听」。走的就是 POST /render——和 QQ 桥接调用的同一个接口。
  • 结果里能看到:文件、时长、大小、实际用的 guidance、导演改过标点没、念的是哪句(spoken)。
  • 勾选框「合成前先过导演台」= 这句话先交给读音导演重排标点。

嗓子只有一个裁决处

以前「设了音色还是老声音」是两处判断打架:插件按 defaultVoice 挑,QQ 桥接又自己挑一次。 0.8.0 把判断收成一处(lib/singer.mjs),优先级只有五行:

顺序 来源 什么时候生效
1 调用方点名的音色 传了 voice(qq_say_voice 的 voice、工具参数、/render 的 body)
2 QQ 桥接音色 qqVoice 仅 surface=qq(QQ 桥接发语音时自己带上)
3 默认音色 defaultVoice 上面都没有
4 参考音频 没设任何音色:你自己的 refAudio,没有就借 QQ 桥接那段
5 引擎默认 什么都没有(提示「还没设嗓子」)

规则:设了音色却找不到 .breeze 文件 ⇒ 报错,不换嗓子。 宁可发不出去,也不要用错声音。

读音导演(导演台)

合成之前,先把台词交给和 QQ 同一个大脑(DSH 宿主当前模型)读一遍,让它结合:

看什么 从哪来
人设 identity.json(名字、9 项人格参数、原则)
此刻情绪 params.json(七情当前值、语言指纹、说话习惯)
当时情节 social-v2.json(正在聊什么、上次被什么叫醒、最近几句)

然后只重排标点(逗号句号省略号破折号),一个字都不许改。

  • 导演台默认开在 DeepSeek 窗口里的专用会话(session/page + session/prompt 轮询), 你可以在 GUI 里直接看到它想的过程;「换一个窗口」会新建一个专用会话。
  • 地址自动跟随:优先 director.dshBaseUrl → $DSH_BASE_URL → 桥接 config.json 的 dsh.baseUrl → 最近一次访问插件的那个 Host(DSH 端口每次重启都变,这条兜底)。
  • 四道保底:逐字核对 → 不符就重来一次 → 还不符就用「盖章法」把标点盖回原文 → 再不行就用原文照念。 导演挂了不会让合成失败。
  • 不想要:设置页取消勾选,或调用时传 direct: false;通道切回直连 API 用 director.transport = "api"。

工具(给模型用的)

工具 干什么
voice_say 合成一段语音(text、可选 voice / styles / instructions / guidanceScale / seed / direct / scope)
voice_preview 用当前设置试听一句
voice_direct 只算标点不合成(看看导演会怎么断句)
voice_styles 列出/搜索 18 个风格
voice_list 列出音色库 + 当前网页/QQ 各用哪把嗓子
voice_bridge 查看/设置/取消「QQ 桥接用的嗓子」({name} / {clear:true},只有一个,无备选)
voice_add 上传参考音频 → 编成音色(文字可省,自动听写)
voice_asr 自动听写:{action:"status"} / {action:"transcribe",audio} / {action:"setup"}
voice_delete 删音色

HTTP

前缀 /api/voice-say,同源(只认 127.0.0.1 / localhost / [::1])。

接口 说明
GET /status 版本、引擎就绪、音色数、当前参考音色(reference.refAudio/from/exists/used)、singer(网页这次用谁)、bridge(QQ 桥接用谁)、导演状态
GET /styles 18 个风格 + 当前选中的
POST /config 改设置(白名单字段,含 qqVoice)
GET /voices · POST /voices · POST /voices/delete 音色库增删查
POST /voices/default {name} 设默认音色(网页与工具用它;QQ 没单独指定时也用它);{name:""} 取消
GET /bridge · POST /bridge-voice 「QQ 桥接用的嗓子」:查看(带音色列表)/ {name} 设置、{name:""} 取消;未知音色 → 404
POST /ref {filename,data(base64),text} 上传参考音色;{src,text} 用本机路径;{clear:true} 清除
POST /render 一步到位:算好怎么念 + 合成文件,返回 {text, spoken, file, path, url, seconds, guidanceScale, directed, renderedWith{...}}
POST /synth · POST /preview 只合成 / 试听
GET /audio?name= 取产物(wav)
POST /voice-plan 只出「怎么念」不合成({text, styles, guidanceScale, direct, scope})
GET /direct/context · POST /direct · POST /direct/cache 看导演吃到的上下文 / 只算标点 / 清缓存
GET/POST /direct/session 看导演窗口 / {reset:true} 换一个

POST /render 示例:

curl -s -X POST http://127.0.0.1:<GUI端口>/api/voice-say/render \
  -H 'content-type: application/json' \
  -d '{"text":"你不要再这样了,我真的会难过的。","styles":["choked"],"guidanceScale":1.5}'

配置

存在 <数据根>/config.json(默认 ~/.dsh-voice),也可以在设置页改。

键 默认 说明
instructions 傲娇那句 主参数:怎么写就怎么说
guidanceScale 1 主参数:听不听这句话(夹 1~3)
seed 42 可复现
styles [] 选中的风格 id
defaultVoice "" 默认音色(音色库里的名字)
qqVoice "" QQ 桥接专用音色:只在 surface=qq 时生效,压过 defaultVoice;空 = 跟随默认
refAudio / refText "" 参考音色(不编成音色也能直接用)
maxChars 300 单次合成字数上限
cli / model / voicesDir / inboxDir 自动探测 引擎路径
device / gpuIndex vulkan / 1 本机 0 是核显、1 是独显
director.enabled true 合成前是否过导演
director.transport dsh dsh = DeepSeek 窗口里的专用会话;api = 直连 chat/completions
director.dshBaseUrl 自动 DSH 地址(不填就自动跟)
director.sessionId 自动 导演专用会话
director.timeoutMs 20000 导演超时就退回原文照念
lifeHome / emotionHome / bridgeState 自动探测 人设 / 七情 / 聊天记录的位置
asr.enabled true 没给文字时是否自动听写
asr.python 自动探测 装了 faster-whisper 的 python;不填就按顺序找
asr.model small 听写模型(small 中英都够用;base/tiny 更快但中文差)
asr.language zh 语言;auto 让引擎自己判
asr.hfHome 自动 模型缓存目录(复用已有的就不下载)
asr.timeoutMs 180000 单次听写超时

已知限制

  • 引擎本身没有 ASR,文字参考由插件侧补:默认用本机 faster-whisper(首次要一份 python 环境); 认错字时音色会略偏,在 text 里手改那句话即可。
  • 单次合成建议 ≤300 字,长句按标点自动切。
  • QQ 语音条还要过网关 SILK 转码(低码率削高频),听起来会比 WAV 略闷——这条改不了。
  • 第一次合成要加载模型(约 2.4 GB GGUF),会慢十几秒;之后走缓存。
  • 音色文件被删/改名后不会自动降级:按设计就是报错(提示去重新编码或换一个)。

Changelog

0.9.0

  • 去掉「逐字转写」必填:上传音频 / 设参考音色 → 只给音频就行,文字由插件自己听出来。
    • 新增 lib/asr.mjs + lib/asr_once.py:本地离线听写(faster-whisper),只在「没给文字」时才跑, 515 秒参考音频约 25 秒出结果。
    • 听的对象是规整之后、已截到 maxRefSeconds 的 24k 单声道那一段 —— 引擎吃到什么就听什么。
    • 引擎查找顺序:asr.python → DSH_VOICE_ASR_PYTHON → <数据根>/asr-venv → ~/.dsh/bili-duty/.venv-asr(刷B站插件带的那份)→ PATH 里的 python;逐个真跑 import faster_whisper 验身。
    • 模型缓存复用已有 HF 缓存(HF_HOME),不重复下载;默认走 hf-mirror.com。
    • 新增工具 voice_asr(status / transcribe / setup);设置页两个输入框改成「可选:留空就自动听写」。
    • text 仍可手动给(想钉死某句文字时用),其余行为不变。

0.8.0

  • 新增 qqVoice(QQ 桥接专用音色):设置页「参考音色」卡片里一个下拉框 + 「设成 QQ 音色」。 单一设置、没有备选;surface=qq 时压过默认音色。
  • 新增 GET /bridge、POST /bridge-voice、工具 voice_bridge。
  • 新增 lib/singer.mjs:嗓子判断收成唯一一处(explicit > qq > default > ref > none), status 输出 singer / bridge 两段,render 返回 renderedWith.singerSource。
  • 修 bug「设了音色还是用默认嗓子」:根因是 QQ 桥接调 /render、/voice-plan 时从来没把 voice 传进来,插件只能用自己的 defaultVoice/参考音频。现在桥接会转发 voice 并带 surface:'qq', 且点名的音色优先于插件裁决结果。
  • 修 bug「默默换嗓子」:设了音色但 .breeze 文件不在时,/render 直接 500, QQ 侧返回「发语音失败:音色「X」的 .breeze 文件不在了…」,不再悄悄发一把默认嗓子。
  • 界面去掉「备用」字样:没在用的参考音频不再标「备用」,只标「正在用」。

License

MIT