dsh-voice-say
已验证dsh-voice-say · v0.9.0 · MIT · Web 界面
dsh-voice-say:把一句话合成语音(本机 Breeze TTS 2,离线免费)。上传一段音频就是嗓子——逐字转写可以不用手打,插件用本地 faster-whisper 自动听写(也可自己指定 python / 装识别环境);主参数两个——instructions(自然语言写「怎么说话」)与 guidanceScale;18 个风格可叠加;音色可存库、可指定 QQ 桥接用哪个嗓子(设了就只认它,文件丢了直接报错不退回默认)。合成前「读音导演」按人设、当下情绪与对话情节重排标点(只动标点不改字)。Q
安装
dsh plugin add dsh-voice-say 用 dsh --profile default --dump-config 确认 layer 已生效 —— 参见安装指南。
源码
发布到 npm 但没有公开仓库。安装前请检查包内容。
标签
说明文档
dsh-voice-say
把一句话合成成语音。只有一条通道:本机 Breeze TTS 2(离线、免费、走 GPU)。
两条设计原则:
- 调声音不靠调快慢。 只有两个主参数:
instructions—— 用自然语言写「怎么说话」(情绪、语气、停顿、哑不哑);guidanceScale—— 模型多听这句话(1.0 完全不听,1.2~1.6 最常用,>2 开始发毛)。 语速、音高这类硬参数不是主要手段——这个引擎里根本没有旋钮,全靠这句话带。
- 试听和 QQ 里收到的,是同一个文件。 插件把「怎么念 + 念出来」一步做完(
POST /render), QQ 桥接直接拿这个 wav 当语音条发出去;除了 QQ 网关的 SILK 转码(低码率削高频),逐字节相同。
装
npm i dsh-voice-say@latest # 或 dsh plugin --profile <你的 profile> add dsh-voice-say@latest
装完完全退出 DSH 再打开(bundle 只在宿主启动时加载)。设置页 → 左侧「语音合成」。
三个功能区
1. 参考音色(你的嗓子)
- 选一段 5~15 秒、干净、单人的音频 —— 直接把音频丢进来就行,不用再手打逐字转写。
- 插件会用本地离线听写(faster-whisper,藏在
lib/asr_once.py)先把这段音频听成文字, 再交给引擎对齐音色;听写结果会一起显示出来,想改再改(text依然可以手动指定)。 - 点「就用这段当嗓子」→ 插件用 ffmpeg 规整成 24k 单声道,存到
<数据根>/ref/ref-24k.wav。 - 之后试听和 QQ 都用它。不想编成音色、只想临时用一次,这就是最省事的路。
- 没设参考音色时会借用 QQ 桥接那段参考音频(
qq-bridge-main里socialV2.voice.clone指向的ref/ref-24k.wav),所以哪怕什么都不传,试听和 QQ 也是同一个嗓子。
1.1 QQ 桥接用的嗓子(0.8.0 新增)
同一张卡片里还有一个下拉框:QQ 桥接用的嗓子。
- 选中「音色库」里的某个音色 → 「设成 QQ 音色」→ 以后 QQ 里发语音就是这一把, 网页试听用什么跟它无关。
- 只有这一个设置,没有「备用嗓子」。 设了它,
surface=qq的请求只认它; 那个.breeze文件要是被删了/改名了,直接把错误抛回去(render返回 500, QQ 侧报「发语音失败:音色「X」的 .breeze 文件不在了…」),不会悄悄换成默认嗓子。 - 选「(不指定:跟随默认嗓子)」= 取消:QQ 跟网页走同一条优先级。
2. 调节音色(怎么说话)
- 风格:18 个可叠加的预设——傲娇 / 高冷 / 撒娇 / 温柔 / 元气 / 慵懒 / 疲惫 / 哽咽 / 敷衍 /
生气 / 害羞 / 耳语 / 正经播报 / 委屈 / 神秘低语 / 兴奋 / 哄人 / 面瘫。点一下加、再点一下减。
风格不是一个新参数:它就是一段 instructions + 一个建议强度,叠加时按顺序拼成一条
--instruction,强度取最大;你手写instructions会作为「补充」拼在最后。 - instructions:想怎么说就怎么写,例:
像刚睡醒,声音有点哑,别太用力。 - guidanceScale:滑杆 1.0~3.0;选了风格时右边会出现「建议 1.45」这类提示,点一下就用它。
- seed:同 seed + 同文字 + 同设置 = 同一条音频(可复现)。
3. 试听
- 输入文字 → 「合成并试听」。走的就是
POST /render——和 QQ 桥接调用的同一个接口。 - 结果里能看到:文件、时长、大小、实际用的 guidance、导演改过标点没、念的是哪句(
spoken)。 - 勾选框「合成前先过导演台」= 这句话先交给读音导演重排标点。
嗓子只有一个裁决处
以前「设了音色还是老声音」是两处判断打架:插件按 defaultVoice 挑,QQ 桥接又自己挑一次。
0.8.0 把判断收成一处(lib/singer.mjs),优先级只有五行:
| 顺序 | 来源 | 什么时候生效 |
|---|---|---|
| 1 | 调用方点名的音色 | 传了 voice(qq_say_voice 的 voice、工具参数、/render 的 body) |
| 2 | QQ 桥接音色 qqVoice |
仅 surface=qq(QQ 桥接发语音时自己带上) |
| 3 | 默认音色 defaultVoice |
上面都没有 |
| 4 | 参考音频 | 没设任何音色:你自己的 refAudio,没有就借 QQ 桥接那段 |
| 5 | 引擎默认 | 什么都没有(提示「还没设嗓子」) |
规则:设了音色却找不到 .breeze 文件 ⇒ 报错,不换嗓子。 宁可发不出去,也不要用错声音。
读音导演(导演台)
合成之前,先把台词交给和 QQ 同一个大脑(DSH 宿主当前模型)读一遍,让它结合:
| 看什么 | 从哪来 |
|---|---|
| 人设 | identity.json(名字、9 项人格参数、原则) |
| 此刻情绪 | params.json(七情当前值、语言指纹、说话习惯) |
| 当时情节 | social-v2.json(正在聊什么、上次被什么叫醒、最近几句) |
然后只重排标点(逗号句号省略号破折号),一个字都不许改。
- 导演台默认开在 DeepSeek 窗口里的专用会话(
session/page+session/prompt轮询), 你可以在 GUI 里直接看到它想的过程;「换一个窗口」会新建一个专用会话。 - 地址自动跟随:优先
director.dshBaseUrl→$DSH_BASE_URL→ 桥接config.json的dsh.baseUrl→ 最近一次访问插件的那个 Host(DSH 端口每次重启都变,这条兜底)。 - 四道保底:逐字核对 → 不符就重来一次 → 还不符就用「盖章法」把标点盖回原文 → 再不行就用原文照念。 导演挂了不会让合成失败。
- 不想要:设置页取消勾选,或调用时传
direct: false;通道切回直连 API 用director.transport = "api"。
工具(给模型用的)
| 工具 | 干什么 |
|---|---|
voice_say |
合成一段语音(text、可选 voice / styles / instructions / guidanceScale / seed / direct / scope) |
voice_preview |
用当前设置试听一句 |
voice_direct |
只算标点不合成(看看导演会怎么断句) |
voice_styles |
列出/搜索 18 个风格 |
voice_list |
列出音色库 + 当前网页/QQ 各用哪把嗓子 |
voice_bridge |
查看/设置/取消「QQ 桥接用的嗓子」({name} / {clear:true},只有一个,无备选) |
voice_add |
上传参考音频 → 编成音色(文字可省,自动听写) |
voice_asr |
自动听写:{action:"status"} / {action:"transcribe",audio} / {action:"setup"} |
voice_delete |
删音色 |
HTTP
前缀 /api/voice-say,同源(只认 127.0.0.1 / localhost / [::1])。
| 接口 | 说明 |
|---|---|
GET /status |
版本、引擎就绪、音色数、当前参考音色(reference.refAudio/from/exists/used)、singer(网页这次用谁)、bridge(QQ 桥接用谁)、导演状态 |
GET /styles |
18 个风格 + 当前选中的 |
POST /config |
改设置(白名单字段,含 qqVoice) |
GET /voices · POST /voices · POST /voices/delete |
音色库增删查 |
POST /voices/default |
{name} 设默认音色(网页与工具用它;QQ 没单独指定时也用它);{name:""} 取消 |
GET /bridge · POST /bridge-voice |
「QQ 桥接用的嗓子」:查看(带音色列表)/ {name} 设置、{name:""} 取消;未知音色 → 404 |
POST /ref |
{filename,data(base64),text} 上传参考音色;{src,text} 用本机路径;{clear:true} 清除 |
POST /render |
一步到位:算好怎么念 + 合成文件,返回 {text, spoken, file, path, url, seconds, guidanceScale, directed, renderedWith{...}} |
POST /synth · POST /preview |
只合成 / 试听 |
GET /audio?name= |
取产物(wav) |
POST /voice-plan |
只出「怎么念」不合成({text, styles, guidanceScale, direct, scope}) |
GET /direct/context · POST /direct · POST /direct/cache |
看导演吃到的上下文 / 只算标点 / 清缓存 |
GET/POST /direct/session |
看导演窗口 / {reset:true} 换一个 |
POST /render 示例:
curl -s -X POST http://127.0.0.1:<GUI端口>/api/voice-say/render \
-H 'content-type: application/json' \
-d '{"text":"你不要再这样了,我真的会难过的。","styles":["choked"],"guidanceScale":1.5}'
配置
存在 <数据根>/config.json(默认 ~/.dsh-voice),也可以在设置页改。
| 键 | 默认 | 说明 |
|---|---|---|
instructions |
傲娇那句 | 主参数:怎么写就怎么说 |
guidanceScale |
1 | 主参数:听不听这句话(夹 1~3) |
seed |
42 | 可复现 |
styles |
[] |
选中的风格 id |
defaultVoice |
"" |
默认音色(音色库里的名字) |
qqVoice |
"" |
QQ 桥接专用音色:只在 surface=qq 时生效,压过 defaultVoice;空 = 跟随默认 |
refAudio / refText |
"" |
参考音色(不编成音色也能直接用) |
maxChars |
300 | 单次合成字数上限 |
cli / model / voicesDir / inboxDir |
自动探测 | 引擎路径 |
device / gpuIndex |
vulkan / 1 |
本机 0 是核显、1 是独显 |
director.enabled |
true |
合成前是否过导演 |
director.transport |
dsh |
dsh = DeepSeek 窗口里的专用会话;api = 直连 chat/completions |
director.dshBaseUrl |
自动 | DSH 地址(不填就自动跟) |
director.sessionId |
自动 | 导演专用会话 |
director.timeoutMs |
20000 | 导演超时就退回原文照念 |
lifeHome / emotionHome / bridgeState |
自动探测 | 人设 / 七情 / 聊天记录的位置 |
asr.enabled |
true |
没给文字时是否自动听写 |
asr.python |
自动探测 | 装了 faster-whisper 的 python;不填就按顺序找 |
asr.model |
small |
听写模型(small 中英都够用;base/tiny 更快但中文差) |
asr.language |
zh |
语言;auto 让引擎自己判 |
asr.hfHome |
自动 | 模型缓存目录(复用已有的就不下载) |
asr.timeoutMs |
180000 | 单次听写超时 |
已知限制
- 引擎本身没有 ASR,文字参考由插件侧补:默认用本机 faster-whisper(首次要一份 python 环境);
认错字时音色会略偏,在
text里手改那句话即可。 - 单次合成建议 ≤300 字,长句按标点自动切。
- QQ 语音条还要过网关 SILK 转码(低码率削高频),听起来会比 WAV 略闷——这条改不了。
- 第一次合成要加载模型(约 2.4 GB GGUF),会慢十几秒;之后走缓存。
- 音色文件被删/改名后不会自动降级:按设计就是报错(提示去重新编码或换一个)。
Changelog
0.9.0
- 去掉「逐字转写」必填:上传音频 / 设参考音色 → 只给音频就行,文字由插件自己听出来。
- 新增
lib/asr.mjs+lib/asr_once.py:本地离线听写(faster-whisper),只在「没给文字」时才跑, 515 秒参考音频约 25 秒出结果。 - 听的对象是规整之后、已截到
maxRefSeconds的 24k 单声道那一段 —— 引擎吃到什么就听什么。 - 引擎查找顺序:
asr.python→DSH_VOICE_ASR_PYTHON→<数据根>/asr-venv→~/.dsh/bili-duty/.venv-asr(刷B站插件带的那份)→ PATH 里的 python;逐个真跑import faster_whisper验身。 - 模型缓存复用已有 HF 缓存(
HF_HOME),不重复下载;默认走hf-mirror.com。 - 新增工具
voice_asr(status/transcribe/setup);设置页两个输入框改成「可选:留空就自动听写」。 text仍可手动给(想钉死某句文字时用),其余行为不变。
- 新增
0.8.0
- 新增
qqVoice(QQ 桥接专用音色):设置页「参考音色」卡片里一个下拉框 + 「设成 QQ 音色」。 单一设置、没有备选;surface=qq时压过默认音色。 - 新增
GET /bridge、POST /bridge-voice、工具voice_bridge。 - 新增
lib/singer.mjs:嗓子判断收成唯一一处(explicit > qq > default > ref > none),status输出singer/bridge两段,render返回renderedWith.singerSource。 - 修 bug「设了音色还是用默认嗓子」:根因是 QQ 桥接调
/render、/voice-plan时从来没把voice传进来,插件只能用自己的defaultVoice/参考音频。现在桥接会转发voice并带surface:'qq', 且点名的音色优先于插件裁决结果。 - 修 bug「默默换嗓子」:设了音色但
.breeze文件不在时,/render直接 500, QQ 侧返回「发语音失败:音色「X」的 .breeze 文件不在了…」,不再悄悄发一把默认嗓子。 - 界面去掉「备用」字样:没在用的参考音频不再标「备用」,只标「正在用」。
License
MIT