dsh-any-audio
Verifieddsh-any-audio · v0.2.0 · MIT · Web UI
An agent audio studio for DeepSeek Harness: compose, narrate, add effects, mix, fine-tune every track on a timeline.
Install
dsh plugin add dsh-any-audio Confirm the layer applied with dsh --profile default --dump-config — see the install guide.
Source
Tags
Creators
Readme
AnyAudio
让 Agent 做出真正的声音。
An agent-driven audio production toolkit for music, sound effects, narration, and mixing.
一套由 Agent 驱动的音频制作工具,涵盖音乐、音效、配音与混音,让 Agent 具备音频制作能力。
AnyAudio 是面向 AI Agent 的音频制作工具。它把"声音创意"翻译成可执行的音频工程:写音符并渲染真实乐器、写台词并生成高质量语音、注入音效并编排结构、完成多轨混音,再进剪辑台逐轨试听和精调。视频配乐、场景音效、独立音乐、有声书、播客、游戏音效,全部都可以用它做出来。
Agent 负责创意与编排,AnyAudio 提供将声音创意转化为实际音频作品所需的工具与执行能力。
剪辑台里的一个真实工程:旁白、钟琴、马林巴、拨弦低音、暖垫、轻打击各占一轨,六轨十一段素材,语音与音乐共用同一条时间轴
它解决什么问题
模型已经能写代码合成声音,但很难让它听起来像乐器、像录音、像成品。AnyAudio 补的是这一段:
- 真实乐器音色:用本地音源采样渲染,而不是手写振荡器。
- 音符直接落在时间轴上:精确到毫秒,音乐、旁白、音效共用同一个时钟。
- 混音自动平衡:按顺序放置多轨,支持每轨增益、声像与淡入淡出;把某轨标为
narration时,插件会在人声出现时自动下压其它总线;母带做峰值归一,整体不会削波。调完可以逐段试听,不满意再改。 - 音效与配音:音效既可取自已安装音源的采样,也可程序化合成;语音支持 Edge TTS 与 MiMo-V2.5-TTS(官方免费中)。
先听为快
两组素材内容完全相同,一组不用插件、一组用插件。建议先听,再看数字。
GitHub 默认静音播放内嵌视频,请点一下播放器右下角的喇叭图标开启声音。
《Fly Me to the Moon》bossa nova 版:Agent 自行编曲改编
同一段 57 秒的 bossa nova。A 版不使用 AnyAudio,由模型直接写 NumPy 合成;B 版由 AnyAudio 用本地音源渲染。编曲相同,只换声音来源。
| A 版 — 不用 AnyAudio | B 版 — 用 AnyAudio | |
|---|---|---|
| 峰值 / 平均电平 | -1.5 dBFS / -19.9 dB | -1.5 dBFS / -20.8 dB |
| 波峰因数 | 18.4 dB | 19.3 dB |
| 频谱质心 | 1,356 Hz | 1,890 Hz |
| 4 kHz 以上能量 | 6.8% | 11.6% |
音乐 A 版 — 波形与频谱图 | 音乐 B 版 — 波形与频谱图 |
| https://github.com/user-attachments/assets/9f496f67-0bd7-496e-96d9-4c2ccb4a28eb | https://github.com/user-attachments/assets/86ac18e0-f530-452b-9711-7f7471855b80 |
B 版使用音源素材,声音更真实,高频细节更多、动态余量更大。
五句对白的雨夜场景:语音与音效
同一个 24 秒场景,五句对白,加上雨声、脚步声、开门声,做两遍。台词和时间完全一样。
| A 版 — 不用 AnyAudio | B 版 — 用 AnyAudio | |
|---|---|---|
| 峰值 / 平均电平 | -1.5 dBFS / -27.5 dB | -1.5 dBFS / -26.1 dB |
| 波峰因数 | 26.0 dB | 24.6 dB |
| 频谱质心 | 5,629 Hz | 4,401 Hz |
| 4 kHz 以上能量 | 55.3% | 44.0% |
语音与音效 A 版 — 波形与频谱图 | 语音与音效 B 版 — 波形与频谱图 |
| https://github.com/user-attachments/assets/c4ae1a17-d7bc-4db1-b96a-be244fd75358 | https://github.com/user-attachments/assets/4fca1c9e-b373-4ab7-b18b-afe3e81ad102 |
B 版人声情绪和节奏更贴合场景,音效更真实,细节更多。
剪辑台
一个可视化工作台。Agent 生成的音乐、配音、音效落进来之后,你能看到每一轨的波形,拖动位置、调音量、加淡入淡出、逐段试听。
传统 DAW 是给人用的,AI 只是辅助。这个剪辑台反过来:Agent 负责生成和批量调整,人负责给 Agent 下指令,也可以亲自试听并精调。 某句台词晚了半秒、某个音效盖住了人声,亲手改比重新生成一遍快得多。
人和 Agent 在同一条时间轴上协作:选中一段点「添加到对话」,那段就变成一句引用,在它后面写你要怎么改,Agent 就知道你说的是哪儿;反过来也可以先自己调一个片段当样板,试听满意了,再让 Agent 照这个批量改其他片段。
安装
需要 Node.js 22.19+(22.x)或 24+(DSH 运行时自带);ffmpeg 只在生成语音和封装视频时需要。
dsh plugin --profile desktop add dsh-any-audio
如果 DSH 启动的不是 desktop profile,把 desktop 换成实际使用的 profile 名。装完重启一次 DSH,它才会加载这个插件。
之后在 DSH 设置里打开 AnyAudio 页面,安装音源(默认推荐 GeneralUser GS)、切换语音引擎、调整混音默认值。安装包本身不带任何 SoundFont。
从源码安装
本地开发时用克隆仓库的方式,而不是从 npm 安装:
git clone https://github.com/cloudoyx/any-audio.git
cd any-audio
npm install && npm run font
dsh plugin --profile desktop add "<克隆目录的绝对路径>"
路径要写绝对路径(Windows 上形如 D:/any-audio),添加后同样要重启一次 DSH。npm run font 会把两套建议音源(约 72 MB)下载进共享音源库,适合想在打开设置页之前就把音源准备好的情况。
浏览器端代码是构建产物:改 src/client/ 下的源码,跑 npm run build 重新生成 DSH 加载的那一个 bundle(lib/client.js)。从 npm 安装时这个文件已经打包好,不需要构建;只有从克隆安装才多这一步。
克隆下来的仓库还带一个免 DSH 的离线渲染器,适合先单独把谱子调好:
node scripts/anyaudio-cli.mjs render score.json out.wav
快速开始
生成视频时像平时一样提需求,Agent 会自己调用插件进行音频渲染:
做一个 30 秒的水墨动画:石缝里的一粒种子长成树苗。配一点中国风音乐和风声,不要旁白。
可以随着调整音乐细节和混音逻辑:
古筝主旋律,弦乐铺底,大提琴走低音;人声出现时把音乐压下去。
想写歌时说清楚需求,直接调用:
帮我写一首日式 RPG 的战斗曲目,可无限循环,30 秒到 60 秒。乐器用鼓组 + 电吉他 + 弦乐。
你甚至可以从零开始制作有声小说:
帮我把《三国演义》第一章做成有声小说,旁白低沉浑厚,角色音色要有所区分,配一些简单的配乐和音效即可。
做完之后打开顶部的剪辑台,声音已经按轨摆好了:
把第三句台词往后挪半秒,再把整条旁白轨降 2 dB。
音源
仓库不打包 SoundFont。插件提供两套建议安装的音源——GeneralUser GS 作为默认基础音源,MuseScore General 作为额外的通用管弦乐音源——也支持加载放入 ~/.dsh/anyaudio/fonts 的兼容 SoundFont 音源(.sf2、.sf3、.dls)。该目录是整台机器共用的音源库,所有项目与 Agent 会话共用同一份,装过一次即可处处可用。
| 音源 | 体积 | 许可证 | 获取方式 | 说明 |
|---|---|---|---|---|
| GeneralUser GS | 32 MB | GeneralUser GS License v2.0 | 一键 | 建议安装 — 默认基础音源与兜底;唯一保证带鼓组的音源 |
| MuseScore General | 40 MB | MIT | 一键 | 建议安装 — 额外的通用管弦乐音源;309 个预设,弦乐与合奏更完整 |
| Upright Piano KW | 27 MB(7z) | CC0 1.0 | 手动 | 单乐器钢琴库,只用于钢琴轨 |
| Electric Guitar Clean | 446 MB(解压后) | CC0 1.0 | 手动 | 单乐器电吉他库 |
两套都装覆盖最广:GeneralUser GS 仍是默认音源,MuseScore General 参与管弦乐族的自动选择。后两套的下载地址与解压说明在设置页和 THIRD_PARTY_NOTICES.md;解压后保持文件名不变,插件才能识别。
语音 TTS
两个引擎,一个接口:
| 引擎 | Key | 说明 |
|---|---|---|
| Edge TTS(默认) | 不需要 | 免费,走 Microsoft 公共接口;需要 ffmpeg 把 MP3 转成 WAV;可能被限流,插件会重试并给出明确错误。 |
| MiMo-V2.5-TTS(可选) | 普通 Open Platform API Key | 音色与风格更多;Key 存在 DSH 凭据里,只在宿主侧读取。官方免费中,可自行注册 API Key。 |
MiMo 是手动选项:保存 Key 不会自动切换默认引擎,要显式选择。默认音色 mimo_default 由服务端集群决定,不同区域可能不同。本版本只支持普通 Open Platform Key。
已知限制
- 工程规模上限:单个工程最长 15 分钟、最多 20 轨,超出会直接报错。
- 这版只剪音频:视频可以作为参考画面一起放进来,但画面上不做裁剪、拼接或转场。
- 轨道里必须是成品音频:放在时间轴上的每一段都是已经渲染好的 wav/mp3,可以单独试听;MIDI、乐谱和参数不会直接进时间轴。
- 只支持 SoundFont:不支持 SFZ、Kontakt、VST;转换其它音源格式不在本版范围。
- 没有逐音符包络控制:发音与释放由预设决定;断奏用短音符加缝隙,强弱用力度与表情控制。
- 中国乐器是 GM 近似:
guzheng映射 Koto、dizi映射 Flute、erhu映射 Fiddle;专用音源会更好。
支持项目
AnyAudio 是一个独立开源项目。如果它对你的工作或创作有所帮助,欢迎请我喝杯咖啡,支持后续开发。
无论金额多少,都感谢你的支持。
微信支付
许可证
代码采用 MIT,见 LICENSE。
SoundFont 与第三方组件沿用各自许可证,见 THIRD_PARTY_NOTICES.md。本仓库不分发任何音源库。
音乐 A 版 — 波形与频谱图
音乐 B 版 — 波形与频谱图
语音与音效 A 版 — 波形与频谱图
语音与音效 B 版 — 波形与频谱图