VoxCPM2：开源多语言语音合成与声线克隆的革命

清华 OpenBMB 推出 VoxCPM2，2B 参数、30 种语言/9种中文方言、0.13 实时率，直接在连续潜空间扩散自回归实现高保真语音克隆。

概要

开源 TTS 领域再掀浪潮，清华 OpenBMB 发布 VoxCPM2。该系统在不依赖离散 token 的情况下，通过在连续潜空间的扩散自回归实现语音合成，覆盖多语言与多方言，声线克隆能力出众，且可控制情绪、语速、口癖等参数。

关键特性

• 语言与方言
  • 支持 30 种语言，含普通话、粤语、闽南语等中文方言
• 性能指标
  • RTX 4090 实时率约 0.13，流式输出几乎无显著延迟
• 不依赖参考音频
  • 仅用自然语言描述即可输出声音
• 声音控制能力
  • 可调情绪、语速、口癖，甚至实现结巴效果
• 高级克隆模式
  • 丢入参考音频和文本，能提取并复现喘气节奏等细节
• 许可与适用性
  • Apache 2.0 许可，商用不设卡，GitHub 星数破万，趋势榜长期占据

应用场景

• 播客、有声书、游戏配音、短视频旁白等
• 开源能力在实用性与可定制性方面甚至超过部分付费方案

可能的风险与思考

• 创作者门槛被进一步降低，可能带来盗用与滥用的风险
• 真实性与道德边界需要持续讨论与规制

参考资源

• 官方代码与说明：
  • https://github.com/OpenBMB/VoxCPM

该项技术为开源实现，适用于研究与创作落地，关注伦理合规与版权保护。

下载链接

GitHub：
https://github.com/OpenBMB/VoxCPM