Confucius4: 网易有道开源的多语言语音克隆与配音模型

网易有道开源的多模态语音克隆与日语配音示例，支持14种语言、3秒克隆，本地运行无需API。

概览

网易有道宣布开源其语音克隆与多模态模型 Confucius4，重点在于本地化运行与跨语种配音能力。核心亮点在于：

• 跨语种且支持口音的语音克隆：用自己的声音讲日语，听起来像地道日本人。需时仅3秒克隆，覆盖14种语言。
• 本地化运行：可在本地部署，提供 54G 大模型资源，不依赖外部 API。
• 在线试玩与资源：
  • 在线试玩（演示入口）：http://confucius4-tts.youdao.com/gradio
  • 多模态模型仓库：http://huggingface.co/netease-youdao/Confucius4
  • 语音模型源码/实现：http://github.com/netease-youdao/Confucius4-TTS

其他信息：龙虾智能体也参与开源。

适用场景

• 自研配音/角色朗读
• 跨语言播音、配音制作
• 本地化 AI 试验与部署

使用要点

1. 选择语言：14 种语言任意选择
2. 进行克隆：3 秒内完成声音克隆
3. 在本地部署：确保有足够磁盘和算力支持 54G 模型
4. 通过在线演示评估效果

链接与资源

• 在线试玩：http://confucius4-tts.youdao.com/gradio
• 模型与页面：
  • 多模态模型： http://huggingface.co/netease-youdao/Confucius4
  • 语音模型源码： http://github.com/netease-youdao/Confucius4-TTS

下载链接

GitHub：
http://github.com/netease-youdao/Confucius4-TTS