Qwen3-TTS全家桶开源上线!

千问Qwen
Qwen3-TTS 多码本全系列模型均已开源,包含1.7B和0.6B两种尺寸,1.7B可以达到极致性能,具有强大的控制能力,0.6B均衡性能与效率。模型覆盖 10 种主流语言(中文、英文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语)及多种方言音色。

Qwen3-TTS是由Qwen开发的一系列功能强大的语音生成,全面支持音色克隆、音色创造、超高质量拟人化语音生成,以及基于自然语言描述的语音控制,为开发者与用户提供最全面的语音生成功能。

依托创新的 Qwen3-TTS-Tokenizer-12Hz 多码本语音编码器,Qwen3-TTS 实现了对语音信号的高效压缩与强表征能力,不仅完整保留副语言信息和声学环境特征,还能通过轻量级的非 DiT 架构实现高速、高保真的语音还原。Qwen3-TTS 采用 Dual-Track 双轨建模,达成了极致的双向流式生成速度,首包音频仅需等待一个字符。

Qwen3-TTS 多码本全系列模型均已开源,包含1.7B和0.6B两种尺寸,1.7B可以达到极致性能,具有强大的控制能力,0.6B均衡性能与效率。模型覆盖 10 种主流语言(中文、英文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语)及多种方言音色,满足全球化应用需求。

同时,模型具备强大的上下文理解能力,可根据指令和文本语义自适应调整语气、节奏与情感表达,并对输入文本噪声的鲁棒性有显著提升。目前已经在Github上开源同时也可通过Qwen API体验。

模型列表

1.7B模型

0.6B模型

Qwen3-TTS特性

主要特点:

  • 强大的语音表征:基于自研 Qwen3-TTS-Tokenizer-12Hz,实现语音信号的高效声学压缩与高维语义建模,完整保留副语言信息及声学环境特征,并可通过轻量级的非 DiT 架构实现高效、高保真语音还原。

  • 通用的端到端架构:采用离散多码本 LM 架构,实现语音全信息端到端建模,彻底规避传统 LM+DiT 方案的信息瓶颈与级联误差,显著提升模型的通用性、生成效率与效果上限。

  • 高极致的低延迟流式生成:基于创新的 Dual-Track 混合流式生成架构,单模型同时兼容流式与非流式生成,最快可在输入单字后即刻输出音频首包,端到端合成延迟低至 97ms,满足实时交互场景的严苛需求。

智能的文本理解与语音控制:支持自然语言指令驱动的语音生成,灵活调控音色、情感、韵律等多维声学属性;同时深度融合文本语义理解,自适应调节语气、节奏、情感与韵律,实现“所想即所听”的拟人化表达。

模型性能

我们对 Qwen3-TTS 在音色克隆、创造、控制等方面进行了全面评估,结果显示其在多项指标上都达到了SOTA性能。具体来说:

  • 音色创造任务上,Qwen3-TTS-VoiceDesign 在 InstructTTS-Eval 中指令遵循能力和生成表现力都整体超越 MiniMax-Voice-Design 闭源模型,并大幅领先其余开源模型。

  • 在音色控制任务上,Qwen3-TTS-Instruct 不仅具备单人多语言的泛化能力,平均词错率 2.34%;同时具备保持音色的风格控制能力,InstructTTS-Eval 取得了 75.4% 的分数;此外,也展现出卓越的长语音生成能力,一次性合成 10 分钟语音的中英词错率为 2.36/2.81%。

  • 在音色克隆任务上,Qwen3-TTS-VoiceClone 在 Seed-tts-eval 上中英文克隆的语音稳定性表现上均超越MiniMax和SeedTTS;在 TTS multilingual test set 上 10 个语项上取得了 1.835% 的平均词错误率和 0.789 的说话人相似度,超越 MiniMax 和 ElevenLabs;跨语种音色克隆也超越 CosyVoice3 位居 SOTA。

Tokenizer性能

我们对 Qwen-TTS-Tokenizer 进行了语音重构评估,在LibriSpeech test-clean set的结果显示其在关键指标上都达到了的SOTA水平。具体来说,在感知语音质量评估(PESQ)中,Qwen-TTS-Tokenizer在宽带和窄带上分别取得了3.21和3.68的分数,大幅领先同类tokenizer。

在短时客观可懂度(STOI)以及UTMOS上,Qwen-TTS-Tokenizer取得了0.96和4.16的分数,展现出卓越的还原质量。在说话人相似度上,Qwen-TTS-Tokenizer取了0.95的分数,显著超越对比模型,表明其近乎无损的说话人信息保留能力。

本文来源:千问Qwen

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关文章