登录
首页 >  科技周边 >  业界新闻

微软开源VibeVoice,支持4人同声输出

时间:2025-08-30 08:43:19 311浏览 收藏

大家好,我们又见面了啊~本文《微软开源VibeVoice,支持4人同时发声》的内容中将会涉及到等等。如果你正在学习科技周边相关知识,欢迎关注我,以后会给大家带来更多科技周边相关文章,希望我们能一起进步!下面就开始本文的正式内容~

微软近日正式开源了其最新研发的文本转语音(TTS)模型 VibeVoice-1.5B,该模型以“超长时长、多说话人、高压缩比”为核心亮点,能够单次生成最长90分钟的连续语音流,并支持最多4位不同说话人同时发声,适用于复杂对话场景与长内容播报。

微软开源文本转语音模型 VibeVoice,支持最多 4 位说话人同时发声

VibeVoice-1.5B 的关键技术突破在于其独特的双 Tokenizer 架构设计,模型由两个既独立又协同工作的模块组成。

微软开源文本转语音模型 VibeVoice,支持最多 4 位说话人同时发声

1. 声学 Tokenizer:专注声音特征保留与高效压缩

该模块采用基于变分自编码器(VAE)的对称编码-解码结构,有效缓解了传统 VAE 在处理长语音序列时常见的“方差坍缩”问题,从而更好地保持语音多样性。

通过融合7阶段改进型 Transformer 与 1D 深度可分离因果卷积,声学 Tokenizer 可将 24kHz 高采样率的原始音频信号压缩为每秒仅 7.5 个潜在向量,实现高达 3200 倍的压缩比,相较主流 Encodec 模型效率提升达 80 倍。

2. 语义 Tokenizer:精准提取与文本对齐的语义信息

其架构沿用声学 Tokenizer 编码器结构,但去除了 VAE 中的随机采样机制,确保语义表示的确定性与稳定性。

在训练阶段,语义 Tokenizer 通过自动语音识别(ASR)任务进行监督学习,强化语音与文本之间的对齐能力;推理时则舍弃解码器部分,使整体推理速度提升约 40%。

这种双轨并行的设计策略,使得模型既能高度还原语音的自然音色、语调和节奏,又能确保输出内容与输入文本在语义层面高度一致,显著改善了传统 TTS 模型中常见的“情绪与音色错位”现象。

开源地址:

https://github.com/microsoft/VibeVoice
https://huggingface.co/microsoft/VibeVoice-1.5B

今天带大家了解了的相关知识,希望对你有所帮助;关于科技周边的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>