语音上手难度 🔧 进阶#VibeVoice#微软#语音识别#ASR#语音合成#TTS#说话人分离#流式转写#GitHub

VibeVoice · 开源前沿语音 AI,TTS 与 ASR 一体

56k Star:单次转写 60 分钟音频,90 分钟 4 人对话语音合成

指标同步中,请稍后刷新查看 在 GitHub 查看源码

5 分钟上手

ASR-7B 建议 16GB 显存起;CPU 可跑 BitNet 量化版(1.58GB),实时 TTS 用 0.5B
# 模型与文档
# ASR: https://huggingface.co/microsoft/VibeVoice-ASR
# TTS: https://huggingface.co/microsoft/VibeVoice-1.5B

git clone https://github.com/microsoft/VibeVoice
cd VibeVoice
pip install -e .

# 长音频转写(60 分钟单次,输出谁/何时/说了什么)
python demo/vibevoice_asr_demo.py --audio meeting.mp3

项目速览

VibeVoice 是微软开源的前沿语音模型家族,同时覆盖语音合成(TTS)与语音识别(ASR),仓库已积累 5.6 万 Star、采用 MIT 许可。核心创新是用 7.5Hz 超低帧率的连续语音分词器(声学 + 语义)配合 next-token diffusion,在保住音质的同时大幅降低长序列算力。

能做什么

  • VibeVoice-ASR:单次吃下 60 分钟音频(64K token),一次输出「谁 / 何时 / 说了什么」的结构化转写,支持自定义热词
  • ASR-Streaming(2026-09 新发):流式转写,边说边出字,支持 10 种语言
  • VibeVoice-TTS:单次最长 90 分钟合成,单段对话最多 4 个独立说话人,中英及多语种
  • VibeVoice-Realtime-0.5B:0.5B 实时 TTS,首字延迟约 300ms,支持流式文本输入

怎么部署

Python 3.10+ 环境 pip install 后按 docs 里的 ASR / TTS 脚本运行即可;ASR 已支持 vLLM 加速与微调代码,微软另提供 VibeASR.cpp 做 CPU 端异构量化推理(4.62GB 压到 1.58GB,3 线程以上可实时)。也可直接在 Hugging Face 或 Azure AI Foundry Labs 的 Playground 试用。

适合谁

需要长会议、访谈、播客一键转写并区分说话人的团队;做有声书、播客、多角色对白的创作者;以及在私有环境里跑语音链路的开发者。

✅ 优点

  • •ASR 与 TTS 同一框架,长音频不用切片,全局说话人一致
  • •MIT 许可,商用限制少,且有官方微调代码
  • •生态齐全:vLLM 加速、CPU 端 BitNet 引擎、HF 与 Azure Playground 都能试

⚠️ 局限与坑

  • •官方明确写「仅面向研究与开发」,生产前需自行做充分测试
  • •合成语音存在深度伪造风险,微软已因此下线最早的 TTS 代码
  • •长音频一次推理显存占用较高,实时场景建议用 0.5B 版本

💼 典型应用场景

  • 1.60 分钟会议录音一次性转结构化纪要
  • 2.多人播客/有声书的多角色配音合成
  • 3.客服录音的说话人分离与质检
返回全部开源项目指标每周自动更新,数据来自 GitHub API