语音Hugging Face上手难度 🧪 硬核#TTS#语音合成#多角色配音#声音克隆#Fish Audio#Hugging Face#83种语言#流式语音

Fish Audio Drama 3 · Fish Audio Drama 3 — 36B 多角色长文本语音合成模型

36B 总参 / 3B 激活、83 种语言、单条文本 16 个角色，H200 单卡首包 89ms

指标同步中，请稍后刷新查看在 Hugging Face 查看

5 分钟上手

建议 H200/A100 80GB 级 GPU；单卡可跑，生产高并发需多卡或分离声码器

# SGLang-Omni 部署
git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv pip install --prerelease=allow -v -e ".[fishaudio]"
sgl-omni serve --model-path fishaudio/drama-3 --port 8000

# 或 vLLM-Omni
vllm serve fishaudio/drama-3 --omni --port 8091

项目速览

Fish Audio Drama 3 是 Fish Audio 于 2026 年 10 月发布的新一代文本转语音模型，专为多角色场景与长文本内容设计。模型总参数 35B（榜单标注 36B）、每 Token 仅激活 3B，采用 MoE 文本骨干 + 混合注意力，并配套 10 码本因果解码的 Codebook-MTP 音频解码器，FP8 专家权重、其余保持 bf16。

它支持最多 16 个说话人标签、声音克隆、自然语言情绪控制与长文本自动分块流式输出，覆盖 83 种语言。官方在单张 NVIDIA H200 上实测：并发 1 时首包延迟 88.9ms（p50），并发 32 时吞吐 1,244.7 帧/秒，并发 64 时仍有 1,687.3 帧/秒；把声码器放到第二张 GPU 后，256 路并发吞吐提升约 72%。发布 5 天在 Hugging Face 获得 904 个赞、1.6 万次下载。

能做什么

多角色配音：一条文本用 speaker 标签切换最多 16 个角色
零样本声音克隆：给定 3-4 秒参考音频即可复刻音色
情绪与事件控制：用 [sighs]、[laughs] 等标签把语气写进文本
长文本有声化：自动分块并支持逐块流式输出
音频续写与编辑：把上一版 VQ token 作为上下文继续修改台词

怎么部署

官方推荐 SGLang-Omni 或 vLLM-Omni。SGLang-Omni 安装后执行 sgl-omni serve --model-path fishaudio/drama-3 --port 8000；vLLM-Omni 执行 vllm serve fishaudio/drama-3 --omni --port 8091。也可在 Fish Audio 在线 Playground 直接试用。生产环境建议使用 H200/A100 级 GPU，并按并发规划声码器所在 GPU。