Xorbits Inference (Xinference) · 异构模型统一推理平台

Xinference 由 XORBIT 开源，定位是企业级「模型服务器」：不止语言模型，语音识别、TTS、Embedding、多模态模型都能在同一个平台按需拉起，支持异构 GPU 与分布式部署，是国内开源推理平台中模型覆盖面最广的之一。

能做什么

• 控制台一键部署上百种预置模型，或自定义接入
• 统一 OpenAI 兼容 API 出口，业务侧无需关心底层差异
• 支持多机多卡分布式，覆盖生产级吞吐需求

怎么部署

pip 安装或 Docker Compose 拉起。若只需单机单模型，vLLM 更轻。

适合谁

需要同时服务多种模型类型、集中管理的中小型企业平台团队。