推理部署上手难度 🧪 硬核#DeepSeek#推理框架#V4.1-Flash#MoE#EPLB#昇腾#NVIDIA#开源

DeepInfer · DeepSeek DeepInfer — 官方开源高性能大模型推理框架

DeepSeek 官方推理框架开源：6 天狂揽 1.9 万星，支撑 V4.1-Flash 生产级离线推理，兼容英伟达 SM100 与昇腾 950

指标同步中，请稍后刷新查看在 GitHub 查看源码

5 分钟上手

NVIDIA SM100 GPU 或华为昇腾 950 NPU；单机多卡起步

# 环境：Linux + GCC 13+ + Python 3.12 + CUDA 13（或 CANN 9.2）
export DEEPINFER_ACCELERATOR=nvidia   # 昇腾平台改为 ascend
./build.sh

# 离线推理（默认拉取 DeepSeek-V4.1-Flash-1017）
python examples/offline_inference.py

项目速览

DeepInfer 是 DeepSeek 官方于 2026 年 10 月 16 日开源的高性能推理框架，直接来自其大规模生产服务的技术栈。首版聚焦 DeepSeek-V4.1-Flash 的离线推理，把生产环境打磨过的 kernel、并行策略与调度机制开放给社区。开源 6 天 GitHub Star 突破 1.9 万，是 2026 年下半年增长最快的推理基础设施项目之一。

它不是又一个通用推理框架，而是把 DeepSeek 自研的 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 等 kernel 整合成完整推理栈，并支持 Attention DP、MoE EP + EPLB、DSpark 投机解码、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出。硬件层面同时支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU。

能做什么

高效跑 DeepSeek-V4.1-Flash：Attention DP / balanced CP、MoE EP + EPLB 并行策略
DSpark + 置信度调度验证：用草稿 token 加速解码，按置信度决定验证范围
异步零开销批调度、批不变推理、确定性采样，保证服务结果可复现
结构化输出：支持正则、JSON Schema、EBNF 语法约束生成
双硬件栈：NVIDIA SM100（CUDA 13）与华为昇腾 950（CANN 9.2）

怎么部署

需要 Linux、GCC 13+、Python 3.12；NVIDIA 路径需 CUDA 13，昇腾路径需 CANN 9.2。设置 DEEPINFER_ACCELERATOR 后执行 build.sh 从源码构建，然后运行 examples/offline_inference.py。完整在线服务所需的 KV Cache、PD 分离与负载均衡未包含在首版中。