colibri · Colibri 蜂鸟推理引擎

Colibri（蜂鸟）是一个纯 C 语言实现的 MoE（混合专家）推理引擎，核心二进制仅 10KB、零外部依赖，却能运行 DeepSeek V4 等千亿参数 MoE 模型。它的核心理念是"你已有的硬件就能跑前沿模型"——通过按需从磁盘流式加载专家（experts），不需要把整个模型塞进显存，消费级显卡（RTX 3090/4090）即可运行之前只有数据中心才能跑的模型。

能做什么

• 在消费级 GPU 上运行千亿参数 MoE 模型（如 DeepSeek V4）
• 纯 C 实现，单文件 10KB，零第三方依赖
• 按需流式加载 expert 权重，显存需求极低
• 支持 Llama.cpp 格式的 GGUF 模型文件
• 同时提供 HTTP API 和交互式 CLI

怎么部署

下载单个二进制文件即可运行，无需 Python、PyTorch 或 CUDA 安装。支持所有主流操作系统。

适合谁

显存有限但想运行大模型的 AI 发烧友、想用消费级硬件做本地推理的开发者和研究者。