开源大模型Hugging Face上手难度 🧪 硬核#编程Agent#代码模型#MoE#SWE-bench#本地部署#Hugging Face#Apache 2.0#开源

Flint · Recursive Flint — 40B-A2.5B 本地编程 Agent 模型

40B 总参 / 2.5B 激活，SWE-bench Pro v2 89.7%，单卡 B300/H200 起步

指标同步中，请稍后刷新查看在 Hugging Face 查看

5 分钟上手

BF16 约 80GB，单卡 B300/H200 起步；量化版可在 M4 Pro、64GB RTX Spark 等本地设备运行

# 1) 下载 BF16 权重（约 80GB）
pip install -U huggingface_hub
hf download RecursiveSI/flint --local-dir flint
cd flint

# 2) 用官方 SGLang 套件启动（单卡 B300；H200 换 serve_h200.sh）
docker build -t flint-sglang sglang
docker run -d --name flint --gpus '"device=0"' --ipc=host \
  -p 127.0.0.1:30000:30000 -v "$PWD:/model" -e MODEL=/model \
  flint-sglang bash /model/sglang/serve_b300.sh

# 3) 调用 OpenAI 兼容接口
curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"flint","messages":[{"role":"user","content":"写一个合并重叠区间的 Python 函数"}]}'

项目速览

Flint 是 Recursive Superintelligence 于 2026 年 10 月开源的本地编程 Agent 模型。它采用 MoE 架构，总参数 39.8B、每个 Token 仅激活约 2.5B，专为「在本地代码库里查问题、修 Bug、实现功能、补测试」设计，支持推理与多轮工具调用，权重以 Apache 2.0 许可开放。

官方评测中，Flint 在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%，称其在 50B 以下 MoE 模型中领先，并能以约 5 倍速度运行于同级别 25–40B 稠密模型。配合官方优化推理栈，它在 M4 Pro MacBook Pro 上可跑到 125+ tokens/s，在 64GB NVIDIA RTX Spark 上可跑到 150+ tokens/s（短上下文）。

能做什么

仓库级修 Bug：定位跨文件调用链，修改代码并补回归测试
功能实现：从需求描述到代码、测试与自检的完整闭环
本地私有开发：代码与上下文留在本机，不发送到远端 API
多轮工具调用：兼容 OpenAI 风格 tool calls，可接入编码 Agent
长上下文任务：262K Token 配置，适合中大型仓库与多文件重构

怎么部署

Hugging Face 提供 BF16 权重（约 80GB），官方 SGLang 套件可在单卡 B300 或 H200 上启动一个副本；也提供面向 NVIDIA 与 Apple Silicon 的量化版本。除 SGLang 外，博客称可配合 llama.cpp、Ollama、Unsloth、LM Studio、vLLM 使用，并开源了面向 M4/M5 的 rec 本地推理引擎。