开源大模型上手难度 🔧 进阶#端侧推理#Agentic LLM#2-bit 量化#MCP#跨平台#物联网
Cactus Needle · 14MB Agentic LLM 端侧推理引擎
14MB 的 Agentic LLM：2-bit 量化 + MCP 工具调用 + 云兜底，手机/手表/智能家居/机器人本地运行
指标同步中，请稍后刷新查看 在 GitHub 查看源码
5 分钟上手
14MB 模型可在任何智能手机/嵌入式设备运行，推荐 1GB+ 内存# Flutter 集成
flutter pub add cactus
import 'package:cactus/cactus.dart';
final cactus = CactusEngine(modelPath: 'needle-2bit.gguf');
final result = await cactus.chat('设置明天早上8点的闹钟');
# 或通过 MCP 调用工具
await cactus.callTool('set_alarm', {'time': '08:00', 'label': '起床'})项目速览
Cactus Needle 是 Cactus Compute（YC X25）开源的 Agentic LLM 端侧推理框架，核心理念是「14MB 就让 AI 拥有工具调用能力」。它提供 2-bit 量化的超轻量 Agentic 模型，支持 MCP 协议工具调用、结构化信息提取和 Embedding，可运行在手机、手表、智能家居、机器人、汽车和微控制器上。配合 Cactus Engine 最快推理运行时和 Cactus Hybrid 云兜底机制（复杂任务自动回退云端大模型），形成了端侧 AI 的完整闭环。
能做什么
- 14MB Agentic LLM：2-bit 量化模型，手机/手表/智能家居本地运行
- MCP 工具调用：设置提醒、图库搜索、回复消息等端侧原子能力
- Flutter / React Native / Kotlin 多平台 SDK，原生跨平台嵌入
- Hybrid 云兜底：复杂任务自动回退云端大模型，兼顾速度与能力
- 支持任意 Hugging Face GGUF 模型，FP32~2-bit 全精度谱覆盖
怎么部署
Flutter 项目 pub add cactus、React Native 项目 npm install cactus-rn、原生 Android 添加 Gradle 依赖。从 Hugging Face 下载 GGUF 模型权重，一行代码初始化推理引擎。
适合谁
需要在手机/智能硬件上本地运行 AI 的 App 开发者、做端侧 Agent 的产品团队、关注端侧 AI 推理效率的研究者。
✅ 优点
- •14MB 即可跑 Agentic LLM，端侧部署门槛极低
- •Flutter/RN/Kotlin 三平台原生 SDK，跨平台集成方便
- •Hybrid 云兜底设计巧妙——简单任务本地跑、复杂任务上云
⚠️ 局限与坑
- •14MB 模型能力有限，复杂推理必须云兜底
- •Cactus Engine 处于早期阶段，兼容性与稳定性在完善中
- •MCP 工具生态以英文为主，中文工具适配待填充
💼 典型应用场景
- 1.手机 App 端侧 AI 助手（离线运行、隐私保护）
- 2.智能家居/可穿戴设备的本地语音智能体
- 3.机器人/车载场景的端侧推理与云兜底混合方案
不想部署？试试同类在线工具
开源大模型· 同类项目推荐
返回全部开源项目指标每周自动更新，数据来自 GitHub API