开源大模型Hugging Face上手难度 🧪 硬核#腾讯混元#Hy-Memory#长期记忆#Agent 记忆#MoE#Mem0#MemOS#vLLM#Hugging Face#ModelScope#Apache 2.0
Hy-Memory-30B-A3B · 腾讯混元 Hy-Memory — 30B-A3B 长期记忆写入模型
30B 总参 / 3B 激活,跨 Mem0/MemOS 记忆写入均分 55.49,超过 Claude Opus 5
指标同步中,请稍后刷新查看 在 Hugging Face 查看
5 分钟上手
BF16 约 60GB,建议 80GB 显卡;量化后可尝试 48GB 级单卡,仍需为长上下文预留显存# 1) 下载权重(BF16 约 60GB)
hf download tencent/Hy-Memory-30B-A3B --local-dir Hy-Memory-30B-A3B
# 2) 用 vLLM 启动 OpenAI 兼容服务(官方在 0.31.0 测试)
vllm serve Hy-Memory-30B-A3B \
--served-model-name hy-memory \
--port 8000
# 3) 让它从对话中抽取长期记忆
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "hy-memory",
"messages": [
{"role": "system", "content": "Extract explicit user facts and preferences. Return only JSON with a memories list."},
{"role": "user", "content": "我叫 Alex,住在西雅图,是软件工程师,主要用 Python,喜欢简洁并带代码示例的回答。"}
],
"temperature": 0,
"extra_body": {"chat_template_kwargs": {"reasoning_effort": "no_think"}}
}'项目速览
Hy-Memory-30B-A3B 是腾讯混元在 2026 年 10 月中旬开源的长期记忆写入模型,采用 MoE 架构,总参数 30B、每个 Token 激活约 3B,Apache-2.0 许可。它的定位不是聊天助手,而是替代 Mem0、MemOS、Hy-Memory 等外部记忆框架里的通用 LLM,专门负责「写记忆」:决定保留哪些信息、如何表示、新证据如何更新已有记忆库。
训练分两阶段:先做记忆同策略蒸馏(Memory OPD),再做归因记忆强化学习(Attributed Memory RL)。官方称模型可直接迁移到训练时未见过的 EverMemOS。在 Mem0、Hy-Memory、MemOS、EverMemOS 四个框架的六项指标均值上,Hy-Memory-30B-A3B 平均 55.49,高于 Claude Opus 5 的 54.62、DeepSeek V4.1 Flash 的 53.64 与 Hy3 的 51.63。
能做什么
- 长期记忆写入:从对话中抽取用户事实、偏好和约束,写成可检索的独立记忆
- 记忆更新:判断新信息是补充、修正还是替代旧记忆,减少重复和冲突
- 跨框架替换:Mem0、MemOS、Hy-Memory 可直接换写入器,EverMemOS 为留出验证
- 聊天、工作、编程三类记忆场景:LoCoMo、LongMemEval、PersonaMem-v2、Code Memory Bench 等
- 私有化部署:权重在 Hugging Face 与 ModelScope 双平台开放,支持 vLLM 的 OpenAI 兼容接口
怎么部署
ModelScope 显示 BF16 权重约 60.14GB,建议 80GB 显卡或量化后部署。官方在 vLLM 0.31.0 上测试通过,启动时加 --served-model-name hy-memory,再用 OpenAI 兼容接口调用;记忆抽取建议使用 no_think 模式。它需要和 Mem0/MemOS 等框架配合,单独启动并不能变成聊天应用。
适合谁
做长期记忆、个性化助手、跨会话 Agent 的团队;已经在用 Mem0/MemOS、想降低记忆写入成本的开发者;需要私有化记忆库的企业;研究记忆写入强化学习与蒸馏的研究者。
✅ 优点
- •30B 总参仅激活 3B,用较小的推理成本专门做记忆写入,比每次调用大模型更可控
- •跨框架验证:Mem0、Hy-Memory、MemOS 均可替换,EverMemOS 作为留出集仍有提升
- •四框架六指标平均 55.49,官方对比中高于 Claude Opus 5 的 54.62(厂商自测,20% 子样本)
- •Apache-2.0 许可,Hugging Face 与 ModelScope 双平台开放,国内下载方便
- •配套技术报告、评测工具和 vLLM 快速启动示例,工程落地路径清楚
- •只替换记忆写入器,回答模型、评判模型和检索配置可保持不变,便于 A/B 测试
⚠️ 局限与坑
- •不是聊天模型:只负责记忆写入,必须配合 Mem0/MemOS/Hy-Memory 等框架和回答模型使用
- •BF16 权重约 60GB,需要 80GB 显卡或量化部署,消费级显卡难以直接运行
- •官方基准基于固定 20% 子样本且为厂商自测,真实业务收益会随数据和框架配置波动
- •接入需要修改记忆框架的提示词、配置和写入链路,对非开发者不友好
- •长期记忆涉及隐私、投毒和删除合规,模型本身不提供权限、审计与遗忘策略
- •目前以文本为主,模型卡标注英语/中文,未覆盖图像、音频等多模态记忆
💼 典型应用场景
- 1.给聊天助手加跨会话长期记忆,记住用户偏好、身份和约束
- 2.给编码 Agent 加代码库记忆,减少重复读取和上下文丢失
- 3.在 Mem0/MemOS 中替换通用 LLM 写入器,降低记忆维护成本
🔗 资源直达
配套教程
不想部署?试试同类在线工具
开源大模型· 同类项目推荐
返回全部开源项目指标每周自动更新