首页/AI 百科词条/MoA(混合智能体)
🔧 技术与方法

MoA(混合智能体)

MoAMixture of Agents混合智能体多模型协作模型集成

MoA(Mixture of Agents,混合智能体)是一种集合多个大模型能力的方法,让多个"助手模型"分别生成回答,再由一个"聚合模型"综合各模型输出生成最佳答案,在多个基准上超越了 GPT-4 等单一模型。


什么是 MoA?

MoA(Mixture of Agents,混合智能体)是 2024 年由 Together AI 和上海交大等机构联合提出的一种多模型协作方法。MoA 的核心思想是借鉴 MoE(混合专家)的思路——让多个"助手"AI 模型分别从不同角度回答问题,再由一个"聚合"AI 模型综合所有回答,生成一份更全面、更准确的最终答案。

MoA 的工作流程

第一层:多模型并行生成。将用户问题发送给多个不同的"助手模型"(如 GPT-4o、Claude 3.5、Gemini 等),每个模型独立的生成回答。

第二层:模型作为聚合器。将助手模型的所有回答作为上下文输入给"聚合模型"(可以是一个更强的模型),让聚合模型参考所有回答,综合各方优势,生成一份最优的最终答案。

多层嵌套:MoA 可以扩展为多层架构——每一层的输出作为下一层的输入,通过"模型作为聚合器"的方式逐层优化。

MoA 的效果

研究表明,即使使用开源模型(如 Qwen、LLaMA)作为助手和聚合器,MoA 架构在 AlpacaEval 等基准上超越了 GPT-4。这说明"多个中等模型协作"可以超过"一个超级模型单干"的效果。MoA 是低成本提升 AI 回答质量的有效策略。


相关术语

分享: