🧠 模型与架构

Mistral AI

MistralMistral AIMistral模型Mistral 7BMixtral法国Mistral

Mistral AI 是法国人工智能公司,专注于开发高效、高性能的开源大语言模型。其 Mixtral 8x7B 模型采用 MoE(混合专家)架构,以极小的参数量实现接近 GPT-3.5 的性能,代表了欧洲 AI 力量的崛起。


Mistral AI 是什么?

Mistral AI 是一家总部位于法国巴黎的人工智能公司,由前 Google DeepMind 和 Meta 的研究人员于 2023 年 4 月创立。Mistral 以"小而美"的理念著称——发布的开源模型参数量不大但性能出色,迅速在全球 AI 社区建立了声誉。

核心模型

Mistral 7B(2023 年 9 月):仅有 70 亿参数的模型,在多项基准上超越 LLaMA 2 13B,展示了极致的数据和训练效率。

Mixtral 8x7B(2023 年 12 月):采用 MoE 架构,由 8 个 70 亿参数的专家网络组成,每次推理只激活其中 2 个。总参数量 460 亿但推理速度接近 70 亿模型,效果接近 GPT-3.5。

Mistral Large:Mistral 的旗舰闭源模型,在多项基准上接近 GPT-4 水平。

Mistral 的特点

极致效率:Mistral 的核心竞争力是"用小模型做大事情"。开源友好:Mistral 7B 和 Mixtral 8x7B 均采用 Apache 2.0 许可证完全开源。欧洲 AI 代表:Mistral 被视为欧洲在 AI 领域抗衡美国和中国的重要力量。


相关术语

分享: