多模态RAG 是什么
多模态RAG（Multimodal Retrieval-Augmented Generation）是 RAG 技术在多模态场景下的扩展。传统 RAG 仅处理纯文本内容，而多模态 RAG 能够在检索阶段获取图像、图表、表格、音频等多种模态的信息，并在生成阶段由多模态大模型综合理解后输出包含多模态内容的答案。
实现架构
多模态RAG 的主流实现方式有三种：独立编码方案，将不同模态分别编码为独立向量；引用式方案，从文档中提取文本块并保留非文本元素的引用标记；原生多模态方案，使用多模态嵌入模型将图像和文本投影到同一语义空间，实现真正的跨模态语义检索。
应用场景
多模态RAG 广泛应用于文档智能分析、电商商品多模态搜索、医疗影像辅助诊断、教育领域的图文混合问答、以及科学文献中的图表解读等场景。