首页/问答百科/上下文窗口

📖 基础概念

上下文窗口

上下文窗口上下文长度Context Window上下文context上下文限制

上下文窗口（Context Window）是大模型一次能"记住"的最大输入长度，以 token 为单位。窗口越大，模型能处理的文档越多、对话越长，Claude 支持 200K token，GPT-4 Turbo 支持 128K token。

什么是上下文窗口？

上下文窗口（Context Window）是指大模型在一次对话中能够处理的最大输入长度，以 token 为单位。你可以把上下文窗口想象成模型的"工作记忆"——窗口越大，模型能"记住"的信息就越多。

上下文窗口的组成

上下文窗口包括你输入的所有内容（提示词、历史对话、上传的文档）加上模型生成的输出。例如，如果你上传了一个 80K token 的文档，加上 20K token 的对话历史，那么上下文窗口至少需要 100K 才能正常工作。

主流模型的上下文窗口

·Claude 3.5 Sonnet：200K token（约 15 万个词或 40 万汉字）
·GPT-4 Turbo：128K token
·Gemini 1.5 Pro：1M token（约 75 万个词）
·通义千问：128K token
·DeepSeek-V3：128K token

上下文窗口的局限性

注意力衰减：模型在超长上下文中可能会"忘记"中间部分的信息，尤其是当关键信息在文档中间时。

计算成本：上下文越长，计算量越大（Transformer 的计算复杂度是 O(n²)），成本越高。

"大海捞针"问题：在超长文档中找到特定信息，即使对模型来说也有挑战。

如何利用好上下文窗口

·把最重要的信息放在开头或结尾（模型对这两部分关注度最高）
·合理安排提示词结构，避免冗余
·使用 RAG 技术选择性检索相关内容，而不是一次塞入所有信息

相关术语

Token（词元）

Token（词元）是大模型处理文本的最小单位，可以是一个词、一个字符或一个子词。大模型按 token 计费和使用，理解 token 概念有助于估算成本、优化提示词长度和控制输出。

RAG（检索增强生成）

RAG（Retrieval Augmented Generation，检索增强生成）是一种让大模型从外部知识库检索相关信息后再生成回答的技术，能有效解决大模型知识截止日期和幻觉问题，是企业构建 AI 知识库的核心方案。

大模型（Large Language Model，LLM）是指参数规模达到数十亿甚至数千亿的深度学习模型，通过海量文本训练获得理解和生成人类语言的能力，是 ChatGPT 等 AI 产品的底层技术。

注意力机制

注意力机制（Attention）是深度学习中的一种核心技术，让模型在处理一个词时能够"关注"输入序列中的其他相关词，捕捉长距离依赖关系。自注意力机制（Self-Attention）是 Transformer 架构的基础，也是大模型成功的核心原因。

分享：