上下文长度

换成大白话

上下文长度（Context Length）指模型架构支持的最大输入序列token数，是上下文窗口的技术上限。它由位置编码方案、注意力机制的内存复杂度共同决定。早期GPT-2支持1024，GPT-3提升到2K，现代模型已扩展到128K、1M甚至10M。 扩展上下文长度的技术包括：相对位置编码（RoPE、ALiBi）、稀疏注意力、滑动窗口注意力、Ring Attention等。这些技术突破了传统注意力的O(n²)内存瓶颈，使长文档、长视频、长对话成为可能。 上下文长度与上下文窗口常被混用，但前者偏架构能力、后者偏产品规格。选择模型时需结合实际任务：代码理解、长文档摘要、多轮对话等场景需要长上下文，而短问答则无需为此支付溢价。

它通常在什么场景出现

这个术语常见于模型选择、训练与微调、推理与部署、评测或产品功能说明等场景；当你遇到“上下文长度”时，多半是在讨论模型行为、处理方式或指标口径。

具体出现在哪类场景，可以用下方“跨库查找”搜索包含该概念的模型、训练、评测或产品资料。

容易混淆的地方

不要把“上下文长度”理解成模型本身的能力或在某个榜单上的具体名次；它更多是描述一种机制、一种处理方式或一个指标口径，而不是模型实力的绝对结论。