Transformer 的最大序列长度到底限制了什么

谈到 Transformer 的最大序列长度，人们常常只想到一个上限数字。但这个上限同时涉及多个问题：模型能不能为这些位置生成位置表示，注意力能不能承受对应的关系矩阵，训练数据是否覆盖过这样的长度，以及推理时显存是否足够。

文中把训练数据中最长句子的长度看成可以设置的超参数。它既影响输入张量的形状，也影响编码器和解码器要处理的位置数量。超过这个范围时，问题不只是多了几个词，而是整条计算链路都要面对更长序列。

正弦余弦位置编码由公式计算，不需要为每个位置单独保存一个可学习向量。因此，训练长度之外的位置仍然可以得到编码。资料 特别提到，当模型遇到比训练数据中最长句子更长的输入时，这种规则化编码可以继续向外延伸。

但能生成位置编码，只说明输入向量可以构造出来。模型是否真正学会理解更长范围的关系，还取决于训练样本、注意力计算、位置模式和模型本身的泛化能力。公式外推是必要条件，不是完整保证。

自注意力需要让每个位置与其他位置建立关系。序列长度从 L 增加到更大值时，注意力分数矩阵的边长同时增加，位置关系数量大致按平方增长。源序列和目标序列都很长时，交叉注意力还会形成两侧长度相乘的关系。

训练时需要保存中间激活用于反向传播，推理时则需要处理越来越长的历史前缀。即使模型可以算出位置编码，注意力矩阵和缓存带来的计算、内存压力仍然可能先成为瓶颈。

如果训练数据大多是短句，模型可能很少见到远距离依赖。即使推理时把输入长度拉长，模型也未必能稳定使用很远位置的信息。训练长度提供的是经验范围，超过它以后，模型需要依靠结构规律和已有模式进行泛化。

反过来，训练长度很长也不表示每次推理都必须使用完整上限。短输入通常更省计算，批次中合理组织长度还能减少 Padding。最大长度是能力和资源的上边界，不是每次请求都要占满的固定长度。

一次请求的上下文窗口通常会同时包含用户输入、历史对话、系统约束、检索内容、目标前缀和模型正在生成的内容。它们都会占用序列位置。源序列和目标序列分开的 Encoder-Decoder 模型，还需要分别考虑两侧长度。

因此，用户看到的文字长度不一定等于模型实际处理的词元长度。词元切分可能让一段文字变成更多位置，模板、历史内容和特殊标记也会占用空间。判断是否接近上限时，要看实际词元序列，而不是只数自然语言字符。

输入超过模型允许范围时，常见处理包括截断、分块、摘要压缩或拒绝请求。截断最简单，但可能丢掉重要的开头或结尾；分块可以保留更多内容，却需要额外处理块之间的关系；摘要压缩则会牺牲部分原始细节。

生成过程中达到最大新词元数时，系统会停止继续输出，即使模型还没有生成 EOS。这个边界保护的是计算和响应长度，不代表模型判断内容已经自然结束。

如果任务需要处理长文，不能只把长度上限调大。还要考虑注意力开销、批次大小、Padding 比例、位置表示、训练数据和输出策略。把长度相近样本放在一起，减少无效填充，可以改善资源利用；把内容分块并保留摘要，则可以控制单次注意力范围。

不同策略解决的是不同问题：位置编码帮助表示顺序，注意力实现决定关系计算成本，分块和压缩决定输入如何组织，缓存决定推理时如何复用历史。它们不能互相完全替代。

最大序列长度从输入 Embedding 开始影响整个模型：位置编码要覆盖这些位置，编码器和解码器要处理这些位置，注意力要建立关系，FFN 和输出层要逐位置计算，训练或推理还要保存相应的中间状态。

所以，最大长度不是一个孤立的配置项。它是模型结构、训练分布和运行资源共同形成的使用边界。理解这三层限制后，就能更准确地判断“能不能输入这么长”和“输入后是否能得到可靠结果”其实是两个问题。