Transformer 为什么要堆叠相同结构：重复的是层形状，不是同一组参数

Transformer 的一个编码器层已经可以完成自注意力和前馈变换，但它通常只对输入表示进行一次加工。复杂句子中的词义、指代、结构和远距离关系，不一定能在一次计算里全部整理好，因此经典结构会把多个编码器层上下堆叠起来。

资料 资料中以 6 层编码器和 6 层解码器为例，但层数是可以调整的超参数。层数增加后，表示会经历更多轮信息交换与非线性变换，底层更接近词和局部关系，上层则可能形成更抽象的句法和语义表示。

同一个编码器层通常都包含自注意力、前馈网络、残差连接和 LayerNorm；同一个解码器层则在此基础上增加掩码自注意力和交叉注意力。每一层的模块顺序、输入输出宽度和基本计算方式保持一致。

这种重复让模型可以沿着稳定的通道逐层传递表示。上一层输出成为下一层输入，序列长度和主干维度通常保持不变，变化的是向量中携带的信息。结构相同不意味着每一层都做同一件事，而是让每一层拥有相似的工具，去处理不同深度的表示。

可以把它想成多道相似的加工工序：每道工序的设备类型相近，但当前处理的材料已经不同，所要完成的加工也会不同。

文中明确指出，各编码器结构相同，但使用不同的权重参数。也就是说，第一层和第二层都有自注意力和 FFN，但它们的投影矩阵、偏置和归一化参数不是同一份。每层通过自己的参数学习不同阶段的表示变换。

如果所有层完全共享一套参数，模型更像是把同一个变换重复执行多次，参数量会减少，但每一层能承担的角色也会受到限制。经典 Transformer 选择为不同层保留独立参数，让底层、中层和高层可以形成不同的特征加工方式。

底层表示通常仍然保留较多词面信息，同时开始融合邻近位置的上下文；中间层可以继续组合短语、句法关系和较远位置的信息；更高层的表示则更适合被任务输出层使用。这个划分不是硬性规定，但可以帮助理解深度带来的逐步加工。

每层并不会把上一层的信息全部推翻。残差连接让原有表示沿着捷径保留下来，当前层只需在此基础上补充或修正一部分内容。经过多层堆叠，表示像是在原有基础上不断增加上下文，而不是每一层都从零开始编码。

解码器的每一层都要处理目标侧上下文，同时读取源序列记忆。第一层交叉注意力可能建立较初步的源目标联系，后续层则可以根据已经融合过的表示继续查询源序列，补充更细的语义和结构信息。

因此，编码器输出通常会被解码器的多层交叉注意力反复使用。每层有自己的 Query、Key、Value 投影和参数，同一份源记忆经过不同层的读取后，会以不同方式影响目标表示。重复读取并不是无意义地复制，而是让信息在不同深度被重新组织。

层数增加会带来更大的表示能力和参数规模，但也会让训练更困难、计算时间更长，并且增加过拟合或表示退化的风险。残差连接、LayerNorm、学习率设置和初始化方式，都会影响深层堆叠是否稳定。

实际模型需要在任务规模、训练数据和计算预算之间做平衡。较浅的网络可能已经足够处理简单任务，较深的网络则适合更复杂的语言关系。不能只看层数判断模型质量，还要看宽度、训练数据和整体结构是否匹配。

源序列先进入底部编码器，经过多层相同形状但参数不同的编码器后，形成源序列记忆；目标前缀进入底部解码器，依次经过掩码自注意力、交叉注意力和 FFN，并在每层接收来自上一层的表示。最后一层解码器的输出再进入线性层和 Softmax。

这样理解，Transformer 的深度不是简单把同一段公式复制很多遍，而是让多个不同参数的层共同完成逐步抽象。每层拥有相同的结构语言，却可以在不同阶段学习不同的表达任务，这正是堆叠设计的价值。