Transformer 的自注意力如何把整句话的信息带到当前位置

一个词单独看时，含义往往不完整。代词需要知道它指向谁，形容词需要知道修饰什么，动词需要结合主语和宾语才能得到更准确的解释。Transformer 的自注意力允许模型在处理某个位置时，同时查看句子中其他位置的表示。

文中用类似“这个动物……它……”的例子说明：当模型处理后面的代词时，注意力可以把一部分权重放到前面相关的名词上，并将这些信息融入当前位置。当前位置仍然保留自己的词嵌入，但它不再是孤立的向量，而是带有句子上下文的表示。

自注意力会为当前位置生成一组针对其他位置的权重，而不是把所有词简单求平均。Query 表示当前正在寻找什么，Key 帮助判断哪些位置相关，Softmax 后的权重决定每个 Value 对当前输出贡献多少。

如果所有位置都使用相同权重，句子中的重点、修饰和指代就会被冲淡。自注意力允许不同位置形成不同的关注模式：一个词可能关注前面的名词，另一个词可能关注动词或时间表达。权重是随当前位置变化的，因此同一句话中不同位置得到的上下文组合也不同。

在需要传递信息的序列模型中，距离越远，信息往往要经过越多次中间步骤。自注意力提供了一条直接的读取路径：当前位置可以直接与远处位置计算相关性，再把相关 Value 汇总回来。

这不表示模型天然理解所有长距离关系。它仍然需要通过训练学会哪些位置值得关注，也会受到位置编码、掩码和表示质量的影响。但从计算路径看，远处信息不必只能沿着相邻位置一步步传递，这是 Transformer 处理长句时的重要优势。

词嵌入表中的同一个词元通常对应同一个初始向量，但进入自注意力后，它会根据当前句子的其他位置得到不同的输出。也就是说，模型内部真正传递的不是固定不变的词典向量，而是经过上下文加工后的表示。

这正是“上下文化”的含义。一个词在不同句子里可能关注不同对象，参与加权汇总的 Value 也不同，因此最终隐藏状态会随上下文改变。层数越深，表示还会继续经过注意力、FFN、残差和归一化的反复加工。

热力图通常用行表示当前 Query 位置，用列表示它可以查看的 Key 位置，颜色深浅表示注意力权重大小。读图时先固定一个目标行，再观察它把注意力放在了哪些词上，不要把整张图混成一句笼统的“模型在关注上下文”。

还要先确认掩码范围。编码器自注意力可以查看完整源句，解码器自注意力的未来区域应该被遮住，交叉注意力则是目标位置查询源序列。热力图显示的是某一层、某一个头和某个输入下的权重，不必把它当成模型全部行为的唯一解释。

第一层可能先建立比较直接的词语联系，后续层则在已经带有上下文的表示上继续寻找更复杂的关系。某个位置在底层关注邻近词，在上层可能关注句法主干、指代对象或更抽象的语义联系。

每层都有独立参数，残差连接让原有信息继续保留，FFN 则在每个位置上做非线性加工。因此，上层表示不是简单地把所有注意力图叠加起来，而是经过多轮信息读取和特征变换后的结果。

两者都使用 Query、Key、Value，并通过相关性分数和权重汇总信息。区别在于自注意力的三组向量来自同一侧序列，当前位置在同一序列中寻找上下文；交叉注意力的 Query 来自解码器，Key 和 Value 来自编码器源记忆。

所以，自注意力回答的是“当前序列内部哪些位置和我相关”，交叉注意力回答的是“源序列中哪些内容值得我读取”。理解自注意力如何融合上下文后，再看解码器读取源记忆的过程会更自然。

一个位置进入模型时，先有自己的词嵌入和位置编码；自注意力根据 Query 与其他位置的匹配结果选择信息；Value 按权重汇总后与原表示通过残差连接合并；FFN 再对当前位置做非线性加工。重复多层后，当前位置从一个带位置的词元向量变成了包含整句上下文的隐藏状态。

这条链路说明，自注意力的价值不在于让每个词都看一遍其他词，而在于让每个位置可以按当前需要选择信息。模型最终传递的，是经过选择、汇总和加工后的上下文表示。