Self-Attention 如何把代词和它指向的词联系起来

Transformer 相关概念 用一个很直观的句子说明 Self-Attention 的作用：The animal didn’t cross the street because it was too tired。阅读 it 时，人能够结合上下文判断它更可能指向 animal，而不是 street。

对模型来说，it 所在位置的初始词向量并不会自动包含前面名词的指代关系。它需要查看句子中的其他位置，把相关上下文写回 it 的隐藏表示。Self-Attention 提供的正是这条跨位置的信息通道。

在 it 这个位置，输入表示经过 Query 投影后形成当前查询。这个 Query 不只是“it”这个词的字面编号，还会随着前面层的上下文加工而变化。它代表当前这个位置在寻找什么信息。

Query 会与句子中每个位置的 Key 计算相关性，包括 The、animal、cross、street、because 和 tired 等位置。每个 Key 都像一个可被当前 Query 检索的特征摘要，分数大小反映当前查询与该位置的匹配程度。

传统顺序模型处理序列时，远距离信息需要通过多个时间步传递。Self-Attention 则可以让 it 直接与前面的 animal 或其他位置计算关系，不必把信息逐步经过中间每个词才能到达。

这并不意味着模型一定会把最高权重放在距离最远的词上。相关性由 Query 和 Key 的投影结果决定，距离只是影响关系的一部分。对于指代问题，远处的名词、句法关系和语义上下文可能共同影响 it 的表示。

当 Query 与各个 Key 计算完分数并经过 Softmax 后，模型得到一组注意力权重。权重较高的位置，其 Value 会对当前输出贡献更多；权重较低的位置仍可能保留少量贡献。

因此，Self-Attention 不只是画出一条 it 到 animal 的连线，而是把各个位置的 Value 加权汇总，形成 it 位置的新表示。这个新表示可以包含 animal 的部分信息，也可能保留其他上下文线索。

资料 在介绍多头注意力时还指出，不同注意力头可以关注不同位置。处理 it 时，一个头可能更多关注 The animal，另一个头可能关注 tired 或其他句法线索。不同头提供的不是同一张注意力图的重复版本。

各头结果最终拼接并投影回模型维度，当前位置因此能够同时保留多种关系视角。一个头捕捉到的局部线索和另一个头捕捉到的语义线索，可以在输出投影和后续层中共同作用。

底层编码器的注意力可能先建立较直接的邻近或词形关系，上层在已经包含上下文的表示上继续调整关注区域。某一张热力图只展示一个层、一个头和一次输入，不能代表整个模型的最终判断。

指代关系也可能不是一层就完成。随着层数增加，it 位置的表示不断吸收和重组上下文，后续 FFN 还会对融合结果做逐位置非线性加工。最终用于输出的表示，是多层处理后的结果。

如果可视化 it 位置的注意力权重，可能看到 animal 附近颜色更深。这可以帮助我们观察一次计算中信息分配的方向，但不能单独证明模型已经像人一样完成了完整指代理解。

权重还会受到层、头、输入形式、词元切分和后续表示加工影响。判断模型是否真正处理好指代，需要结合输出结果、替换测试、不同上下文和多层多头信息一起看。

Self-Attention 需要知道哪些词在句子中出现，但仅有词内容还不够。位置编码把顺序信息加入输入表示，让模型能够区分 The animal 和 animal The 这类位置不同的排列，也能学习前后关系。

因此，代词指代的处理不是一个单独模块完成的，而是词嵌入、位置编码、Q/K 匹配、Value 汇总、多头和多层加工共同作用的结果。注意力提供直接跨位置连接，位置编码提供顺序背景。

第一，找到需要解释的代词位置；第二，观察该位置的 Query 如何与其他 Key 匹配；第三，查看 Softmax 后哪些位置权重较高；第四，确认这些位置的 Value 如何汇总回代词位置；第五，结合多头、多层和最终输出判断整体结果。

这五步把 文中的直观例子还原成完整计算链。Self-Attention 的价值不是替模型写入一个固定的指代表，而是让当前位置有机会根据当前上下文动态读取可能相关的信息。