注意力为什么是加权求和，而不是只挑一个最相关的位置

当模型处理某个位置时，注意力先计算它与其他位置的相关性。直觉上，人们容易把这个过程理解成“找到最相关的词，然后复制它的内容”。但语言中的关系经常不是一对一的：一个位置可能同时需要主语、动作、时间或指代对象的信息。

Transformer 相关概念 的计算步骤不是从候选位置中挑出一个，而是把分数经过 Softmax 转成一组权重，再分别乘以各个 Value，最后求和。这个设计允许多个位置共同参与当前位置的表示。

Query 和 Key 的点积得到的是一组原始分数。分数可以为正也可以为负，数值大小还会受到维度和缩放的影响，不能直接当作概率使用。Softmax 会把它们转换成非负数，并让所有位置的权重加起来等于 1。

这样，每个位置的贡献就有了共同的比较标准。某个位置的分数更高，通常会获得更大的权重；其他位置即使不是最重要，也可能保留一部分权重。注意力输出因此像一组有总量约束的上下文分配，而不是一次不可逆的单点选择。

假设三个位置的权重分别是 0.6、0.3 和 0.1，那么输出会由三个 Value 按比例贡献。第一个位置影响最大，但第二、第三个位置并没有完全消失。它们提供的信息可能在当前任务中并不占主导，却能补足语境或避免只依赖单个位置。

这里的“求和”不是把词语简单拼接起来，而是对向量的每个特征维度分别做加权组合。输出仍然是一个固定宽度的隐藏向量，能够继续进入残差、归一化和 FFN。

如果只选最大分数的位置，注意力会变成硬选择：其他位置的贡献全部归零。这样做在关系非常明确时看起来简单，但会丢掉多个线索之间的组合关系，而且当两个位置分数接近时，微小变化也可能造成输出突然跳变。

Softmax 加权让输出随分数平滑变化。一个位置的相关性提高，它的权重可以逐渐增加；其他位置的权重逐渐减少，而不是发生完全离散的切换。平滑的表示更适合通过梯度学习，也更适合表达语言中模糊、分散和多来源的关系。

平均意味着每个位置权重相同，而注意力权重由当前 Query 和各个 Key 的匹配结果决定。相关位置可以得到更高权重，不相关位置的权重会很小。它既不是只保留一个位置，也不是完全不加区分地混合所有位置。

不同 Query 会产生不同的权重分布。当前位置改变，或者输入上下文改变，注意力输出就可能以不同方式汇总同一组 Value。这种条件化的加权，是注意力能够适应不同语境的原因。

在多头注意力中，每个头都有自己的 Query、Key 和 Value 投影，也会形成自己的 Softmax 权重和加权输出。一个头可能把权重集中在局部邻近位置，另一个头可能更关注远距离关系。

各个头的结果最后拼接并投影回模型维度。这里并不是把所有头的权重先平均，而是保留各个子空间中得到的加权表示，再交给输出投影学习如何综合。

序列长度可以变化，但每个 Value 的特征宽度通常固定。无论有多少位置参与计算，权重乘以 Value 后求和，输出仍保持相同的特征维度。这样，注意力输出才能继续进入固定结构的 FFN 和下一层编码器或解码器。

如果把所有相关词的原始向量直接拼接，输出宽度会随着有效位置数量变化，层间接口就难以统一。加权求和把可变数量的上下文压成固定宽度表示，同时保留由权重控制的差异。

注意力权重可以帮助我们观察模型在某次计算中把信息分配到哪里，但它本身不是最终输出，也不等于模型对语言关系的完整解释。真正进入下一层的是多个 Value 的加权组合，之后还会经过残差、归一化、FFN 和后续层继续加工。

因此，阅读注意力图时应同时看三件事：权重集中在哪些位置，Value 携带了什么表示，以及加权结果如何进入后续子层。只盯着一个最高权重位置，容易把软聚合误读成硬匹配。

注意力的核心可以写成 Attention(Q,K,V)=Softmax(QK^T/√d_k)V。前半段产生权重，后半段完成 Value 的加权汇总。这个公式里，Softmax 后的矩阵每一行对应一个 Query，每一行都会对 Value 序列做一次加权组合。

把这条公式翻成语言就是：先判断当前位置需要从哪里读取信息，再按不同程度把这些位置的内容混合回来。注意力不是替当前位置找一个替身，而是构造一个由多个上下文共同组成的新表示。