您的位置首页百科知识

transformer中的attention为什么scaled?

transformer中的attention为什么scaled?

的有关信息介绍如下:

transformer中的attention为什么scaled?

谢邀。非常有意义的问题,我思考了好久,按照描述中的两个问题分点回答一下。

对于一个输入向量 ,softmax函数将其映射/归一化到一个分布 。在这个过程中,softmax先用一个自然底数 将输入中的元素间差距先“拉大”,然后归一化为一个分布。假设某个输入 中最大的的元素下标是 ,如果输入的数量级变大(每个元素都很大),那么会非常接近1。

我们可以用一个小例子来看看 的数量级对输入最大元素对应的预测概率的影响。假定输入 ),我们来看不同量级的 产生的有什么区别。

我们不妨把 在不同取值下,对应的的全部绘制出来。代码如下:

得到的图如下所示:

可以看到,数量级对softmax得到的分布影响非常大。在数量级较大时,softmax将几乎全部的概率分布都分配给了最大值对应的标签。

然后我们来看softmax的梯度。不妨简记softmax函数为 ,softmax得到的分布向量 对输入 的梯度为:

把这个矩阵展开:

根据前面的讨论,当输入 的元素均较大时,softmax会把大部分概率分布分配给最大的元素,假设我们的输入数量级很大,最大的元素是 ,那么就将产生一个接近one-hot的向量 ,此时上面的矩阵变为如下形式:

也就是说,在输入的数量级很大时,梯度消失为0,造成参数更新困难。

针对为什么维度会影响点积的大小,在论文的脚注中其实给出了一点解释:

假设向量 和 的各个分量是互相独立的随机变量,均值是0,方差是1,那么点积 的均值是0,方差是 。这里我给出一点更详细的推导:

对 , 和 都是随机变量,为了方便书写,不妨记 , 。这样有: , 。

则:

这样 , 的均值是0,方差是1,又由期望和方差的性质, 对相互独立的分量 ,有

,

以及

,

所以有 的均值 ,方差 。方差越大也就说明,点积的数量级越大(以越大的概率取大值)。那么一个自然的做法就是把方差稳定到1,做法是将点积除以 ,这样有:

将方差控制为1,也就有效地控制了前面提到的梯度消失的问题。

可以参考一下。水平有限,如果有误请指出。