1D,2D和3D正弦波位置编码喷灯
这是1D,2D和3D正弦位置编码的实现,能够在(batchsize, x, ch) , (batchsize, x, y, ch)和(batchsize, x, y, z, ch) ,其中位置编码将添加到ch维度。 仅一维的位置编码就,但是,这可以将其扩展到2维和3维。
新:这也适用于以下形式的张量(batchsize, ch, x)等。对于这种类型的输入,包括单词Permute在类数目之前; 例如,对于大小为(batchsize, ch, x)一维输入,请执行PositionalEncodingPermute1D而不是PositionalEncoding1D 。
要安装,只需运行:
pip install positional-encodings
具体地说,用于插入位置编码的公式如下:
1D:
PE(x,2i) = sin(x/10000^(
2021-11-22 18:45:34
5KB
Python
1