上传者: 38727825
|
上传时间: 2022-04-11 11:01:14
|
文件大小: 156KB
|
文件类型: PDF
Attention 是一种通用的带权池化方法,输入由两部分构成:询问(query)和键值对(key-value pairs)。
不同的attetion layer的区别在于score函数的选择,两种常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention
点积注意力
class DotProductAttention(nn.Module):
def __init__(self, dropout, **kwargs):
super(DotProductAttention, self).__init_