深度学习模型涨点注意力模块即插即用

深度学习模型涨点注意力模块 即插即用，优化论文模型质量 # 1. SGE Attention SGE Attention在不增加参数量和计算量的情况下允许分类与检测性能得到极强的增益。同时，与其他attention模块相比，利用local与global的相似性作为attention mask的generation source，可进行较强语义表示信息。 2. A 2 Attention 作者提出的A 2-Net的核心思想是首先将整个空间的关键特征收集到一个紧凑的集合中，然后自适应地将其分布到每个位置，这样后续的卷积层即使没有很大的接收域也可以感知整个空间的特征。 第一级的注意力集中操作有选择地从整个空间中收集关键特征，而第二级的注意力集中操作采用另一种注意力机制，自适应地分配关键特征的子集，这些特征有助于补充高级任务的每个时空位置。 3. AFT Attention 注意力机制作为现代深度学习模型的基石，能够毫不费力地对长期依赖进行建模，并关注输入序列中的相关信息。然而，需要点积自注意力 - 广泛使用是在Transformer架构中的一个关键组件 - 已被证明