cnn-bilstm-attention-time-series-prediction_keras-master

利用CNN_LSTM_ATTENTION模型对寿命的预测

本文设计了一个自我监督的注意模块，该模块可以识别感兴趣的显着区域，而无需明确的手工标记注释。在现有的以CNNs为特征提取器的深度RL方法中，可以直接即插即用。 注意模块学习的是前景注意掩码，而不是预定义的关键点数量。

论文Attention Is All You Need的翻译

基于attention文本分类代码基于attention文本分类代码基于attention文本分类代码

Alphafold2-Pytorch（WIP） 要最终成为一个非官方的工作Pytorch实施 ，令人叹为观止的注意网络解决CASP14。 随着体系结构的更多细节发布，将逐步实施。 复制完成后，我打算将所有可用的氨基酸序列在计算机上折叠起来，并作为学术洪流发布，以供进一步科学使用。 如果您对复制工作感兴趣，请在此#alphafold 安装 $ pip install alphafold2-pytorch 用法 像Alphafold-1一样预测分布图，但要注意 import torch from alphafold2_pytorch import Alphafold2 from alphafold2_pytorch . utils import MDScaling , center_distogram_torch model = Alphafold2 ( dim = 256 ,

CBAM: Convolutional Block Attention Module，CBAM是2018年ECCV上的一篇论文CBAM: Convolutional Block Attention Module中提出的基于注意力机制的卷积网络模型。BAM是2018年BMVC上的一篇论文BAM: Bottleneck Attention Module中提出的基于注意力机制的网络模型。 CBAM网络的核心思想是提出了CBAM模块。该模块对输入先经过通道注意力模块，和输入相乘后再经过空间注意力模块，和输入再次相乘后得到调整参数的注意力特征图

Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。

    该模型设计的思想就是利用attention机制，在普通ResNet网络中，增加侧分支，侧分支通过一系列的卷积和池化操作，逐渐提取高层特征并增大模型的感受野，前面已经说过高层特征的激活对应位置能够反映attention的区域，然后再对这种具有attention特征的feature map进行上采样，使其大小回到原始feature map的大小，就将attention对应到原始图片的每一个位置上，这个feature map叫做 attention map，与原来的feature map 进行element-wise product的操作，相当于一个权重器，增强有意义的特征，抑制无意义的信息。

Seq2Seq模型中的第一个注意力机制 图像描述注意力机制 序列分类的注意力机制 注意力机制A(Q, K, V)的一般形式化 多头注意力 Self-Attention Vs Cross-Attention 注意力机制的多样性 注意力机制