基于知识图谱的医疗诊断知识问答系统 环境 python 3.7 tensorflow 1.14.0 keras 2.2.0 bert4keras 0.10.0 gensim 3.8.3 pyahocorasick 1.4.0 后期计划 系列视频持续更新中……，后期代码也将一并上传 本项目系列视频大纲如下，最后可能会有细微差别，影响不大

时间序列转换器 Transformer 模型的实现（最初来自 ）应用于时间序列（由提供支持）。 变压器型号 Transformer 是基于注意力的神经网络，旨在解决 NLP 任务。 它们的主要特点是： 特征向量维度的线性复杂度； 序列计算的并行化，而不是顺序计算； 长期记忆，因为我们可以直接查看任何输入时间序列步骤。 这个 repo 将专注于它们在时间序列中的应用。 数据集和应用作为元模型 我们的用例是为建筑能耗预测建模一个数字模拟器。 为此，我们通过对随机输入（建筑特征和使用情况、天气等）进行采样创建了一个数据集，并获得了模拟输出。 然后我们以时间序列格式转换这些变量，并将其提供给转换器。 时间序列的改编 为了在时间序列上表现良好，必须进行一些调整： 嵌入层被通用线性层取代； 原始位置编码被删除。 可以改用“常规”版本，更好地匹配输入序列日/夜模式； 在注意力图上应用一个

torch-seq2seq-attention, GRU递归和注意的seq2seq机器翻译的Torch 实现 torch-seq2seq-attention这是对神经机器翻译的一个轻微的修改，通过联合学习来调整和翻译。 模型这里模型基于 torch-seq2seq 。 模型中，递归编码器输出末端( 代表整个句子)的单个矢量，解码器从那

思路 文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以tab键分割。获取文本，清洗。 分别建立字典，一个english，一个french。 根据字典写好seq2id的函数（文本序列->数字序列），并调用将文本序列化。 初始化Encoder，Decoder模型；选择合适的优化器；设置lr，epochs等参数； 开始循环迭代： 1.因为文本太大，这里是随机选择某句进行训练。 2.句子通过Encoder，Encoder产生新的隐层和每层的输出；再将开始标志通过传给Decoder结合Encoder的隐层和每层的输出（期间用到attention，下面详细讲解）

这个案例主要是利用tfa框架Sequence to Sequence Model Architecture中的Attention以及Encoder-Decoder方法实现神经机器翻译（Neural Machine Translation，NMT），当然翻译的准确性不可能像BERT之类的那么好，但可以作为一个入门实验，通过这个案例，大家应该对Attention的使用有了更清晰、更全面的认识。

在 2014 年，随着深度学习的进一步发展，seq2seq 的训练模式和翻译模式已经开始进入人们的视野。除此之外，在端到端的训练方法中，除了需要海量的业务数据之外，在网络结构中加入一些重要的模块也是非常必要的。在此情形下，基于循环神经网咯（Recurrent Neural Network）的注意力机制（Attention Mechanism）进入了人们的视野。除了之前提到的机器翻译和自然语言处理领域之外，计算机视觉中的注意力机制也是十分有趣的，本文将会简要介绍一下计算机视觉领域中的注意力方法。

PyTorch中计算机视觉应用程序的自注意力构建基块 使用einsum和einops在PyTorch中实现计算机视觉的自我关注机制。 专注于计算机视觉自我注意模块。 通过pip安装 $ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。 相关文章 程式码范例 多头注意力 import torch from self_attention_cv import MultiHeadSelfAttention model = MultiHeadSelfAttention ( dim = 64 ) x = torch . rand ( 16 , 10 , 64 ) # [batch, tokens, dim] mask = torch . zeros ( 10 , 10 ) # tokens X tokens mask [ 5 :

心电图合成与分类 用于ECG合成的一维GAN和3种模型：具有跳过连接的CNN，具有LSTM的CNN和具有LSTM的CNN，以及用于ECG分类的注意力机制。 动机 心电图被心脏病专家和医学从业者广泛用于监测心脏健康。 与许多其他时间序列数据类似，手动分析ECG信号的主要问题在于难以检测和分类信号中的不同波形和形态。 对于人类而言，此任务既耗时又容易出错。 让我们尝试将机器学习应用于此任务。 数据 可用。 问题的表述： 每个信号应标记为以下类别之一（ “正常” ， “人工过早” ， “室性早搏” ， “室和正常融合” ， “起搏和正常融合” ）。 解决方案 此处提供具有研究和解决方案的代码-和此处 。 楷模 GAN结果 分类结果

皮托奇·西法尔100 pytorch在cifar100上练习 要求 这是我的实验资料 python3.6 pytorch1.6.0 + cu101 张量板2.2.2（可选） 用法 1.输入目录 $ cd pytorch-cifar100 2.数据集 我将使用来自torchvision的cifar100数据集，因为它更方便，但我还将示例代码保留了用于在数据集文件夹中编写您自己的数据集模块的示例，以作为人们不知道如何编写它的示例。 3.运行tensorbard（可选） 安装张量板 $ pip install tensorboard $ mkdir runs Run tensorboard

深度学习的attention的实现，有keras和tensorflow两种