简单的NMT 简单易读的神经机器翻译系统 1个背景 通过计算机自动翻译自然语言的过程称为机器翻译（MT） 。 神经机器翻译（NMT）直接使用Encoder-Decoder框架进行分布式表示语言的端到端映射，具有统一的模型结构和较高的翻译质量，已成为当今的主流。 机器翻译的发展主要归功于开源系统的推广和评估竞赛。 有许多出色的神经机器翻译系统（ ， ， 等），但是这些开源系统具有实现复杂，代码过多，初学者难以阅读的缺点。 2要做 我致力于构建一个易于阅读，使用且对初学者友好的神经机器翻译系统。

PyTorch实现基于Transformer的神经机器翻译

PyTorch实现基于Transformer的神经机器翻译

OpenNMT: 开源神经机器翻译系统OpenNMT的Pytorch一个移植

神经机器翻译模型，用于将阿塞拜疆语翻译成英语。 在这个项目中，我发现了如何开发一种神经机器翻译系统来将阿塞拜疆语翻译成英语。 我使用阿塞拜疆语到英语术语的数据集作为语言学习卡片的基础。 该数据集可从ManyThings.org网站获得，其示例摘自Tatoeba项目。 清除文本数据后，就可以进行建模和定义了。 我已经在这个问题上使用了编解码器LSTM模型。 在这种架构中，输入序列由称为编码器的前端模型编码，然后由称为解码器的后端模型逐字解码。 使用有效的Adam方法对模型进行训练，以实现随机梯度下降，并最大程度地减少了分类损失函数，因为我们将预测问题构造为多类分类。 还创建了模型图，为模型配置提供了另一个视角。 接下来，对模型进行训练。 在现代CPU硬件上，每个时期大约需要30秒。 无需GPU。 然后，我们可以对数据集中的每个源短语重复此操作，并将预测结果与英语中的预期目标短语进行比

PyOpenNMT：开源神经机器翻译 这是端口， 是一种开源（MIT）神经机器翻译系统。 完整文档可。 该代码仍在大量开发中（0.1版之前的版本）。 如果您需要稳定的版本，我们建议分叉。 特征 实现了以下OpenNMT功能： 注意和辍学的多层双向RNN 数据预处理 从检查点保存和加载 批处理和波束搜索进行推理（翻译） 多GPU Beta功能： 上下文门 多种源和目标RNN（lstm / gru）类型和注意力（dotprod / mlp）类型 图像到文本处理 源词功能 “注意是您所需要的” TensorBoard /蜡笔记录 复制，覆盖和结构化关注 快速开始 步骤1：预处理数据 python preprocess.py -train_src data/src-train.txt -train_tgt data/tgt-train.txt -valid_src data/src-

Pytorch-seq2seq-光束搜索 带有注意力和贪婪搜索/波束搜索的Seq2Seq模型，用于在PyTorch中进行神经机器翻译。 此实现着重于以下功能： 用于其他项目的模块化结构 最少的代码以提高可读性 充分利用批处理和GPU。 解码方法贪婪搜索 解码方法波束搜索 此实现依赖于来最大程度地减少数据集管理和预处理部分。 Seq2Seq型号说明 seq2seq的主要结构采用 编码器：双向GRU 解码器：具有注意机制的GRU 注意力 解码方式 贪婪的搜索 光束搜索 要求 CUDA Python 3.6 PyTorch 1.4 火炬文本 空间 麻木 智慧（可选） 通过这样做下载令牌生成器： python -m spacy download de python -m spacy download en 去做 添加日志 更改为支持gpu和cpu，目前是基于gpu的代码实现

人工智能，制动驾驶相关，基于注意力的神经及其翻译的有效途径

第 1 章 绪论 1 1.1系统研究的背景 1 1.2相关研究工作 2 1.3主要研究内容 2 1.4本文组织结构 3 第 2 章 系统相关分析 4 2.1可行性分析 4 2.1.1技术可行性 4 2.1.2经济可行性 4 2.1.3法律可行性 4 2.1.4时间可行性 4 2.2系统性能需求分析 5 2.2.1系统的安全性 5 2.2.2系统的运行时间 5 2.2.3系统的易用性 5 2.2.4系统的可靠性 5 2.2.5系统的准确性 5 2.3系统用例图 6 2.4系统流程分析 6 2.5本章小结 8 第 3 章 系统结构设计与实现 9 3.1系统架构设计 9 3.1.1B/S 架构 9 3.1.2前后端分离开发 9 3.1.3MVVM 架构 11 3.1.4Flask 框架的架构设计 12 3.2系统的设计模式与实现 12 3.2.1工厂模式 12 3.2.2代理模式 13 3.2.3UML 类图 13 3.3系统部署 14 3.4本章小结 15 第 4 章 神经机器翻译 16 4.1编码器-解码器架构 16 4.2引入注意力机制的编码器-解码器 17 4.3编码器-解码器模型：Transformer 18 4.3.1模型架构 18 4.3.2多头注意力机制 19 4.3.3掩码机制 19 4.3.4位置编码 20 4.3.5时间复杂度 20 4.4预训练语言模型：MASS 20 4.4.1预训练语言模型简介 20 4.4.2MASS 模型 21 4.5本章小结 21 第 5 章 神经机器翻译的实验与结果 22 5.1数据预处理 22 5.2评价指标 23 5.3模型训练 23 5.3.1模型结构 23 5.3.2实验环境 24 5.3.3混合精度训练 24 5.3.4参数共享 24 5.3.5正则化 24 5.3.6训练批次内排序 25 5.3.7优化器 25 5.4生成策略 25 5.5实验结果 26 第 6 章 结语 28 参考文献 29 致谢 31

迷你seq2seq 在PyTorch中注意神经机器翻译的最小Seq2Seq模型。 此实现重点在于以下功能： 用于其他项目的模块化结构 最少的代码可读性 充分利用批次和GPU。 此实现依赖于来最大程度地减少数据集管理和预处理部分。 型号说明 编码器：双向GRU 解码器：具有注意机制的GRU 注意： 要求 GPU和CUDA Python3 火炬 火炬文本 空间 麻木 智慧（可选） 通过这样做下载令牌生成器： python -m spacy download de python -m spacy download en 参考文献 基于以下实现