包含教程、数据集、算法、预训练模型；可以直接下载运行。

ner_elmo 用ELMO命名实体识别（语言模型的嵌入）

学习使用RNN自动完成语言模型

斯坦福自然语言处理课程的语言模型章节，非常实用的讲解ppt

XLM 新增：添加了模型。 PyTorch训练的原始实现。 包括： XLM支持多GPU和多节点训练，并包含以下代码： 语言模型预训练： 因果语言模型（CLM） 屏蔽语言模型（MLM） 翻译语言模型（TLM） 胶微调 XNLI微调 有监督/无监督的机器翻译培训： 去噪自动编码器 并行数据训练 在线回译 安装 使用可编辑模式安装python软件包 pip install -e . 依存关系 的Python 3 （当前在版本0.4和1.0上测试） （生成并应用BPE代码） （仅用于清理和标记文本的脚本-无需安装） （用于fp16培训） I.单语语言模型预训练（BERT） 在下面的内容中，我们将说明如何下载和使用我们的预训练的XLM（仅英语）BERT模型。 然后，我们解释了如何训练自己的单语言模型，以及如何在GLUE任务上对其进行微调。 预先训练的英语模型 我

表示学习算法实践 word embedding & KG embedding 神经语言模型 • 词向量学习 – 基于预测的模型：word2vec – 基于技术的模型：GloVe • 课间休息 • 知识图谱表示学习 – 常用评价任务 – 基于映射的方法：TransE，TransR – 基于张量分解的方法：RESCAL • 现场实践 – C&W模型 过程的定义 （Construction） – 输入参数 – 模型参数 – 模型计算过程 – 优化过程 • 过程的执行（ Execution） – 初始化模型参数 – 学习过程 » 获得训练数据 » 执行学习过程 – 保存模型参数

CNN+CTC_tutorial.ipynb为语音模型的教程，详细介绍了搭建网络的一步步的操作。 LanguageModel2.py为基于统计的语言模型，dict.txt为统计的字典。 test.ipnb用于测试模型性能。 数据集使用的是清华的数据集，下载后放在项目同级目录即可运行

派托克·林恩 在PyTorch中使用RNN的语言模型。 使用Wiki-Text-2长期依赖数据集： : 展示 如何使用绑定嵌入权重，如以下所述： : 如何在不使用中介填充的情况下破解PyTorch以使用PackedSequence和单词嵌入。 用法 下载数据集并将文件内容解压缩到“ wikitext-2”文件夹中。 使用“ --help”运行“ main.py”以查看可能的命令行参数。 默认参数在10分钟内在中级GPU上训练模型，以在测试集上获得135的困惑度得分。

rnnlm作者在google内部的一个ppt

自动生成图片描述是自然语言处理和计算机视觉的热点研究话题，要求计算机理解图像语义信息并用人类自然语言的形式进行文字表述.针对当前生成中文图像描述整体质量不高的问题，提出首先利用FastText生成词向量，利用卷积神经网络提取图像全局特征；然后将成对的语句和图像〈S，I〉进行编码，并融合为两者的多模态特征矩阵；最后模型采用多层的长短时记忆网络对多模态特征矩阵进行解码，并通过计算余弦相似度得到解码的结果.通过对比发现所提模型在双语评估研究（BLEU）指标上优于其他模型，生成的中文描述可以准确概括图像的语义信息.