REDN 这是预训练语言模型的关系提取下游网络的原型代码，支持我们 此代码的一部分根据进行了修订。 数据集 您可以从和获取数据集 入门指南 在example / configs.py中设置自己的路径，包括预训练的模型路径，数据的根路径和输出名称。使用args数据集和mode运行example / redn_trainer.py。数据集可以是nyt10，semeval或webnlg。模式可以是t进行训练，e进行评估。例如，要训练SemEval，请尝试 python redn_trainer semeval t 另一个分行 我们基于建立了一个。在实际项目中使用时，它将更加友好和强大，尽管开发人员应该花一些时间来编写数据集读取器。 日志 如果您无法运行这些代码，则还可以检查./logs中的所有日志。

这是google最新推出的语言模型，是对《Attention is what you need》中的Transformer的升级版，它可以用在语言模型、对话系统等任务中。

采用bigram语言模型实现的拼音串智能转换汉字串

本项目利用语言模型实现汉语拼音到文字的转换，程序全面。

使用预训练语言模型BERT做中文NER

A Chinese Deep Speech Recognition System 包括基于深度学习的声学模型和基于深度学习的语言模型

基于pytorch的中文语言模型预训练 ACL2020最佳论文有一篇论文提名奖，《不要停止预训练：使语言模型适应领域和任务》。本文涉及很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。有几个主要方面： 在目标领域的数据集上继续预训练（DAPT）可以提高效果；目标领域的语料与RoBERTa的原始预训练语料越不相关，DAPT效果则提升更明显。 在具体任务的数据集上继续预训练（TAPT）可以十分“廉价”地提升效果。 结合两者（先进行DAPT，再进行TAPT）可以进一步提升效果。 如果能获取更多的，任务相关的无标注数据继续预训练（Curated-TAPT），效果则最佳。 如果

迁移学习从根本上改变了自然语言处理(NLP)的处理范式。许多最先进的模型首先在大型文本语料库上进行预先训练，然后在下游任务上进行微调。

第三章节，讲解N-Gram Language Model

pocketsphinx库学习用的一个简单的语言模型（lm、dic文件），不想自己在线生成的可以下载下来简单测试下