语言模型和自动人格预测 该存储库包含论文“ 代码，该论文发表在2020年IEEE国际数据挖掘大会上。 这是一组用tensorflow + pytorch编写的实验，旨在探索Essays数据集（使用Big-五个人格标记的特征）和Kaggle MBTI数据集上使用语言模型进行自动人格检测。 安装 通过以下方式从GitLab提取此存储库： git clone git@gitlab.com:ml-automated-personality-detection/personality.git 有关可通过以下方式安装的相关软件包的列表，请参见requirements.txt： pip -r requirements.txt 用法 首先运行LM提取器代码，该代码将数据集通过语言模型传递，并将（所有图层的）嵌入存储在pickle文件中。 创建此“新数据集”可为我们节省大量计算时间，并允许有效搜索超

基于N元语言模型的文本分类方法.pdf 汉语n元模型统计软件.ppt 基于N元语法的汉语自动分词系统研究.pdf 一种基于N元语法分布的语言模型自适应方法.pdf 语言模型的基本概念.doc N元语言模型的解码算法.doc N元语言模型的训练方法.doc 自动文本分类.pdf

语言模型 python实现uni-gram和bi-gram 使用ppl困惑度对比模型效果 山东大学2019NLP实验1

P-调整 一种新的方法来调整语言模型。 代码和数据集纸``GPT了解到，太“”。

语言模型训练工具，可以进行统计翻译项目，亲测可用。

宗成庆书里面准确率最高的分词算法，代码有点错误，[c t]分母上的统计量应该是统计前几个字出现的字数而不是自身的个数，修改就可以进行分词，细节看里面的标注，参照给出的语料可以使用

NLP项目 自然语言处理项目，其中包括有关以下方面的概念和脚本： gensim ， fastText和tensorflow实现。 参见， doc2vec ， word2vec averaging和Smooth Inverse Frequency实现 对话系统的类别和组成 tensorflow LSTM （请参阅 ，和 ， ） fastText实现 ELMo，ULMFit，GPT，BERT，XLNet的原理 HMM Viterbi实现。 参见，中文解读 Named_Entity_Recognition 通过双向LSTM + CRF，张量tensorflow实现对NER品牌。 参见中文注释，中文解读 7_Information_retrieval 8_Information_extraction 9_Knowledge_graph 10_Text_generation 11

FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:

为解决旅游文本在特征表示时的一词多义问题, 针对旅游游记文本景点实体识别中景点别名的问题, 研究了一种融合语言模型的中文景点实体识别模型. 首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵, BiLSTM用于上下文信息的提取, 同时结合CRF模型提取全局最优序列, 最终得到景点命名实体. 实验表明, 提出的模型性能提升显著, 在实际旅游领域内景点识别的测试中, 与以往研究者方法比较下准确率, 召回率分别提升了8.33%, 1.71%.

该系统实现了基于深度框架的语音识别中的声学模型和语言模型建模，其中声学模型包括CNN-CTC、GRU-CTC、CNN-RNN-CTC，语言模型包含transformer、CBHG，数据集包含stc、primewords、Aishell、thchs30四个数据集。