语言模型 python实现uni-gram和bi-gram 使用ppl困惑度对比模型效果 山东大学2019 NLP实验1

语言模型和自动人格预测 该存储库包含论文“ 代码，该论文发表在2020年IEEE国际数据挖掘大会上。 这是一组用tensorflow + pytorch编写的实验，旨在探索Essays数据集（使用Big-五个人格标记的特征）和Kaggle MBTI数据集上使用语言模型进行自动人格检测。 安装 通过以下方式从GitLab提取此存储库： git clone git@gitlab.com:ml-automated-personality-detection/personality.git 有关可通过以下方式安装的相关软件包的列表，请参见requirements.txt： pip -r requirements.txt 用法 首先运行LM提取器代码，该代码将数据集通过语言模型传递，并将（所有图层的）嵌入存储在pickle文件中。 创建此“新数据集”可为我们节省大量计算时间，并允许有效搜索超

基于N元语言模型的文本分类方法.pdf 汉语n元模型统计软件.ppt 基于N元语法的汉语自动分词系统研究.pdf 一种基于N元语法分布的语言模型自适应方法.pdf 语言模型的基本概念.doc N元语言模型的解码算法.doc N元语言模型的训练方法.doc 自动文本分类.pdf

语言模型 python实现uni-gram和bi-gram 使用ppl困惑度对比模型效果 山东大学2019NLP实验1

P-调整 一种新的方法来调整语言模型。 代码和数据集纸``GPT了解到，太“”。

语言模型训练工具，可以进行统计翻译项目，亲测可用。

宗成庆书里面准确率最高的分词算法，代码有点错误，[c t]分母上的统计量应该是统计前几个字出现的字数而不是自身的个数，修改就可以进行分词，细节看里面的标注，参照给出的语料可以使用

NLP项目 自然语言处理项目，其中包括有关以下方面的概念和脚本： gensim ， fastText和tensorflow实现。 参见， doc2vec ， word2vec averaging和Smooth Inverse Frequency实现 对话系统的类别和组成 tensorflow LSTM （请参阅 ，和 ， ） fastText实现 ELMo，ULMFit，GPT，BERT，XLNet的原理 HMM Viterbi实现。 参见，中文解读 Named_Entity_Recognition 通过双向LSTM + CRF，张量tensorflow实现对NER品牌。 参见中文注释，中文解读 7_Information_retrieval 8_Information_extraction 9_Knowledge_graph 10_Text_generation 11

FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:

为解决旅游文本在特征表示时的一词多义问题, 针对旅游游记文本景点实体识别中景点别名的问题, 研究了一种融合语言模型的中文景点实体识别模型. 首先使用BERT语言模型进行文本特征提取获取字粒度向量矩阵, BiLSTM用于上下文信息的提取, 同时结合CRF模型提取全局最优序列, 最终得到景点命名实体. 实验表明, 提出的模型性能提升显著, 在实际旅游领域内景点识别的测试中, 与以往研究者方法比较下准确率, 召回率分别提升了8.33%, 1.71%.