一些经常需要用到的NLP算法包，有助于学习和使用基于深度学习的文本处理。

自然语言理解 自然语言处理—发展历程 《人工智能应用基础》 CONTENTS 内 容 01 自然语言处理发展历程 《人工智能应用基础》 什么是自然语言处理，自然语言处理的萌芽期、发展期、爆发期及发展现状。 《人工智能应用基础》 自然语言处理（ Natural Language Processing，NLP）是研究人与计算机交互语言问题的一门学科。 其任务大致分为两类——自然语言理解和自然语言生成。 自然语言理解，即如何让机器理解人所说的话，此处的“话”是基于日常生活的语境、不需要发言者有知识储备。 自然语言生成，即如何让机器像人一样说话。 自然语言处理达到这样的目标：人能够畅通无阻地与机器进行交流并没有明显的不适感。 《Python核心技术》 《人工智能应用基础》 20世纪五六十年代，对于自然语言的处理所进行的中心工作出现了两种趋势，依据对自然语言处理的方法和侧重点的不同，大致可划分为两个派别：符号派和随机派。 1959年，布劳宁和布莱德索建立了一套用于文本识别的贝叶斯系统，力求达到对自然语言字符的最优识别与推算。 《人工智能应用基础》 1957年，美国学者英格维在《句法翻译的框架》中

自然语言理解 自然语言处理—基本任务 《人工智能应用基础》 CONTENTS 内 容 02 自然语言处理基本任务 《人工智能应用基础》 中文文本分词、文本表示和命名实体识别 中文文本中词与词之间没有明确的分割标记，而是以连续字符串形式呈现。所以，任何中文自然语言处理任务都必须解决中文序列切分的问题——中文分词。 《人工智能应用基础》 中文分词研究成果被应用到自然语言处理的不同任务中，包括信息检索、机器翻译、语音识别、文本错误识别、中文繁简体自动转换、自动问答等。 中文分词模型算法主要经历了三个阶段，分别是基于匹配的词典分词、基于标注的机器学习算法和基于理解的深度学习算法。 最初的中文分词研究人员认为需要先建立词典，再通过匹配的方法进行分词，这种方法称为机械分词。 《人工智能应用基础》 主要研究问题包括：如何构建一个完备的词典；随着词典规模的不断增加，如何优化词典的存储，更易于查找以提升检索效率；匹配算法如何设计；匹配中出现的歧义切分如何消解。 常见的匹配算法包括：正向最大匹配法或正向最长词优先匹配法(Forward Maximum Matching，FMM)、逆向最大匹配法(Rever

汽车相关方面词库字典，自然语言处理，分词

nlp 短文本情感分析 微博语料库 带标记

基于BM25算法的主题模型优化算法，李宇坤，陈光，本文介绍了一种表示和检测微博热点话题的新方法,该方法发现的话题具有更好的可读性和独立性。不同于传统热点话题发现算法，本文��

问题句子相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义

这是FID预训练好的模型，针对CUB-birds的文本生成图像定量指标训练好的模型 FID分数用于根据预训练网络提取的特征，测量真实图像分布和生成图像分布之间的距离。真实图像在空间中是服从一个分布的（假设为正态分布），而GAN生成的特征也是一个分布，GAN做的事情就是不断训练使这两个分布尽可能的相同。FID就是计算这两个分布直接的距离，使用的距离算法叫做Frechet distance。

该文件时中国科学院大学自动化研究所宗成庆老师所讲自然语言处理课程的考试试卷

本项目是在一个开源中文电子病历数据集上的命名实体识别（NER）任务的源码，其中包含了数据预处理、BERT-BiLSTM模型实现以及训练与测评的完整过程。本人有一篇博客是对其的详细说明，源码也注释详细，简单易读。