NLP，AI，自然语言处理

今日头条中文新闻文本(多层)分类数据集

业余项目“萌名NameMoe（一个基于语料库技术的取名工具）”的副产品。已开源在某开源网站，但有用户反馈上不去或网速慢下载不了，现转存一份在CSDN。

历史名人人名方面词库字典，自然语言处理，分词

NLP-test 自然语言处理实验 1. 正向逆向分词 2. 一元二元词频统计 3. 拼音流切分 4. HMM简易中文输入法 目录结构 · seg.py 分词脚本 · ngram.py 统计一元词频、二元词频 · common.py 字符串处理集（包括转换为unicode，全角转半角，半角转全角） · main.py 主程序入口 · core/ Graph.py 有向图结构 InputMethod.py 拼音串转汉字串 Model.py 加载语言模型 · corpus/ 96年人民日报语料 · corpus_seg/ 96年人民日报语料----已切分

TF-IDF结合余弦相似度做相似度分析 TF-IDF 优点：简单快速，结果比较符合实际情况。 缺点：以“词频”“权重”衡量一个词的重要性，仍不够全面 可能一话的词的先后顺序也会影响词语句的表达，TF-IDF无法体现 词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为 重要性相同，这是不正确的 NLP-自然语言处理 *

embedding层代码

基于循环神经网络的新闻话题分类的源码

中文停用词表、哈工大停用词表、百度停用词表、四川大学机器智能实验室停用词库

课程目标 (1)采用PyTorch深度学习工具进行实战操作，掌握PyTorch基本使用； (2)掌握工业界短文本处理解决方案，如：对话系统，智能客服，新闻领域分类等； (3)词向量项目案例应用，掌握文本的表示方法； (4)通过项目案例实战，掌握TextCNN短文本分类在工业界应用，可以直接应用在如下领域 例如：对话系统意图识别，智能客服问答意图识别，资讯短文本分类等文本分类场景。 适用人群 (1)想要从事NLP的在校学生、NLP研发工程师 (2)自然语言处理从业者、深度学习爱好者 课程简介 短文本分类作为自然语言处理的基础技术之一NLP领域的热门应用，常用在对话语言平台，文章分类，智能客服，FAQ智能问答等多个场景。 因此深入掌握短文本分类技术，是作为自然语言处理从业者必备技能，本课程以案例驱动出发，结合多个工业级解决方案，了解当下文本分类实际工业界的应用。 课程要求： （1）开发环境：python版本：Python3.x；PyTorch深度学习工具； （3）学员基础：需要一定的Python基础，及深度学习基础； （4）学员收货：掌握深度学习PyTorch工具使用；掌握Text