自然语言处理之文本主题判别
问题发现：
本次案例为工作中遇到的实际问题，在语音识别中的语料准备部分，需要从网络中爬取相当数量的相关文本，其中发现爬取到了一些不相关的内容，如何把这些不相关的内容剔除掉成为笔者需要思考的问题。
初步思考：
遇到此问题笔者第一时间考虑是将文本分词后向量化，使用聚类看一下分布情况，然而发现在不同训练集中，训练样本变化时，向量随之变化，在测试集中表现一般，在实测中几乎无用。于是想到向量化的方法问题，使用sklearn CountVectorizer方法进行向量化，仅仅是将所有词频无序的向量化，看到另外博文时，发现应该先将目标主题的文本进行词频统计，将统计结果当做向量化模板，实测发现效果不错，现将此方法分享给大家
文件下载
评论信息
其他资源
- TC358775XBG.pdf
- 图书管理基本业务活动
- 基于java web学生信息管理系统的设计与实现
- 基于android studio的蓝牙模块
- 中控门禁PullSDK
- vivado FFT 9.0版本AXIS总线 IP使用及仿真
- MATLAB源码集锦-基于Busacker-Gowan迭代算法最小费用流代码
- opendaylight入门教程
- plo编译器 c语言 含测试实例 以及实验报告
- protues仿真模拟红外遥控器
- mysql-connector-java-5.1.17-bin.jar
- cc1101的各种单片机的C程序资料
- dom4j完整版.zip
- ( FPGA的CMI编码设计与实现
- 一卡通卡盟破解
- CodeSnitch破解版，支持WINCE6.0
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明