word2vector:用百科数据和搜狗新闻数据训练word2vec模型

上传者: 42097914 | 上传时间: 2022-11-30 15:36:28 | 文件大小: 345KB | 文件类型: ZIP
中文word2vector词向量实现 说明:背后的原理暂时不做深究, 主要目的就是尽可能快的训练一个中文词向量模型。 环境 笔记本 i5-4210M CPU @ 2.60GHz × 4 , 8G RAM ubuntu16.04lts 独立系统, python 3.6.1 依赖:numpy, scipy, gensim, opencc, jieba 1.获取语料库 1.1维基百科 原始语料文件:zhwiki-latest-pages-articles.xml.bz2 1.6G 1.2 SogouCA 全网新闻数据(SogouCA) 原始语料文件:'news_tensite_xml.full.tar.gz' 746.3 M 2.语料库预处理 2.1 搜狗新闻语料处理 来自若干新闻站点2012年6月—7月期间国内,国际,体育,社会,娱乐等18个频道的新闻数据,提供URL和正文信息 格式说明:

文件下载

资源详情

[{"title":"( 11 个子文件 345KB ) word2vector:用百科数据和搜狗新闻数据训练word2vec模型","children":[{"title":"word2vector-master","children":[{"title":"remove_en_blank.py <span style='color:#111;'> 1.17KB </span>","children":null,"spread":false},{"title":"sogou_corpus_seg.py <span style='color:#111;'> 1.09KB </span>","children":null,"spread":false},{"title":"picture","children":[{"title":"word2vector_train.png <span style='color:#111;'> 355.99KB </span>","children":null,"spread":false}],"spread":true},{"title":"word2vec_test.py <span style='color:#111;'> 359B </span>","children":null,"spread":false},{"title":".idea","children":[{"title":"word2vector.iml <span style='color:#111;'> 460B </span>","children":null,"spread":false},{"title":"misc.xml <span style='color:#111;'> 214B </span>","children":null,"spread":false},{"title":"vcs.xml <span style='color:#111;'> 180B </span>","children":null,"spread":false},{"title":"modules.xml <span style='color:#111;'> 274B </span>","children":null,"spread":false}],"spread":true},{"title":"README.md <span style='color:#111;'> 3.67KB </span>","children":null,"spread":false},{"title":"parse_wiki_xml2txt.py <span style='color:#111;'> 1.06KB </span>","children":null,"spread":false},{"title":"train_word2vec_model.py <span style='color:#111;'> 976B </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明