维基百科词向量 sgns.wiki.char.bz2解压后文件后缀名是.char, 可以通过一些方法得到.txt结尾的文件,有35万多个字词和符号,300维的向量表示。将词向量作为词嵌入层时需要加载全部的词向量到内存,如果计算机的内存不够大,会直接内存溢出。所以,截取8000,20000个词汇的词向量进行使用,在配置普遍的设备也能运行。该项目提供了100多个使用不同表示(密集和稀疏),上下文特征(单词,ngram,字符等)和语料库训练的中文单词向量(嵌入)。人们可以很容易地获得具有不同属性的预训练向量,并将它们用于下游任务。
1
资源来源 https://github.com/Embedding/Chinese-Word-Vectors
2022-01-31 16:08:26 707.81MB 自然语言处理 人工智能 nlp 中文词向量
1
使用gensim对维基百科作为预训练语料(约1.6G语料),生成词汇量约13000个词汇,维度为300,文件大小为45.6MB。使用方法,参考博客:https://blog.csdn.net/qq_36426650/article/details/87738919
2021-11-30 14:55:25 32.97MB NLP word2vec中文词向量 自然语言处理
1
NLP民工的乐园 最强大的NLP武器库 NLP民工的乐园:几乎最全的中文NLP资源库 词库 工具包 学习资料 在入门到熟悉NLP的过程中,用到了很多github上的包,遂整理了一下,分享在这里。 很多包非常有趣,值得收藏,满足大家的收集癖!如果觉得有用,请分享并star,谢谢! 长期不定时更新,欢迎手表和叉子! 涉及内容包括但不限于:中英文敏感词,语言检测,中外手机/电话归属​​地/运营商查询,名字,名称,性别,手机号撤回,身份证删除,邮箱删除,中日文人名库,中文缩写库,拆字字典,词汇情感值,替换词,反动词表,暴恐词表,繁简体转换,英文模拟中文最佳,汪峰歌词生成器,职业名称词库,词典库,反义词库,否定词库,汽车品牌词库,汽车零件词库,连续英语切割,各种中文词向量,公司名称大全,古诗词库,IT词库,财经词库,成语词库,地名库,历史名人词库,诗词词库,医学词库,饮食词库,法律词库,汽车词库,动
2021-11-25 15:48:32 69.21MB Python
1
100 Chinese Word Vectors 上百种预训练中文词向量
2021-09-29 16:21:15 347KB Python开发-自然语言处理
1
使用GWE(中文字形特征提取)预训练词向量(1.6GB维基百科语料),维度为300,词汇量约13000,文件大小为41.2MB
2021-09-13 09:25:42 56.93MB 自然语言处理 预训练词向量
1
中文单词向量 该项目提供了100多个中文单词向量(嵌入),它们经过不同表示(密集和稀疏),上下文特征(单词,ngram,字符等)和语料库的训练。 可以轻松获得具有不同属性的预训练向量,并将其用于下游任务。 此外,我们提供了一个中文类比推理数据集CA8和一个评估工具包,供用户评估其词向量的质量。 参考 如果使用这些嵌入和CA8数据集,请引用该论文。 沉力,赵哲,胡仁芬,李文思,刘涛,杜小勇, ,ACL 2018。 @InProceedings{P18-2023, author = "Li, Shen and Zhao, Zhe and Hu, Renfen and Li, Wensi and Liu, Tao and Du, Xiaoyong", title = "Analogical Reasoning on Chinese M
2021-06-03 19:26:17 354KB word-embeddings embeddings chinese embedding
1
使用维基百科训练简体中文词向量-附件资源
2021-05-11 03:43:54 106B
1
使用gensim对维基百科作为预训练语料(约1.6G语料),生成词汇量约13000个词汇,维度为300,文件大小为45.6MB。使用方法,参考博客:https://blog.csdn.net/qq_36426650/article/details/87738919
2021-03-21 12:55:40 45.65MB 自然语言处理 预训练词向量
1
python synonyms中所需的中文词向量文件,下载后请放置于/root/anaconda3/lib/python3.6/site-packages/synonyms/data/words.vector.gz
2021-02-18 18:07:14 158.23MB synonyms 中文词向量