基于tensorflow1.X版本的中文语言模型(NLP项目)

上传者: 44510615 | 上传时间: 2021-06-21 17:03:09 | 文件大小: 2.58MB | 文件类型: ZIP
### 语言模型 #### 数据预处理 中文语言模型基本都是基于字的模型,因此不需要做太多的操作 #### 文件结构介绍 * config文件:配置各种模型的配置参数 * data:存放训练集和测试集 * data_helpers:提供数据处理的方法 * ckpt_model:存放checkpoint模型文件 * pb_model:存放pb模型文件 * outputs:存放vocab,word_to_index, label_to_index, 处理后的数据 * models:存放模型代码 * trainers:存放训练代码 * predictors:存放预测代码 #### 训练模型 * python train.py --config_path="config.json" #### 预测模型 * 预测代码都在predict.py中,初始化Predictor对象,调用predict方法即可。 * 执行python test.py文件可以生成诗词 #### 模型的配置参数详述 #### char rn:字符级的rnn,基于字符的语言模型 * model_name:模型名称 * epochs:全样本迭代次数 * checkpoint_every:迭代多少步保存一次模型文件 * eval_every:迭代多少步验证一次模型 * learning_rate:学习速率 * optimization:优化算法 * embedding_size:embedding层大小 * hidden_sizes:rnn隐层大小 * batch_size:批样本大小 * sequence_length:序列长度 * vocab_size:词汇表大小 * keep_prob:保留神经元的比例 * max_grad_norm:梯度阶段临界值 * train_data:训练数据的存储路径 * eval_data:验证数据的存储路径 * output_path:输出路径,用来存储vocab,处理后的训练数据,验证数据 * word_vectors_path:词向量的路径 * ckpt_model_path:checkpoint 模型的存储路径 * pb_model_path:pb 模型的存储路径

文件下载

资源详情

[{"title":"( 18 个子文件 2.58MB ) 基于tensorflow1.X版本的中文语言模型(NLP项目)","children":[{"title":"char_rnn","children":[{"title":"data","children":[{"title":"poetry","children":[{"title":"train_data.txt <span style='color:#111;'> 2.56MB </span>","children":null,"spread":false},{"title":"new_train_data.txt <span style='color:#111;'> 2.56MB </span>","children":null,"spread":false},{"title":"eval_data.txt <span style='color:#111;'> 72.27KB </span>","children":null,"spread":false}],"spread":true}],"spread":true},{"title":"__init__.py <span style='color:#111;'> 0B </span>","children":null,"spread":false},{"title":"models.py <span style='color:#111;'> 7.49KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 1.60KB </span>","children":null,"spread":false},{"title":"data_helper.py <span style='color:#111;'> 4.55KB </span>","children":null,"spread":false},{"title":"metrics.py <span style='color:#111;'> 238B </span>","children":null,"spread":false},{"title":".idea","children":[{"title":".gitignore <span style='color:#111;'> 50B </span>","children":null,"spread":false},{"title":"misc.xml <span style='color:#111;'> 188B </span>","children":null,"spread":false},{"title":"workspace.xml <span style='color:#111;'> 1.49KB </span>","children":null,"spread":false},{"title":"inspectionProfiles","children":[{"title":"profiles_settings.xml <span style='color:#111;'> 174B </span>","children":null,"spread":false}],"spread":true},{"title":"char_rnn.iml <span style='color:#111;'> 291B </span>","children":null,"spread":false},{"title":"modules.xml <span style='color:#111;'> 275B </span>","children":null,"spread":false}],"spread":true},{"title":"test.py <span style='color:#111;'> 230B </span>","children":null,"spread":false},{"title":"predict.py <span style='color:#111;'> 3.69KB </span>","children":null,"spread":false},{"title":"config.json <span style='color:#111;'> 543B </span>","children":null,"spread":false},{"title":"train.py <span style='color:#111;'> 6.58KB </span>","children":null,"spread":false}],"spread":false}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明