### 语言模型 #### 数据预处理 中文语言模型基本都是基于字的模型，因此不需要做太多的操作 #### 文件结构介绍 * config文件：配置各种模型的配置参数 * data：存放训练集和测试集 * data_helpers：提供数据处理的方法 * ckpt_model：存放checkpoint模型文件 * pb_model：存放pb模型文件 * outputs：存放vocab，word_to_index, label_to_index, 处理后的数据 * models：存放模型代码 * trainers：存放训练代码 * predictors：存放预测代码 #### 训练模型 * python train.py --config_path="config.json" #### 预测模型 * 预测代码都在predict.py中，初始化Predictor对象，调用predict方法即可。 * 执行python test.py文件可以生成诗词 #### 模型的配置参数详述 #### char rn：字符级的rnn，基于字符的语言模型 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidden_sizes：rnn隐层大小 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * keep_prob：保留神经元的比例 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径

### 文本分类 #### 数据预处理 要求训练集和测试集分开存储，对于中文的数据必须先分词，对分词后的词用空格符分开，并且将标签连接到每条数据的尾部，标签和句子用分隔符\分开。具体的如下： * 今天 的 天气 真好\积极 #### 文件结构介绍 * config文件：配置各种模型的配置参数 * data：存放训练集和测试集 * ckpt_model：存放checkpoint模型文件 * data_helpers：提供数据处理的方法 * pb_model：存放pb模型文件 * outputs：存放vocab，word_to_index, label_to_index, 处理后的数据 * models：存放模型代码 * trainers：存放训练代码 * predictors：存放预测代码 #### 训练模型 * python train.py --config_path="config/textcnn_config.json" #### 预测模型 * 预测代码都在predictors/predict.py中，初始化Predictor对象，调用predict方法即可。 #### 模型的配置参数详述 ##### textcnn：基于textcnn的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * num_filters：卷积核的数量 * filter_sizes：卷积核的尺寸 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm：基于bilstm的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidden_sizes：lstm的隐层大小，列表对象，支持多层lstm，只要在列表中添加相应的层对应的隐层大小 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm atten：基于bilstm + attention 的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidd

自然语言处理作业 ，实现序列标注、人名地名机构名的命名实体识别 Bi-LSTM+CRF条件随机场 pytorch实现 PS：资源的下载积分会随下载次数自动增加越来越多，如果您积分不够的话可以私信我重置下载分数

本章节主要研究内容：基于PyTorch 深度学习工具来完成短文本分类 知识点 业务需求 文本分类应用场景、技术方案以及挑战 技术架构 文本分析 词向量 CNN 原理 tensorboardX 可视化 项目实战： 基于TextCNN短文本分类，主要从数据预处理、构建此表、Embedding、模型训练、tensorboardX可视化以及在线服务几个重要的环境进行学习 文本分类应用场景 文章分类服务对文章内容进行深度分析，输出文章的主题一级分类、主题二级分类及对应的置信度，该技术在个性化推荐、文章聚合、文本内容分析等场景具有广泛的应用价值. 新闻分类 根据文本描述的内容方向，针对新闻媒体的文章做自动

自然语言处理NLP概要

详细介绍了如何用lstm网络实现给定数据集的垃圾分类识别，并实现roc曲线评估可视化。实验报告，实验ppt全都在压缩包中

id: wordnet; size: 10775600; author: ; copyright: WordNet 3.0 Copyright 2006 by Princeton University. All rights reserved.; license: Permission to use, copy, modify and distribute this software and database and its documentation for any purpose and without fee or royalty is hereby granted, provided that you agree to comply with the following copyright notice and statements, including the disclaimer, and that the same appear on ALL copies of the software, database and documentation, including modifications that you make for internal use or for distribution.... [see webpage for full license];

近些年来，深度学习已经成为处理NLP各种任务的主要方法。由于用图（graph）来表征文本可以更好的获取文本的结构信息，且随着火热的图神经网络的兴起，各种各样的NLP问题开始用图结构的形式来表示和学习。因此，为大量的NLP任务开发新的图深度学习技术就成为了一个必要的需求。

TensorFlow学习之LSTM ---机器翻译（Seq2Seq + attention模型），用于学习机器翻译的TED2015-1中英文的资源

唐唐诗三百首，用于文本生成，古诗生成 诗三百首，用于文本生成，古诗生成 唐诗三百首，用于文本生成，古诗生成 唐诗三百首，用于文本生成，古诗生成