机器阅读理解(MRC)旨在教机器阅读和理解人类语言,这是自然语言处理(NLP)的长期目标。随着深度神经网络的爆发和上下文语言模型(contextualized language models-CLM)的发展,MRC的研究经历了两个重大突破。作为一种现象,MRC和CLM对NLP社区有很大的影响。
1
词向量模型应用 • 利用词向量的语言学特性完成任务 分布假说:语义相似的词,其词向量空间距离更相近 语义相关性、同义词检测、单词类比 • 将词向量作为特征,提高自然语言处理任务的性能 使用静态词向量,在模型训练过程中,只调整模型参数,不调整入词向量 基于平均词向量的文本分类、命名实体识别等 • 将词向量作为神经网络的初始值(动态词向量),提升神经网络模型的优化效果 使用动态词向量,模型训练过程中会调整词向量的初值 基于卷积神经网络的文本分类、词性标注
2021-08-15 02:00:24 2.57MB 神经网络
循环神经网络(Recurrent Neural Network, RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network) [1] 。 对循环神经网络的研究始于二十世纪80-90年代,并在二十一世纪初发展为深度学习(deep learning)算法之一 [2] ,其中双向循环神经网络(Bidirectional RNN, Bi-RNN)和长短期记忆网络(Long Short-Term Memory networks,LSTM)是常见的循环神经网络 [3] 。 循环神经网络具有记忆性、参数共享并且图灵完备(Turing completeness),因此在对序列的非线性特征进行学习时具有一定优势 [4] 。循环神经网络在自然语言处理(Natural Language Processing, NLP),例如语音识别、语言建模、机器翻译等领域有应用,也被用于各类时间序列预报。引入了卷积神经网络(Convolutional Neural Network,CNN)构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
2021-08-15 02:00:24 3.75MB 循环神经网络
自然语言处理 | (15)使用Pytorch实现RNN(LSTM)语言模型-附件资源
2021-08-01 10:43:18 23B
1
自然语言处理 | (15)使用Pytorch实现RNN(LSTM)语言模型-附件资源
2021-08-01 10:26:44 106B
1
需要将模型转化成c代码
2021-07-07 22:08:57 31KB 编程语言 模型
1
gpt模型介绍资料
2021-07-05 16:07:33 5.19MB 语言模型
1
### 语言模型 #### 数据预处理 中文语言模型基本都是基于字的模型,因此不需要做太多的操作 #### 文件结构介绍 * config文件:配置各种模型的配置参数 * data:存放训练集和测试集 * data_helpers:提供数据处理的方法 * ckpt_model:存放checkpoint模型文件 * pb_model:存放pb模型文件 * outputs:存放vocab,word_to_index, label_to_index, 处理后的数据 * models:存放模型代码 * trainers:存放训练代码 * predictors:存放预测代码 #### 训练模型 * python train.py --config_path="config.json" #### 预测模型 * 预测代码都在predict.py中,初始化Predictor对象,调用predict方法即可。 * 执行python test.py文件可以生成诗词 #### 模型的配置参数详述 #### char rn:字符级的rnn,基于字符的语言模型 * model_name:模型名称 * epochs:全样本迭代次数 * checkpoint_every:迭代多少步保存一次模型文件 * eval_every:迭代多少步验证一次模型 * learning_rate:学习速率 * optimization:优化算法 * embedding_size:embedding层大小 * hidden_sizes:rnn隐层大小 * batch_size:批样本大小 * sequence_length:序列长度 * vocab_size:词汇表大小 * keep_prob:保留神经元的比例 * max_grad_norm:梯度阶段临界值 * train_data:训练数据的存储路径 * eval_data:验证数据的存储路径 * output_path:输出路径,用来存储vocab,处理后的训练数据,验证数据 * word_vectors_path:词向量的路径 * ckpt_model_path:checkpoint 模型的存储路径 * pb_model_path:pb 模型的存储路径
2021-06-21 17:03:09 2.58MB NLP tensorflow
本课程为中国科学院研究生院专业基础课 宗成庆:《自然语言理解》讲义 机器翻译
2021-06-20 16:51:24 83.44MB 机器翻译  语言模型 神经语言模型
1