本文将介绍经典的网络之循环神经网络（RNN, Recurrent Neural Networks），这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。然而，第一代RNNs网络并没有引起人们着重的注意，这是由于研究人员在利用反向传播和梯度下降算法过程中遭受到了严重的梯度消失问题，阻碍了RNN几十年的发展。最后，于90年代后期出现了重大突破，导致更加准确的新一代RNN的问世。

文章目录过拟合、欠拟合及其解决方法过拟合问题（high variance）欠拟合问题（high bias）梯度消失及梯度爆炸循环网络进阶 过拟合、欠拟合及其解决方法 过拟合问题（high variance） 过拟合问题：是指模型太过复杂，对训练数据效果好，而对新样本泛化能力较弱。 （训练误差低 验证误差高） 产生过拟合的可能原因，可能为其中之一或者都有： 模型的复杂度过高。如网络太深，神经网络中；或者线性回归中模型的阶次 过多的变量特征 训练数据过少 如何解决过拟合： 降低模型复杂度 减少特征数目 增加数据 正则化等 欠拟合问题（high bias） 欠拟合：指模型太过简单，不能对训练数据效果

RNN和LSTM都作为分析时序数据的一种神经网络，有区别也有联系，本人自己总结的RNN与LSTM的关系和案例分析。LSTM在RNN的基础上做了改进，使之对较远时间间隔的数据具有更好的记忆保留，

本文提出了一种基于循环神经网络的语义完整性分析方法，通过判断句子是否语义完整，将长文本切分成多个语义完整句.首先，对文本进行分词，映射为相应的词向量并进行标注，然后将词向量和标注信息通过循环窗口和欠采样方法处理后，作为循环神经网络的输入，经过训练最后得到模型.实验结果表明，该方法可以达到91.61%的准确率，为主观题自动评分工作提供了基础，同时对语义分析、问答系统和机器翻译等研究有一定的帮助.

使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测： 数据集： tq.csv记录了某地每隔1小时的气象数据： Date Time：时间（日期是 日月年 的格式） p (mbar)：大气压 T (degC)：气温 rh (%)：湿度 使用循环神经网络（RNN/LSTM/GRU之一）完成下列功能：输入最近n个小时的气象数据，预测之后24小时的气象数据 生成训练集和测试集： 以2014年及以前的数据为训练集 2015年及以后的数据为测试集

研一机器学习循环神经网络RNN

基于循环神经网络的社交媒体情感分析和可视化 博文情感挖掘

本文档详细总结介绍了Hopfield网络，循环神经网络，深入浅出，值得学习！通俗易懂，让人恍然大悟！

随着视频技术的飞速发展,越来越多的视频应用逐步进入人们的生活中,因此对视频质量的研究很有意义。基于卷积神经网络和循环神经网络强大的特征提取能力并结合注意力机制,提出一种无参考视频质量评价算法。该算法首先利用VGG(Visual Geometry Group)网络提取失真视频的空域特征,然后利用循环神经网络提取失真视频的时域特征,引入注意力机制对视频的空时特征进行重要度计算,根据重要度得到视频的整体特征,最后通过全连接层回归得到视频质量的评价分数。在3个公开视频数据库上的实验结果表明,预测结果与人类主观质量评分具有较好的一致性,与最新的视频质量评价算法相比具有更好的性能。

循环神经网络的结构