文章目录过拟合、欠拟合及其解决方法过拟合问题（high variance）欠拟合问题（high bias）梯度消失及梯度爆炸循环网络进阶
过拟合、欠拟合及其解决方法
过拟合问题（high variance）
过拟合问题：是指模型太过复杂，对训练数据效果好，而对新样本泛化能力较弱。
（训练误差低 验证误差高）
产生过拟合的可能原因，可能为其中之一或者都有：
模型的复杂度过高。如网络太深，神经网络中；或者线性回归中模型的阶次
过多的变量特征
训练数据过少
如何解决过拟合：
降低模型复杂度
减少特征数目
增加数据
正则化等
欠拟合问题（high bias）
欠拟合：指模型太过简单，不能对训练数据效果
2022-05-17 15:17:48
60KB
1
RNN和LSTM都作为分析时序数据的一种神经网络，有区别也有联系，本人自己总结的RNN与LSTM的关系和案例分析。LSTM在RNN的基础上做了改进，使之对较远时间间隔的数据具有更好的记忆保留，
2022-05-07 15:08:25
1005KB
1
本文提出了一种基于循环神经网络的语义完整性分析方法，通过判断句子是否语义完整，将长文本切分成多个语义完整句.首先，对文本进行分词，映射为相应的词向量并进行标注，然后将词向量和标注信息通过循环窗口和欠采样方法处理后，作为循环神经网络的输入，经过训练最后得到模型.实验结果表明，该方法可以达到91.61%的准确率，为主观题自动评分工作提供了基础，同时对语义分析、问答系统和机器翻译等研究有一定的帮助.
2022-05-06 16:23:05
1.12MB
1
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测：
数据集：
tq.csv记录了某地每隔1小时的气象数据：
Date Time：时间（日期是 日月年 的格式）
p (mbar)：大气压
T (degC)：气温
rh (%)：湿度
使用循环神经网络（RNN/LSTM/GRU之一）完成下列功能：输入最近n个小时的气象数据，预测之后24小时的气象数据
生成训练集和测试集：
以2014年及以前的数据为训练集
2015年及以后的数据为测试集
2022-05-03 12:07:01
759KB
1
本文档详细总结介绍了Hopfield网络，循环神经网络，深入浅出，值得学习！通俗易懂，让人恍然大悟！
2022-04-06 13:43:52
1.32MB
1
已有入侵检测模型普遍只针对网络入侵行为的静态特征进行分析检测，造成检测率低及误报率高等缺陷，且无法有效应用低频攻击。为此提出一种新的基于深度循环神经网络（DRNN）和区域自适应合成过采样算法（RA-SMOTE）的组合式入侵检测模型（DRRS）。首先，RA-SMOTE 对数据集中低频攻击样本进行自适应区域划分，实现差别样本增量，从数据层面提升低频攻击样本数量；其次，利用 DRNN 特有的层间反馈单元，完成多阶段分类特征的时序积累学习，同时多隐层网络结构实现对原始数据分布的最优非线性拟合；最后，使用训练好的DRRS模型完成入侵检测。实验结果表明，相比已有入侵检测模型，DRRS在改善整体检测效果的同时显著提高了低频攻击检测率，且对未知新型攻击具有一定检出率，适用于实际网络环境。
2022-02-03 20:32:31
770KB
1