神经网络模型普遍存在过拟合问题,所以采用增加3层丢弃层避免梯度消失的问题,利用adam优化器自动优化学习率。
本文使用ReLu Activation函数激活参数特征,然后连接Batch Normalization层和Dropout层,再用Flatten层对数据进行平滑处理,最后将数据输入两个堆叠的LSTM层输出预测数据。 经过多次调整超参数后,确定丢弃率为0.15。
为该单特征LSTM模型的损失变化图。由图可见,该模型损失函数的下降速度极快,在训练次数达到三百次左右时,损失已经基本维持在0附近,并逐步趋于平稳,说明该模型能够很快地收敛到一个较优的参数状态,避免了过拟合或欠拟合的问题。该模型的整体MAPE最低时达到10.69%,整体的拟合程度较高。
1