1.手动实现前馈神经网络解决上述回归、二分类、多分类任务 分析实验结果并绘制训练集和测试集的loss曲线 2.利用torch.nn实现前馈神经网络解决上述回归、二分类、多分类任务 分析实验结果并绘制训练集和测试集的loss曲线 3.在多分类实验的基础上使用至少三种不同的激活函数 对比使用不同激活函数的实验结果 4.对多分类任务中的模型评估隐藏层层数和隐藏单元个数对实验结果的影响 使用不同的隐藏层层数和隐藏单元个数，进行对比实验并分析实验结果 5.在多分类任务实验中分别手动实现和用torch.nn实现dropout 探究不同丢弃率对实验结果的影响（可用loss曲线进行展示） 6.在多分类任务实验中分别手动实现和用torch.nn实现L2正则化 探究惩罚项的权重对实验结果的影响（可用loss曲线进行展示） 7.对回归、二分类、多分类任务分别选择上述实验中效果最好的模型，采用10折交叉验证评估实验结果 要求除了最终结果外还需以表格的形式展示每折的实验结果

## 1.前馈神经网络 一种单向多层的网络结构，信息从输入层开始，逐层向一个方向传递，一直到输出层结束。前馈是指输出入方向是前向，此过程不调整权值。神经元之间不存在跨层连接、同层连接，输入层用于数据的输入，隐含层与输出层神经元对数据进行加工。 ## 2.反向传播算法 （英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。 ## 3.BP神经网络： 也是前馈神经网络，只是它的参数权重值是由反向传播学习算法调整的。 ## 4.总结： 前馈描述的是网络的结构，指的是网络的信息流是单向的，不会构成环路。它是和“递归网络”(RNN)相对的概念；BP算法是一类训练方法，可以应用于FFNN，也可以应用于RNN，而且BP也并不是唯一的训练方法，其

资源代码实现了bp全连接神经网络代码 不使用pytorch，tensorflow等神经网络学习框架 一、功能实现： 1.实现自动求导功能 2.实现adam学习率优化器代码，可以提升学习率，加快收敛 3.numpy实现矩阵运算 4.实现softmax交叉熵损失函数 5.实现递归运算每一层神经网络 6.实现训练过程中损失函数loss下降显示，使用matplot实现 二、作用： 1.方便刚入门的小伙伴入门学习神经网络，了解神经网络工作的几大部分 前向计算，激活函数，损失函数，求导 2.复现论文的adam优化器实现，实现一阶矩估计，二阶矩估计 三、能学到什么： 1.adam优化器实际代码实现 2.求导过程计算 3.matplot显示图表 4.numpy矩阵运算实现 5.递归实现层集计算 四、阅读须知： 1.参考本代码之前需要先了解bp神经网络的构成 2.此资源未使用框架，求导也是代码实现，主要是公式求导，后期会推出计算图求导的版本 3.不包含cnn卷积神经网络，不适用于特征提取，后续可能会增加cnn模块 4.本资源目前只实现relu激活函数，需要验证sigmod等激活函数可以自行添加

具有随机权重的前馈神经网络的迭代学习算法

本程序实现了在PyTorch中利用前馈神经网络实现复杂函数拟合。主要包括基于nn.Module的神经网络搭建和训练方法和数据集生成、分割方法。展示了通过调参分析和模型训练过程，评估各种超参数对训练过程、模型性能的影响，并将测试结果可视化。

本程序实现了在PyTorch中利用前馈神经网络实现复杂函数拟合。主要包括基于nn.Module的神经网络搭建和训练方法和数据集生成、分割方法。展示了通过调参分析和模型训练过程，评估各种超参数对训练过程、模型性能的影响，并将测试结果可视化。

本程序实现了在PyTorch中利用前馈神经网络实现复杂函数拟合。主要包括基于nn.Module的神经网络搭建和训练方法和数据集生成、分割方法。展示了通过调参分析和模型训练过程，评估各种超参数对训练过程、模型性能的影响，并将测试结果可视化。

本程序实现了在PyTorch中利用前馈神经网络实现复杂函数拟合。主要包括基于nn.Module的神经网络搭建和训练方法和数据集生成、分割方法。展示了通过调参分析和模型训练过程，评估各种超参数对训练过程、模型性能的影响，并将测试结果可视化。

本程序实现了在PyTorch中利用前馈神经网络实现复杂函数拟合。主要包括基于nn.Module的神经网络搭建和训练方法和数据集生成、分割方法。展示了通过调参分析和模型训练过程，评估各种超参数对训练过程、模型性能的影响，并将测试结果可视化。

前馈神经网络续ppt课件.ppt