10.2 灵敏度计算方法 灵敏度计算方法是指在网络进行训练时,或在网络训练结束后,计算节点(输入节 点及隐节点)或连接权对网络误差的贡献(灵敏度),删除那些贡献 小的节点或权。Mozer 和 Smolensky[MoSm1989]提出的方法用于删除输入节点或隐节点,当某一节点的灵敏度 低于预定的阈值时就可删掉该节点。Karnin[Karn1990]提出一种删除权值的方法,该方 法在神经网络学习种动态计算每个连接权的灵敏度,因此计算量较小。网络的节点灵敏 度可近似为每次权值调整时,误差 E 变化量的累计: ∑ − − ∆ ∂ ∂ = 1 0 )()( N i ij f ij f ij ij ij ij ww w nwn w E S , 其中 f ijw 为 E 达 小时的 终连接权值, i ijw 为神经网络的初始权值, N 为训练次数 (epochs)。LeCun 等[LiDe1990]给出的权值灵敏度为 2/2kkkk whs = ,其中 2 2 k kk w E h ∂ ∂ = 。 由于该灵敏度是作了较多假设后得到的,存在误删连接权的可能,故 Hassibi 和 stork[HaSt1993]提出了改进的方法,但计算量较大。小谷学等[小-尾 1996]也对该方法 作了改进。松永丰等[松 -村 1996,松 -中 1991]定义 k 层第 i 个节点的有效度为 ∑∑ + = p M j k i k j k i k i owg 21 )( ,其中 kio 为该节点输出, 1+k j k iw 该节点到 1+k 层第 j 个节点的 连接权,M 和 p 分别为 1+k 层节点数和模式总数。可以在每次学习后直接删除有效度 低的节点,也可以通过有效度进行节点之间的竞争自动淘汰有效度低的节点。 下面我们介绍 Mozer-Smolensky 提出的灵敏度剪枝方法:Skeletonization 方法 [MoSm1989],该方法不仅可以剪除冗余的隐节点,还可以计算每个输入的灵敏度估计。 原始的 Skeletonization 只用于分类,这里我们将 Skeletonization 的灵敏度计算方法 进行改进,使之用于函数逼近时不仅能剪除冗余隐节点,也能剪除不重要的输入节点, 这在非线性系统结构辨识等领域有重要意义。
2022-05-27 15:24:28 1.64MB 神经网络 MATLAB代码 基础教材 BP
1
行测题的固定算法经典法宝.doc
2022-05-27 14:07:58 146KB 算法 文档资料
excel规划求解sql实现方法,在m个数据中找出合计值等于特定值的n个数据,执行效率远远大于excel的效率,在excel几个小时无法求解但在ORACLE数据库(其他数据库同样可以)秒级执行完毕。适用多种数据库
2022-05-27 14:05:23 1KB sql 文档资料 oracle 数据库
考试被分解为测次哦按时间滴哦
2022-05-27 09:07:14 11KB 源码软件
1
手机校准终测的基本原理, 校准测试项介绍, 手机射频元器件详细说明。 现在生产的相同型号手机虽然使用都是相同器件,但这相同器件还是有的一定的偏差,由此组合的手机就必然存在着差异,但这差异是在一定的范围,超出了就视为手机不良。
2022-05-26 17:22:14 618KB 手机校准终测
1
dbForge Studio 2022 for Mysql Enterprise 8.0.40 覆盖即可用
2022-05-26 14:04:01 111.56MB mysql 综合资源 数据库 database
1
利用PSCAD,针对架空输电线路模型的阻抗测量
【亲测可用】【最新】dbForge Studio 2022 SQL Server Enterprise 6.1.14 覆盖即可
2022-05-26 12:03:22 140.79MB 源码软件
1