2.1.2浅层学习和深度学习
机器学习的历史阶段的划分可谓仁者见仁智者见智,从不同的角度可以划分为不同
的阶段。按机器学习模型的层次结构来划分,20世纪80年代至今,机器学习的发展可
以说经历了两个阶段:浅层学习(shallow le锄ing)和深度学习(deep leaming)【27】。
大多数传统的机器学习和信号处理技术,都是利用浅层结构的架构‘301。例如高斯混
合模型(GMMs)、线性或非线性动力系统、条件随机场(CRFs)、最大熵(MaXEnt)
模型、支持向量机(SVMs)、Logistic回归、核回归、多层感知机(MLPs)等等都是
浅层结构。这些结构通常包含一层或两层的非线性特征变换,可以看成是具有一层隐含
层或者没有隐含层的结构。浅层结构在解决一些简单的或者受限的问题中显示出了有效
性,但由于其有限的建模和表征能力,在处理更为复杂的实际的应用时,如人的语音、
自然的声音和语言、自然图像和视觉场景这些自然信号时非常困难。
深度网络,是含有多个隐含层结构的网络。通过引入深度网络,我们可以通过学习
一种深层的非线性网络,来实现复杂函数的逼近,从而计算更为复杂的输入特征【311。由
于每一个隐含层可以对上一层的输出进行非线性变换,因此深度网络拥有比浅层网络更
为优异的表达能力,例如可以通过学习得到更为复杂的函数关系,并且表现出了从少数
样本中学习数据的本质特征的能力。
深度网络最主要的优点在于,它能用更加简单的方式来表示比传统浅层网络大得多
的函数集合,而多层的优势是可以利用较少的参数来表示复杂的函数关系。如图所示,
要表达结构复杂的函数蛔(伽《唧(s加3(x)))),用传统的单层结构很难简洁地表示,而
用多隐含层的深层结构,可以用较少的参数表示较为复杂的函数,用多层的简单结构
s伽(工),x3,e。,cDs(x),抛(x)来表示上述复杂函数容易很多。
12
zkq 20150924
万方数据
2024-02-19 10:46:03
4.42MB
深度学习
1