2浅层学习和深度学习-2020考研复试综合面试讲义

2．1．2浅层学习和深度学习 机器学习的历史阶段的划分可谓仁者见仁智者见智，从不同的角度可以划分为不同 的阶段。按机器学习模型的层次结构来划分，20世纪80年代至今，机器学习的发展可 以说经历了两个阶段：浅层学习(shallow le锄ing)和深度学习(deep leaming)【27】。 大多数传统的机器学习和信号处理技术，都是利用浅层结构的架构‘301。例如高斯混 合模型(GMMs)、线性或非线性动力系统、条件随机场(CRFs)、最大熵(MaXEnt) 模型、支持向量机(SVMs)、Logistic回归、核回归、多层感知机(MLPs)等等都是 浅层结构。这些结构通常包含一层或两层的非线性特征变换，可以看成是具有一层隐含 层或者没有隐含层的结构。浅层结构在解决一些简单的或者受限的问题中显示出了有效 性，但由于其有限的建模和表征能力，在处理更为复杂的实际的应用时，如人的语音、 自然的声音和语言、自然图像和视觉场景这些自然信号时非常困难。 深度网络，是含有多个隐含层结构的网络。通过引入深度网络，我们可以通过学习 一种深层的非线性网络，来实现复杂函数的逼近，从而计算更为复杂的输入特征【311。由 于每一个隐含层可以对上一层的输出进行非线性变换，因此深度网络拥有比浅层网络更 为优异的表达能力，例如可以通过学习得到更为复杂的函数关系，并且表现出了从少数 样本中学习数据的本质特征的能力。 深度网络最主要的优点在于，它能用更加简单的方式来表示比传统浅层网络大得多 的函数集合，而多层的优势是可以利用较少的参数来表示复杂的函数关系。如图所示， 要表达结构复杂的函数蛔(伽《唧(s加3(x))))，用传统的单层结构很难简洁地表示，而 用多隐含层的深层结构，可以用较少的参数表示较为复杂的函数，用多层的简单结构 s伽(工)，x3，e。，cDs(x)，抛(x)来表示上述复杂函数容易很多。 12 zkq 20150924 万方数据