5.2 基于特征迁移
基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方
式互相迁移 [Liu et al., 2011, Zheng et al., 2008, Hu and Yang, 2011],来减少源域和目标
域之间的差距;或者将源域和目标域的数据特征变换到统一特征空间中 [Pan et al., 2011,
Long et al., 2014b, Duan et al., 2012],然后利用传统的机器学习方法进行分类识别。根据
特征的同构和异构性,又可以分为同构和异构迁移学习。图 15很形象地表示了两种基于特
征的迁移学习方法。
图 15: 基于特征的迁移学习方法示意图
基于特征的迁移学习方法是迁移学习领域中最热门的研究方法,这类方法通常假设源
域和目标域间有一些交叉的特征。香港科技大学的 Pan 等人 [Pan et al., 2011] 提出的迁移
成分分析方法 (Transfer Component Analysis, TCA)是其中较为典型的一个方法。该方法的
核心内容是以最大均值差异 (Maximum Mean Discrepancy, MMD) [Borgwardt et al., 2006]
作为度量准则,将不同数据领域中的分布差异最小化。加州大学伯克利分校的 Blitzer 等
人 [Blitzer et al., 2006] 提出了一种基于结构对应的学习方法 (Structural Corresponding
Learning, SCL),该算法可以通过映射将一个空间中独有的一些特征变换到其他所有空间
中的轴特征上,然后在该特征上使用机器学习的算法进行分类预测。清华大学龙明盛等
人 [Long et al., 2014b]提出在最小化分布距离的同时,加入实例选择的迁移联合匹配 (Tran-
fer Joint Matching, TJM) 方法,将实例和特征迁移学习方法进行了有机的结合。澳大利亚
卧龙岗大学的 Jing Zhang 等人 [Zhang et al., 2017a] 提出对于源域和目标域各自训练不同
的变换矩阵,从而达到迁移学习的目标。
近年来,基于特征的迁移学习方法大多与神经网络进行结合 [Long et al., 2015a, Long et al., 2016,
Long et al., 2017, Sener et al., 2016],在神经网络的训练中进行学习特征和模型的迁移。由
于本文的研究重点即是基于特征的迁移学习方法,因此,我们在本小节对这类方法不作过多
介绍。在下一小节中,我们将从不同的研究层面,系统地介绍这类工作。
5.3 基于模型迁移
基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目
标域中找到他们之间共享的参数信息,以实现迁移的方法。这种迁移方式要求的假设条
件是:源域中的数据与目标域中的数据可以共享一些模型的参数。其中的代表性工作主要
19
1