迁移学习并不是一个横空出世的概念,它与许多已有的概念都有些联系,但是也有着一些区别。我们在这里汇总一些与迁移学习非常接近的概念,并简述迁移学习与它们的区别和联系。
迁移学习属于机器学习的一类,但它在如下几个方面有别于传统的机器学习:
比较项目 | 传统机器学习 | 迁移学习 |
---|---|---|
数据分布 | 训练和测试数据服从相同的分布 | 训练和测试数据服从不同的分布 |
数据标注 | 需要足够的数据标注来训练模型 | 不需要足够的数据标注 |
模型 | 每个任务分别建模 | 模型可以在不同任务之间迁移 |
多任务学习指多个相关的任务一起协同学习;迁移学习则强调知识由一个领域迁移到另一个领域的过程。迁移是思想,多任务是其中的一个具体形式。
终身学习可以认为是序列化的多任务学习,在已经学习好若干个任务之后,面对新的任务可以继续学习而不遗忘之前学习的任务。迁移学习则侧重于模型的迁移和共同学习。
领域自适应问题是迁移学习的研究内容之一,它侧重于解决特征空间一致、类别空间一致,仅特征分布不一致的问题。而迁移学习也可以解决上述内容不一致的情况。
增量学习侧重解决数据不断到来,模型不断更新的问题。迁移学习显然和其有着不同之处。
自我学习指的是模型不断地从自身处进行更新,而迁移学习强调知识在不同的领域间进行迁移。
协方差漂移指数据的边缘概率分布发生变化。领域自适应研究问题解决的就是协方差漂移现象。