本文介绍: 迁移学习给定一个标记源域一个标记目标域。这两个领域数据分布不同。迁移学习的目的就是要借助源域知识,来学习目标域的知识(标签)。或是指基于源域数据目标数据、源任务和目标任务之间的相似性,利用在源领域学习到的知识,去解决目标领域任务的一种机器学习方法。Transfer learning的优势在于节省人工标注样本时间,让模型可以通过已有的标记数据source domain data)向未标记数据target domain data迁移

迁移学习:给定一个标记源域一个标记的目标域。这两个领域数据分布不同。迁移学习的目的就是要借助源域知识,来学习目标域的知识(标签)。或是指基于源域数据和目标域数据、源任务和目标任务之间的相似性,利用在源领域中学习到的知识,去解决目标领域任务的一种机器学习方法

Transfer learning的优势在于节省人工标注样本时间,让模型可以通过已有的标记数据(source domain data)向未标记数据(target domain data迁移。从而训练出适用于target domain模型,适合于样本不足的情况。在样本不足的情况下,使用迁移学习,可以将这些通用特征学习从其他已经训练好的网络中迁移过来,从而节省训练时间,并且得到较好的识别结果

领域是由两个基本领域组成:源领域和目标领域。

源领域:有知识、有大量数据标注的领域,是我们要迁移的对象

目标领域:是最终要赋予知识、赋予标注对象

迁移就是从源领域向目标领域进行知识映射

迁移学习按学习方法分类,可以分为四个大类:基于样本的迁移学习方法、基于特征的迁移学习方法、基于模型的迁移学习方法、基于关系的迁移学习方法。

这个主要就是在神经网络里面用的特别多,因为神经网络结构可以直接进行迁移。比如神经网络经典finetune就是模型参数迁移的很好的体现。

Finetune,也叫微调、finetuning,是深度学习中的一个重要概念。简而言之,finetune就是利用别人已经训练好的网络,针对自己的任务再进行调整。

Finetune的优势:不需要针对新任务从头开始训练网络,节省时间成本;预训练好的模型通常都是在大数据集上进行的,无形中扩充了我们的训练数据,使得模型更鲁棒、泛化能力更好;Finetune实现简单,使得我们关注自己的任务即可。在实际应用中,通常几乎没有人会针对自己的新任务从头开始训练一个神经网络。Finetune是一个理想的选择

推荐资源https://github.com/jindongwang/

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注