迁移学习vs元学习,二者有什么差异?

2023-05-16

1. 导言

在机器学习领域,有许多技术术语包含“学习”一词。其中一些是深度学习、强化学习、有监督或无监督学习、主动学习、元学习和迁移学习。尽管“学习”这个词很常见,但这些术语却截然不同。它们之间唯一的共同点都出现在机器学习中。

对于那些没有了解过机器学习的人或刚开始研究这一领域的人来说,所有这些术语听起来可能非常相似,并会造成混乱。为了稍微区分一下,我们将用一些例子解释元学习和迁移学习这两个术语。

2. Transfer learning 迁移学习

迁移学习是深度学习中一种非常流行的技术,现有的预训练模型被用于新任务。基本上,我们的想法是将我们为一项特定任务训练的一个神经网络作为另一项任务的起点。有时,当我们需要使用现有的神经网络来执行不同的任务时,例如,将三个类别分类,而不是两个类别,可以只更改网络的最后几层,并将其余保持原样。

如今,在计算机视觉和自然语言处理领域,研究人员和工程师使用巨大的神经网络,这需要大量的计算和时间资源来学习。得益于迁移学习,我们可以将这些模型作为我们任务的起点,并根据我们的目的对其进行微调,而不是每次都对这些模型进行重新训练。当然,原始训练数据与我们的数据集越相似,我们需要做的微调就越少。

2.1 为什么迁移学习有效

迁移学习是可能的,因为神经网络倾向于学习数据中的不同模式。例如,在计算机视觉中,初始层学习线、点和曲线等低级特征。顶层学习建立在低级功能之上的高级功能。大多数模式,尤其是低级模式,对于许多不同的计算机图像数据集是常见的。我们可以使用网络的现有部分,并通过一些调整来重用它们,而不是每次都从头开始学习。

3. Meta-learning 元学习

“元”一词通常表示更全面或更抽象的东西。例如,元宇宙是一个虚拟世界或我们世界中的世界,元数据是提供有关其他数据的信息的数据,等等。

同样,在这种情况下,元学习指的是关于学习的学习。元学习包括从其他机器学习算法的输出中学习的机器学习算法。

通常,在机器学习中,我们试图找出哪些算法最适合我们的数据。这些算法从历史数据中学习来生成模型,这些模型可以稍后用于预测我们任务的输出。元学习算法不直接使用这种历史数据,而是从机器学习模型的输出中学习。这意味着元学习算法需要存在已经在数据上训练过的其他模型。

例如,如果目标是对图像进行分类,则机器学习模型将图像作为输入并预测类,而元学习模型将这些机器学习模型的预测作为输入并基于此预测图像的类。从这个意义上说,元学习比机器学习高出一个层次。

为了更直观地解释元学习的概念,我们将在下面提到几个例子。

3.1 元学习示例

也许,最流行的元学习技术是Stacking(堆叠)。堆叠是一种集成学习算法,它将两个或多个机器学习模型的结果组合在一起。它学习如何最好地将多个预测组合成一个预测。

其想法是使用训练数据来训练作为集成模型一部分的单个模型。然后,这些模型的预测被用作元模型的输入。在这种情况下,这些预测成为元模型的元特征。对于堆叠模型,重要的是使用交叉验证技术(cross-validation)来防止过拟合:

在这里插入图片描述

除此之外,还有许多其他类型的元学习算法。其中一些是:

  • Meta-learning optimizers:优化现有的神经网络,以便利用新数据更快地学习。
  • Metric meta-learning:目的是学习神经网络的嵌入,其中相似输入样本之间的距离变得更近,对于不相似的样本,反之亦然。

4. 总结

在本文中,我们对迁移学习和元学习的概念进行了简要的解释。在一句话中,迁移学习是一种重用现有神经网络的技术,另一方面,元学习是一个关于学习的学习理念。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

迁移学习vs元学习,二者有什么差异? 的相关文章

  • NVM 安装node.js后没有npm

    我们在使用NVM管理工具安装一个新的node后 xff0c 发现没有npm可以使用 参考文档 是因为在使用NVM安装node的时候不会默认安装npm xff0c 所以需要我们自己下载后放到nvm对应的node目录下面 npm下载地址 xff
  • idea项目设置鼠标右键点击文件夹通过IDEA打开

    每次打开idea项目是每次都要打开idea再手动选择项目 xff0c 直接设置成右键打开会很方便 效果图 xff1a 1 首先 win 43 R 输入regedit 打开注册表 2 打开注册表后找到如下路径 xff1a 计算机 HKEY L
  • Java利用Stream统计List中每个元素的个数

    1 传统HashMap 新建HashMap然后for循环List去统计每个元素出现的次数的方法实现 public static Map lt String Integer gt frequencyOfListElements List it
  • Git操作一直要求输入用户名和密码

    通过如下命令配置 xff1a git config global credential helper store git config global user email git config global user name 配置好后再去
  • Linux下的简单线程池

    问题描述 xff1a 在我们的日常生活中 xff0c 如果我们现在要浏览一个网页或者频繁的打开一个执行时间较短的任务 xff0c 如果每次调用都创建一个线程 xff0c 使用结束后就立即释放 xff0c 那么这样的开销对于操作系统来说有点太
  • 对于MYSQL中左对齐右对齐的实现

    在查询表的时候 xff0c 因为是表格的形式 会想要让其左对齐和右对齐的形式 能够看起来舒服一点 书上写的是ltrim rtrim方法 但是具体实现起来并不是很理想 左对齐很快 一开始表格的显示形式就是左对齐 或者用ltrim 右对齐的话
  • 记录罗技键盘从win切换mac的经历

    罗技蓝牙键盘ALT和WIN键 OPT和CMD键 如何对调 今天一直正常使用的罗技K380蓝牙键盘 不知道怎么抽风了 opt键和cmd键位置对调了 也就是windows环境下alt键和win键对调了 在使用复制粘贴快捷键的时候 特别不方便 而
  • IDEA中@author模板的设置

    在设置中查找Editor中的File and Code Templates 具体如下图所示 Created by IntelliJ IDEA 64 Author USER 64 create DATE TIME
  • 解决Win10搜索框没有反应

    刚发现电脑搜索突然不好使 xff0c 这个办法一下就解决了 在状态栏左下角的搜索框搜索OneNote没有任何反应 xff0c 对 xff0c 就是这个地方 最后在另一篇博客上找到了答案 xff0c 那篇博客也是在知乎找到的答案 xff0c
  • mac终端走代理

    mac终端走代理 mac即使打开了代理可以正常上网 xff0c 但终端默认不走代理 xff0c 需要手动配置终端代理 mac终端走代理的方法 span class token operator span 方法一 xff1a xff08 推荐
  • 从数据集CLEVR来看视觉推理的发展

    一 视觉推理的发展 视觉推理 Visual Reasoning 概念的兴起是在Li Fei Fei组提出的 CLEVR 数据集后 xff0c 被大家广泛认识并且越来越多的人开始研究 xff0c 大家提出的各种模型都是为了让机器或者是神经网络
  • Xmanager安装与使用攻略

    文章目录 前言一 工具二 步骤 前言 Xmanager 是一款可以在自己的办公电脑Windows机器下 xff0c 用于远程连接控制服务器Linux UNIX的管理工具 本经验介绍如何在windows上安装xmanager 一 工具 XMa
  • tensorflow的tensor张量如何转化为numpy数组?

    比方说 xff0c a是一个已经定义好的tensor张量 那么直接 xff1a a numpy 即可
  • vnc登录不上解决办法

    备忘 xff01 环境介绍 xff1a ubantu16 04 xff0c 安装了anaconda xff0c QT xff0c cmake xff0c 乱七八糟一堆东西 环境变量也改了很多 xff0c 不知为何会影响vnc桌面的启动 解决
  • js删除数组中的指定对象

    文章目录 实现效果封装工具函数完整demo 实现效果 封装工具函数 思路就是 xff0c 遍历取到每个对象和对应下标 xff0c 通过自定义的函数判断该对象是否删除 xff0c span class token comment 删除数组中指
  • 用OpenCV储存视频时遇到的问题

    用 MJPG 格式储存 34 avi 34 格式时报错 cv2 error OpenCV 3 4 1 io opencv modules videoio src container avi cpp 737 error 215 pos lt
  • debian 10执行提示service: command not found(找不到service命令)解决方法

    debian 10 用 root 执行提示 bash service command not found xff08 找不到 service 命令 xff09 解决方法 问题 想要执行 service xff0c 发现找不到命令 xff0c
  • IAR平台进行编译时常见错误:

    1 IAR编辑时出现如下错误 xff1a Near constant start address 43 size must be less than 错误原因是 xff1a 代码对应的Device 芯片选型错误 解决方法 xff1a 将Ge
  • PHPexcel报出错误‘break‘ not in the ‘loop‘ or ‘switch‘ context

    今天本地改代码改完做测试发现现在的文件中打开是 break 39 not in the 39 loop 39 or 39 switch 39 context 这样的 xff1b 当时一脸懵逼 xff0c 这是一个老项目最近也没动啊怎么回事
  • Linux Centos7 xfsdump文件系统的备份和恢复

    xfs提供了 xfsdump 和 xfsrestore工具 xff0c 协助备份xfs文件系统中的数据 xfsdump按 inode顺序备份一个xfs文件系统 CentOS7默认文件系统是xfs xff0c CentOS6默认文件系统是ex

随机推荐