[分割一切!] SegmentAnything真的太强了

2023-11-16

相信大家最近都听说了Meta开源了一个图像分割模型【SegmentAnything Model】,简称SAM模型,号称分割一切,在短短开源的一周内,截止今天Github已经24k的star了!

看了很多推文各种炸裂的词都出来了,最近也是体验了一下,真就给我当头一棒,头皮发麻,因为这个模型直接宣告了我们一些流程完全不需要深入研究了,就用SAM就行。

王者的诞生

提到Meta大家可能不知道这个是什么公司,但是提到Facebook大家都知道,而Meta就是改名后的Facebook,而我们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?我们看看官方的介绍:

多元化交互

目前官方的demo支持交互式标注,可以通过画框、鼠标点击来获取分割的区域,此外还可以一键分割一切,轻轻点一下,将分割结果实时展示出来,并且对于不太确定的类别提供了多个有效的区域,举个例子,如果一堆草地里面会有花、花瓣也会分割出来,你可以根据阈值进行调整。

支持三维

SAM模型的输出结果可以作为其他AI的输入,比如下图的视频里不断被追踪分割椅子,进而提取出椅子的特征,可以生成椅子的三维模型。

集成应用

SAM的可提示设计使其能够与其他系统灵活整合,如图右,输入文本可以根据我们文本进行分割;如图左,可以根据AR眼睛的注视范围(一个点表示)然后分割出物体并且给出它的类别,这个和Meta本身的VR方向完全是相辅相成了。

0训练

官方宣传SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图像进行概括,而不需要额外的训练。

初步体验

好了好了,讲这么多,听起来也没啥感觉吧,不如实际体验一下。

这里我先上传了一个高分辨率无人机拍的png:


可以看到草坪、人行道、车辆分割的非常完美,而右下角的空地要素较多也进行了分类,水潭是水潭、草坪是草坪、荒地是荒地。

使用框选的话,首先会把右下角分为一个整体:

然后后续使用SegmentAnything会给出更精细的分割:

而且输出很棒,可以直接将分割的区域进行输出

然后我还试了其他图片,在没有进行训练的情况下,SAM还是把树一颗一颗的分别出来了,并且排除了阴影:

不训练效果都这么好,迁移一下模型,不得起飞(笑)

总结

总体体验下来,SAM最大的大招和冲击那就是样本标注,这种精细化交互式标注将杀死我们以前纯人工划区域的方式,并且大大提高样本的精度和降低样本标注的成本!

还在用labelIMG传统标注?来体验一下SAM模型的赛博标注吧!
https://segment-anything.com/

展望

在研一上人工智能的数学原理的时候,数院教授就和我们说深度学习其实已经进入了瓶颈期,未来将是深度学习应用的爆发期,当时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的应用的出现,让我身临其境的感悟了大模型的魅力。相信后面还是应用的爆发期,大家的公司可以开起来了。

这里是GIS宇宙,我们下期再见~

商业合作请私信公众号

本人其他平台账号:

  • 微信公众号:GIS宇宙
  • CSDN:GIS_宇宙
  • 知乎:GIS宇宙
  • 掘金:GIS宇宙
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

[分割一切!] SegmentAnything真的太强了 的相关文章

随机推荐

  • 华为机试题:HJ107 求解立方根(python)

    文章目录 1 题目描述 2 Python3实现 3 知识点详解 1 input 获取控制台 任意形式 的输入 输出均为字符串类型 1 1 input 与 list input 的区别 及其相互转换方法 2 print 打印输出 3 whil
  • MyBatis中Like模糊查询的几种写法和注意点

    目录 友情提醒 第一章 Mybatis中SQL语句的模糊查询 1 1 第一种方式 直接双引号拼接 1 2 第二种方式 数据库为MySQL时用CONCAT 函数 1 3 第三种方式 bind元素 友情提醒 先看文章目录 大致了解知识点结构 直
  • spring cloud alibaba 学习(三)Nacos-NacosNamingService初始化流程

    1 NacosServiceManager 的创建 Configuration proxyBeanMethods false ConditionalOnDiscoveryEnabled ConditionalOnNacosDiscovery
  • linux shell脚本

    微信可以设置雪花昵称了 真漂亮 一 Shell中有许多预定义的特殊字符 n n是一个数字 大于10则用大括号括起来 12 代表程序的第n个参数 总共有多少个参数 指所有的参数 指所有的参数 上次命令执行的返回值 注意 我们发现 和 的意思是
  • 计算机网络-04 网络路由

    第四讲 网络路由 给每次数据传输确定一个端到端的路径 通常是找到两点之间的最小代价路径 保存在路由器的转发表FIB中 基于分布式计算 网络模型用无向图表示 节点是网络设备 路由器 节点间链路是带权重的边 权重即链路开销 可以是延迟 拥塞程度
  • PHP: 深入pack/unpack

    PHP作为一门为web而生的服务器端开发语言 被越来越多的公司所采用 其中不乏大公司 如腾迅 盛大 淘米 新浪等 在对性能要求比较高的项目中 PHP也逐渐演变成一门前端语言 用于访问后端接口 或者不同项目之间需要共享数据的时候 通常可以抽取
  • 外部中断库函数

    外部中断 STM32外部中断简介 GPIO 跟中断线的映射关系 主函数讲解 外部中断初始化函数 STM32外部中断简介 STM32 的每个 IO 都可以作为外部 中断的中断输入口 这点也是 STM32 的强大之处 STM32F103 的中断
  • selenium浏览器驱动下载

    Chrome谷歌浏览器 下载地址 http chromedriver storage googleapis com index html 不同的Chrome的版本对应的chromedriver exe 版本也不一样 下载时不要搞错了 如果是
  • 升压BOOST电路和降压BUCK电路最容易的理解

    升压电路框图 首先在了解BOOST电路时 要学会如何分析最简单的升压电路框图 如图 首先识别每个元件基本功能 电感 储能i电感 MOS管 开关作用 二极管 续流 电容 储能电容 了解升压电路的原理 要明白Vout和Vin的差别 所以我们从V
  • Centos 7 - Anaconda3 安装教程及报错集锦 - 取消自动激活 base 环境方法

    目录 序言 1 报错 WARNING cannot verify mirrors tuna tsinghua edu cn s certificate issued by C US O Let s Encrypt CN R3 Issued
  • 人工智能之深度学习-初始环境搭建(安装Anaconda3和TensorFlow2步骤详解)

    Python微信订餐小程序课程视频 https edu csdn net course detail 36074 Python实战量化交易理财系统 https edu csdn net course detail 35475 前言 本篇文章
  • ubuntu16.04 编译ARM平台qt5.12.3

    环境 系统 ubuntu16 04 开发板 IMAX8 IMAX8交叉编译工具aarch64 linux gnu 编译步骤 1 配置交叉编译环境 sudo gedit etc bash bashrc 在最后一行加入交叉编译工具的bin目录
  • TypeScript 快速入门

    目录 第一章 快速入门 0 TypeScript简介 1 TypeScript 开发环境搭建 2 基本类型 3 编译选项 4 webpack 5 Babel 第一章 快速入门 0 TypeScript简介 TypeScript是JavaSc
  • 整数类型

    C 中提供的整数类型有三种 int long short 每种类型又分为有符号和无符号两种类型 有符号整数既可以表示非负整数 又可以表示负整数 但是 无符号整数不能表示负数 只能表示非负整数 一 无符号整数 在内存中 int整数通常占4字节
  • NFC----PN532

    一 PN532简介 1 1 PN532由NXP出品 是一款高度集成的载波的13 56MHz传输模块 基于80C51内核有40KROM 1KRAM 使用不同的固件支持13 56MHz频段的无线协议 硬件接口 I2C SPI 高速UART HS
  • 网络阶段总结

    网络阶段总结 1 网络访问常用代码格式 NSURL url nil NSURLRequest requst NSURLRequest requestWithURL url cachePolicy 0 timeoutInterval 10 0
  • 机器学习算法学习一--------学习链接

    1 这个github是java的机器学习算法 对于我这个java程序员来说 挺不错的点击打开链接 2 这个博客基础理论不错点击打开链接
  • -bash: cannot create temp file for here-document: No space left on device

    1 现象 登陆Linux系统后 cd 到某个指定目录时使用tab键的时候报以下错误 bash cannot create temp file for here document No space left on device 2 原因 不能
  • Vue项目中使用el-form校验用户输入字段是否符合条件验证-demo

    实现效果 实现 div class registerWarp div
  • [分割一切!] SegmentAnything真的太强了

    相信大家最近都听说了Meta开源了一个图像分割模型 SegmentAnything Model 简称SAM模型 号称分割一切 在短短开源的一周内 截止今天Github已经24k的star了 看了很多推文各种炸裂的词都出来了 最近也是体验了一