目录
一、前言
今天亲手体验了一下meta公司发布的Segment Anything，我们认为是cv界的chatgpt，这个模型太厉害了，厉害到可以对任意一张图进行分割，他们的网站上的例子也是挺复杂的，能够说明其强大的能力—demo链接，人工智能的技术迭代真是太快了。在模型的介绍中，有句话着实惊人——号称：“SAM已经学会了物体是什么的一般概念”:
通常人们认为，人工智能大致可以分为三个阶段：
（1）弱人工智能（Weak AI）
弱人工智能（Weak AI）简称弱智，指特定场景解决特定领域的问题。比如前段时间出现的AlphaGo，实现了围棋领域的的人工智能。
（2）强人工智能（General AI）
强人工智能更贴切的翻译是通用人工智能，就是以ChatGPT为代表的完全人工智能，能够适应人类大部分甚至是所有工作领域的一类人工智能。可以说我们如今，正在处于通用人工智能技术突破的时间转折点上。
（3）超人工智能（Super AI）
顾名思意，这个时候，人工智能在人类定义的”智能“领域已经全面超过了人类，随着量子计算等技术发展，相信实现是时间问题。真希望这个时代晚点到来，或者那时候，人类或许已经和超人工智能实现了融合，成为了新一代的超人。也希望那个时代，人类的道德境界也实现了满格。
二、SAM的一些介绍
2.1 模型的结构是什么？
- ViT-H 图像编码器，每个图像运行一次并输出图像嵌入
- 嵌入输入提示（如单击或框）的提示编码器
- 基于转换器的轻量级掩码解码器，可从图像嵌入和提示嵌入中预测对象掩码
2.2 支持哪些类型的提示？
- 前景/背景点
- 边界框
- 遮罩
2.3 该模型使用什么平台？
- 图像编码器在 PyTorch 中实现，需要 GPU 才能进行高效推理。
- 提示编码器和掩码解码器可以直接使用 PyTroch 运行，也可以转换为 ONNX，并在支持 ONNX 运行时的各种平台上的 CPU 或 GPU 上高效运行。
2.4 模型有多大？
- 图像编码器具有632M参数。
- 提示编码器和掩码解码器具有4M参数。
2.5 推理需要多长时间？
- 图像编码器在 NVIDIA A0 GPU 上需要 ~15.100 秒。（没查到这款GPU，有知情的评论区告知）
- 提示编码器和掩码解码器在浏览器中使用多线程 SIMD 执行的 CPU 上占用 ~50 毫秒。
2.6 训练模型需要多长时间？
- 该模型在 3 个 A5 GPU 上训练了 256-100 天。
2.7 模型是在哪些数据上训练的？
- 该模型在meta的SA-1B数据集上进行了训练。
2.8 模型是否生成掩码标签？
- 否，模型仅预测对象掩码，不生成标签。
三、象棋抠图测试
笔者上传了自己的一个棋盘图片，利用Segment Anything提供的模型工具进行了测试，测试结果发现，能够很好地抠出棋盘中的棋子。
3.1、图片上传
3.2、鼠标物体响应
上传后，通过一点时间的识别后，把鼠标放到图片上面，就可以对上面的棋子做出响应，显然自动分离出了棋子棋盘。有一点厉害的是，它把棋子的厚度也给识别出来，认为也是棋子的一部分。
3.3、一键扣图
Segment Anything提供了手动框选分割功能，此外还有一个牛逼的功能是，自动对图像进行分割：
点击自动分割后，可以准确的识别出棋子：
识别完后，它会自动切出分离的物体如下32个棋子一个不少：
四、运动场景测试
输入一张随机的羽毛球图片：
识别结果如下：
好吧，我承认，我用opecv远远还不能达到以上的效果。
五、后记
以上的象棋、羽毛球图片其实场景并不复杂，比它网站上面的图片要简单的多，但是足够可以说明一件事，该模型可以胜任多个领域的机器视觉任务，或者是给各领域的cv工作者提供了底层解决方案或者思路。
版权归原作者 JAMES费 所有， 如有侵权，请联系我们删除。