Segment Anything终极指南：零样本分割的革命性突破

Segment Anything终极指南：零样本分割的革命性突破

【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything

Segment Anything Model（SAM）是Meta AI Research开发的革命性图像分割工具，能够通过点或框等简单输入提示生成高质量的物体掩码，甚至可以自动生成图像中所有物体的掩码。SAM已在包含1100万张图像和11亿个掩码的数据集上训练，具备强大的零样本分割能力，彻底改变了计算机视觉领域的物体分割方式。

什么是SAM？核心功能解析

SAM是一个基于深度学习的图像分割模型，其核心优势在于零样本迁移能力——无需针对特定任务重新训练，就能适应各种分割场景。无论是医学影像分析、自动驾驶视觉处理，还是日常图片编辑，SAM都能提供精准高效的分割结果。

图：Segment Anything Model的核心架构，包含图像编码器、提示编码器和掩码解码器三大模块

SAM的工作流程分为三个关键步骤：

1. 图像编码：将输入图像转换为高维特征向量
2. 提示编码：处理用户输入的点、框或文本提示
3. 掩码解码：结合图像特征和提示信息生成精确掩码

惊人的分割效果：从简单提示到复杂场景

SAM能够处理各种复杂场景的分割任务，只需简单的交互提示就能获得精确结果。以下示例展示了SAM在不同物体上的分割效果：

图：SAM通过单点提示对鸵鸟、行人、物体和文字等不同目标的精准分割结果

无论是自然场景中的动物、城市街道上的行人，还是复杂背景下的文字标识，SAM都能通过简单的点击操作实现像素级分割。这种灵活性使其成为设计师、研究人员和开发者的理想工具。

快速上手：3步实现图像分割

环境准备与安装

首先确保你的环境满足以下要求：

• Python ≥ 3.8
• PyTorch ≥ 1.7
• TorchVision ≥ 0.8（建议使用CUDA支持版本）

通过以下命令安装Segment Anything：

pip install git+https://gitcode.com/GitHub_Trending/se/segment-anything.git

或克隆仓库后本地安装：

git clone https://gitcode.com/GitHub_Trending/se/segment-anything cd segment-anything; pip install -e .

安装可选依赖（用于掩码后处理、COCO格式支持和ONNX导出）：

pip install opencv-python pycocotools matplotlib onnxruntime onnx

基础使用示例：点提示分割

以下代码展示了如何使用点提示进行图像分割：

from segment_anything import SamPredictor, sam_model_registry sam = sam_model_registry"<model_type>" predictor = SamPredictor(sam) predictor.set_image(<your_image>) masks, _, _ = predictor.predict(<input_prompts>)

自动生成图像所有物体掩码

无需手动提示，SAM也能自动识别并分割图像中的所有物体：

from segment_anything import SamAutomaticMaskGenerator, sam_model_registry sam = sam_model_registry"<model_type>" mask_generator = SamAutomaticMaskGenerator(sam) masks = mask_generator.generate(<your_image>)

图：使用SAM自动掩码生成器对车辆进行全图分割的效果展示

命令行工具：轻松处理批量图像

SAM提供了便捷的命令行工具，可直接处理图像或文件夹：

python scripts/amg.py --checkpoint <path/to/checkpoint> --model-type <model_type> --input <image_or_folder> --output <path/to/output>

模型导出与部署：ONNX格式支持

SAM的轻量级掩码解码器可导出为ONNX格式，便于在各种环境中部署，包括浏览器端应用：

python scripts/export_onnx_model.py --checkpoint <path/to/checkpoint> --model-type <model_type> --output <path/to/output>

项目中的demo/文件夹提供了一个React单页应用示例，展示了如何在浏览器中运行ONNX模型进行实时分割。

实际应用演示：动态分割效果

下面的动态演示展示了SAM如何通过简单的点选操作实时分割图像中的物体：

图：SAM实时分割演示，通过点击即可精准分割图像中的狗

模型选择：不同需求的最佳配置

SAM提供三种不同 backbone 大小的模型版本，可根据应用需求选择：

• 轻量级模型：适合资源受限环境和实时应用
• 标准模型：平衡速度和精度的通用选择
• 大型模型：最高分割精度，适合对质量要求极高的场景

模型实例化代码：

from segment_anything import sam_model_registry sam = sam_model_registry"<model_type>"

总结：开启图像分割新纪元

Segment Anything Model以其强大的零样本分割能力、简单的使用方式和广泛的适用性，正在改变计算机视觉领域的物体分割范式。无论是科研人员、开发者还是设计爱好者，都能通过SAM轻松实现专业级的图像分割任务。

通过本文介绍的方法，你可以快速上手SAM并将其应用到自己的项目中。探索notebooks/目录中的示例文件，了解更多高级用法和最佳实践，开启你的图像分割之旅！

【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything