Detectron2：强大的目标检测库

2025-02-18 08:30:16

Detectron2 Logo

在计算机视觉领域，目标检测是一个重要的研究方向，广泛应用于自动驾驶、安防监控、医疗诊断等场景。Detectron2 是一个由 Facebook AI Research 开发的强大目标检测库，基于 PyTorch，提供了丰富的预训练模型和灵活的配置选项。本文将详细介绍 Detectron2 的主要功能、特点以及使用方法，帮助读者更好地了解和使用这款优秀的工具。

主要功能

基于 PyTorch

Detectron2 基于 PyTorch，利用 PyTorch 的强大功能和灵活性，提供了高效的模型训练和推理能力。无论是模型训练、模型推理还是模型评估，Detectron2 都能提供稳定和高效的服务。

丰富的预训练模型

Detectron2 提供了丰富的预训练模型，包括 Faster R-CNN、Mask R-CNN、RetinaNet、YOLO 等。这些预训练模型经过大规模数据集的训练，能够快速应用于各种目标检测任务。

高性能

Detectron2 采用了高效的实现方式，能够处理大规模数据集和复杂的目标检测任务。无论是单个目标检测还是多个目标检测，Detectron2 都能提供高性能和高精度的结果。

灵活的配置选项

Detectron2 提供了灵活的配置选项，用户可以根据自己的需求进行配置。无论是模型架构、训练参数还是数据集配置，Detectron2 都能提供丰富的配置选项，满足不同的开发需求。

多任务支持

Detectron2 支持多种目标检测任务，包括实例分割、关键点检测和全景分割。这种多任务支持使得 Detectron2 能够适应各种复杂的视觉任务。

数据集支持

Detectron2 支持多种数据集格式，包括 COCO、Pascal VOC 和 Cityscapes。这种数据集支持确保了用户可以方便地进行数据加载和预处理，提高开发效率。

扩展插件

Detectron2 提供了丰富的扩展插件，用户可以根据自己的需求安装和使用不同的插件。插件系统使得 Detectron2 可以根据企业的具体需求进行扩展和定制，提供个性化的解决方案。

实时推理

Detectron2 支持实时目标检测和推理，能够在短时间内完成目标检测任务。这种实时推理功能使得 Detectron2 在需要快速响应的应用场景中非常有用。

可视化工具

Detectron2 提供了强大的可视化工具，用户可以方便地查看和分析目标检测结果。可视化工具包括图像标注、热力图和特征图等，帮助用户更好地理解模型的性能和行为。

使用方法

安装 Detectron2

  1. 安装依赖: 确保你的系统上已经安装了必要的依赖。以下是一些常见操作系统的安装命令：

    • Ubuntu/Debian:

      sudo apt-get update
sudo apt-get install -y python3 python3-pip git

    • macOS:

      brew install python git

    • Windows: 下载并安装 Python from Python 官网。

  2. 安装 PyTorch: 安装 PyTorch 及其相关库：

    pip install torch torchvision torchaudio

  3. 安装 Detectron2: 使用 pip 安装 Detectron2：

    pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu113/torch1.10/index.html

    如果需要 CPU 版本，可以使用以下命令：

    pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cpu/torch1.10/index.html

配置 Detectron2

  1. 下载预训练模型: 下载预训练模型文件：

    wget http://dl.fbaipublicfiles.com/detectron2/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl

  2. 配置文件: 创建一个配置文件，例如 config.yaml，配置模型参数和数据集路径：

    MODEL:
  WEIGHTS: "model_final_f10217.pkl"
  MASK_ON: True
  ROI_HEADS:
    NUM_CLASSES: 81
DATASETS:
  TRAIN: ("coco_2017_train",)
  TEST: ("coco_2017_val",)
SOLVER:
  IMS_PER_BATCH: 2
  BASE_LR: 0.00025
  MAX_ITER: 30000
INPUT:
  MIN_SIZE_TRAIN: (800,)
  MIN_SIZE_TEST: 800

数据集准备

  1. 下载 COCO 数据集: 下载 COCO 数据集并解压：

    wget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
unzip train2017.zip
unzip val2017.zip
unzip annotations_trainval2017.zip

  2. 配置数据集路径: 在配置文件中配置数据集路径：

    DATASETS:
  TRAIN: ("coco_2017_train",)
  TEST: ("coco_2017_val",)

模型训练

  1. 启动训练: 使用 Detectron2 启动训练任务：

    python tools/train_net.py --config-file config.yaml

  2. 监控训练过程: 使用 TensorBoard 监控训练过程：

    tensorboard --logdir output

模型推理

  1. 加载预训练模型: 加载预训练模型并进行推理：
    import detectron2
from detectron2.utils.logger import setup_logger
setup_logger()

import numpy as np
import os, json, cv2, random
from detectron2 import model_zoo
from detectron2.engine import DefaultPredictor
from detectron2.config import get_cfg
from detectron2.utils.visualizer import Visualizer
from detectron2.data import MetadataCatalog, DatasetCatalog

cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # 设置阈值
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")

predictor = DefaultPredictor(cfg)

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

数据集注册

  1. 注册数据集: 注册自定义数据集：

    from detectron2.data.datasets import register_coco_instances
register_coco_instances("my_dataset_train", {}, "train.json", "train")
register_coco_instances("my_dataset_val", {}, "val.json", "val")

  2. 配置数据集: 在配置文件中配置自定义数据集：

    DATASETS:
  TRAIN: ("my_dataset_train",)
  TEST: ("my_dataset_val",)

可视化结果

  1. 可视化检测结果: 使用 Detectron2 提供的可视化工具查看检测结果：

    from detectron2.utils.visualizer import ColorMode

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2, instance_mode=ColorMode.IMAGE_BW)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

  2. 查看热力图: 使用 Detectron2 提供的热力图工具查看特征图：

    from detectron2.utils.visualizer import GenericMask

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

# 查看热力图
import matplotlib.pyplot as plt

masks = outputs["instances"].pred_masks.to("cpu").numpy()
for mask in masks:
    plt.imshow(mask, cmap='gray')
    plt.show()

多任务支持

  1. 实例分割: 使用 Detectron2 进行实例分割：

    cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")

predictor = DefaultPredictor(cfg)

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

  2. 关键点检测: 使用 Detectron2 进行关键点检测：

    cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml"))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.7
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml")

predictor = DefaultPredictor(cfg)

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

扩展插件

  1. 安装插件: 安装 Detectron2 的扩展插件：

    pip install detectron2-extras

  2. 使用插件: 使用插件扩展 Detectron2 的功能：

    from detectron2_extras import MyCustomPlugin

cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5
cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")

predictor = DefaultPredictor(cfg)

im = cv2.imread("input.jpg")
outputs = predictor(im)

v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("output.jpg", out.get_image()[:, :, ::-1])

总结

Detectron2 是一个由 Facebook AI Research 开发的强大目标检测库，基于 PyTorch，提供了丰富的预训练模型和灵活的配置选项。无论是基于 PyTorch、丰富的预训练模型、高性能、灵活的配置选项、多任务支持、数据集支持、扩展插件、实时推理还是可视化工具，Detectron2 都能满足用户的各种需求。

facebookresearch
facebookresearch/detectron2
Detectron2是FAIR的下一代对象检测和分割平台。
Python
Apache-2.0
31.4 k