**作者：**Changlin Li1, Taojiannan Yang1, Sijie Zhu1, Chen Chen1, Shanyue Guan2

**机构：**University of North Carolina at Charlotte，East Carolina University

**论文全称：**Density Map Guided Object Detection in Aerial Images

**发布时间：**2020

发布期刊：CVPR

论文地址：https://openaccess.thecvf.com/content_CVPRW_2020/papers/w11/Li_Density_Map_Guided_Object_Detection_in_Aerial_Images_CVPRW_2020_paper.pdf

代码：https://github.com/Cli98/DMNet

**创新：**在遥感图像中引入密度图导向的目标检测

一、摘要

Object detection in high-resolution aerial images is a challenging task because of 1) the large variation in object size, and 2) non-uniform distribution of objects. A common solution is to divide the large aerial image into small (uniform) crops and then apply object detection on each small crop. In this paper, we investigate the image cropping strategy to address these challenges. Specififically, we propose a Density-Map guided object detection Network(DMNet), which is inspired from the observation that the object density map of an image presents how objects distribute in terms of the pixel intensity of the map. As pixel intensity varies, it is able to tell whether a region has objects or not, which in turn provides guidance for cropping images statistically. DMNet has three key components: a density map generation module, an image cropping module and an object detector. DMNet generates a density map and learns scale information based on density intensities to form cropping regions. Extensive experiments show that DMNet achieves state-of-the-art performance on two popular aerial image datasets, i.e*. VisionDrone [30] and UAVDT[4].*

• 在高分辨率遥感图像上做目标检测主要有两个难点，分别是：
  • 目标尺寸的大幅度变化
  • 目标分布不均匀
  • 通常解决这两个问题的做法就是将图片切割成小的图像块，然后再在图像块做检测
    • 但是这样存在着将单个目标切割成多个小目标
• 本文提出了一个图像裁剪策略来解决这些问题，并根据所提的图像裁剪策略设计了 Density-Map guided object detection Network(DMNet)
  • **图像裁剪策略的思路：**根据图像生成的密度图上像素的强度分布判断如何进行裁剪，随着像素强度的变化，它能够判断一个区域是否有对象，这反过来又为统计上的裁剪图像提供了指导
  • DMNet主要由三个部分组成：
    • density map generation module：密度图产生模块
    • image cropping module：图像切割模块
    • object detector：目标检测器

二、研究背景

• 航空图像的目标检测的挑战：
  • 由于摄影角度的变化，在航空图像数据集中存在物体尺度的差异
  • 在大多数情况下，不同类别之间的对象数量高度不平衡
  • 遮挡（物体之间）和截断（物体出现在边界上）在航空图像中很常见。
  • 与自然图像数据集相比，小对象所占的比例更大
• 对于航空图像数据集中存在**物体尺度的差异的问题，**近年来的解决方法只是将图像统一的分割或随机的分割，然后将分割后的图像块resize到与原图像一样大小，再输入得到检测器中
  • **好处：**在大部分情况下，能够提升小目标的检测
  • **缺点：**不能利用语义信息进行分割，导致大多数图像块只有背景，而且大尺寸的目标可能被分割成多个部分

三、DMNet

• 总体流程：
  1. 使用一个密度图生成网络（density map generation module），为每个航空图像生成密度图
  2. 分配一个具有平均object（要检测的对象）尺度的窗口，并在密度图上滑动窗口而不重叠，在每个窗口位置，计算窗口内所有（密度）像素强度的和
     1. 因为密度图的强度表示物体在一个位置上出现的概率，所以这可以看作是该窗口中包含object（要检测的对象）的可能性
  3. 应用一个密度阈值来过滤掉整体强度值较低的窗口
     1. 将“0”分配给其强度和值低于阈值的窗口
     2. 将“1”分配给其强度和值高于阈值的窗口
  4. 通过连接组件将指定为“1”的候选窗口合并到区域中，以生成图像裁剪区域
     1. 不同区域中像素强度的变化隐含地提供了上下文信息
  5. 用裁剪后的图像和原图像来训练目标检测器