作者：Jiangmiao Pang, Linlu Qiu, Xia Li, Haofeng Chen, Qi Li, Trevor Darrell, Fisher Yu

作者单位：浙江大学；佐治亚理工学院；苏黎世联邦理工学院；斯坦福大学；伯克利

发布时间：2021

发布期刊：CVPR(Oral)

论文全称：Quasi-Dense Similarity Learning for Multiple Object Tracking

论文地址：https://arxiv.org/abs/2006.06664

论文代码：https://github.com/SysCV/qdtrack

论文主页：https://www.vis.xyz/pub/qdtrack/

个人理解

• 创新点：
  1. 在Faster R-CNN的头部增加了一个embedding head（平行于原始的bounding box head），用于提取RPN产生的RoI的特征embedding
  2. 提出了拟密集相似性学习策略（quasi-dense similarity learning），使用RPN产生的RoI和拟密集匹配来学习目标相似性，即从密集连接的对比对中学习实例的相似性。
  3. 提出了Bi-directional softmax（双向softmax），用bi-softmax来衡量特征空间中的对象之间的相似性，然后使用一个简单的最近邻搜索算法将对象关联起来
• **为什么：**作者认为目前已有的MOT方法，对跟踪目标的外观特征表达利用得不充分，仅仅只使用稀疏的GT边界框对于的特征来学习物体的外观是远远不够的，并且已有的算法使用余弦距离来衡量对象之间的相似性，相当于将模型训练成一个n分类模型。
• **怎么做：**作者提出了一种拟密集相似性学习（quasi-dense similarity learning）策略，该策略能够从一张图像中提取出上百个region of interests（RoI）进行对比学习，提取的这些拟密集样本能够覆盖图像上的大部分信息区域，提供了更多的box example和hard negative，

一、摘要

*Similarity learning has been recognized as a crucial step for object tracking. However, existing multiple object tracking methods only use sparse ground truth matching as the training objective, while ignoring the majority of the informative regions on the images. In this paper, we present Quasi-Dense Similarity Learning, which densely samples hundreds of region proposals on a pair of images for contrastive learning. We can directly combine this similarity learning with existing detection methods to build Quasi Dense Tracking (QDTrack) without turning to displacement regression or motion priors. We also find that the resulting distinctive feature space admits a simple nearest neighbor search at the inference time. Despite its simplicity, QDTrack outperforms all existing methods on MOT, BDD100K, Waymo, and TAO tracking benchmarks. It achieves 68.7 MOTA at 20.3 FPS on MOT17 without using external training data. Compared to methods with similar detectors, it boosts almost 10 points of MOTA and signifificantly decreases the number of ID switches on BDD100K and Waymo datasets. Our code and trained models are available at http://vis.xyz/pub/qdtrack.*

• 相似性学习被认为是目标跟踪的关键步骤。然而，现有的多目标跟踪方法只采用与稀疏的GT值匹配的区域作为训练目标，而忽略了图像上的大部分信息区域
• 在本文中，作者提出了Quasi Dense Similarity Learning，它在一对图像上密集采样数百个region proposal以进行对比学习
• 可以直接将这种相似性学习（Quasi Dense Similarity Learning）与现有的检测方法（例如Faster R-CNN）相结合，建立QDTrack
• 作者发现，所得到的独特特征空间在推理时允许一个简单的最近邻搜索（simple nearest neighbor search）