作者：Andreu Girbau, Ferran Marqués, Shin'ichi Satoh

作者单位：日本东京国家信息学研究所，西班牙巴塞罗那加泰罗那理工大学

发布时间：2022

发布期刊/会议：

出版商：Arxiv

论文全称：Multiple Object Tracking from appearance by hierarchically clustering tracklets

论文地址：

论文代码：

https://github.com/nii-satoh-lab/mot_fcg

• 阅读完代码之后，发现作者代码部分实现就完全是 data associaton 策略，并且没有根据跟踪的结果去训练 检测器或 特征提取器。就是直接拿训练好的 检测器（YOLOX） 和 特征提取器（SBS），然后得到检测框和外观特征，接着直接使用数据关联算法来得到跟踪结果。

一、摘要

Current approaches in Multiple Object Tracking (MOT) rely on the spatio-temporal coherence between detections combined with object appearance to match objects from consecutive frames. In this work, we explore MOT using object appearances as the main source of association between objects in a video, using spatial and temporal priors as weighting factors. We form initial tracklets by leveraging on the idea that instances of an object that are close in time should be similar in appearance, and build the final object tracks by fusing the tracklets in a hierarchical fashion. We conduct extensive experiments that show the effectiveness of our method over three different MOT benchmarks, MOT17, MOT20, and DanceTrack, being competitive in MOT17 and MOT20 and establishing state-of-the-art results in DanceTrack.

• 目前的多目标跟踪方法依赖于检测框之间的时空相关性，并结合物体外观来匹配连续帧中的物体
• 而本文则使用目标外观作为视频中跟踪目标之间关联的主要来源，使用空间和时间先验作为加权因素
  • 首先利用在时间上接近的对象在外观上相似的思想来对 tracklet 进行初始化
  • 并通过以分层方式融合tracklet来构建最终的跟踪轨迹

二、FCG

本文算法的核心思想：同一对象的实例在时间邻域中具有相似的外观

• 第一阶段：生成一组简短但可靠的tracklet
• 第二阶段：通过按时间顺序引导的分层方式聚类这些tracklet，随着时间的推移融合它们，最后形成最终的对象轨迹