作者：Longyin Wen · Zhen Lei · Ming-Ching Chang · Honggang Qi · Siwei Lyu

**作者单位：**美国纽约州立大学奥尔巴尼大学计算机科学系，中国科学院自动化研究所模式识别国家实验室，美国纽约州立大学奥尔巴尼大学计算机工程系，中国科学院大学计算机与控制工程学院

发布时间：2017

发布期刊/会议：IEEE Cloud Computing

论文全称：Multi-Camera Multi-Target Tracking with Space-Time-View Hyper-graph

论文地址：

论文代码：

地位：

个人理解

• 创新点：设计了时空视图超图（STV）（能够对不同摄像机视图内和跨不同摄像机视图的二维轨迹（2D trackelts）之间的3D几何（3D geometry），外观（appearance），运动持续性（motion continuity）和轨迹平滑度（trajectory smoothness）进行高阶约束（higher-order）的编码），将多摄像头多目标跟踪问题转化为图结构问题，并提出使用基于采样的方法在STV上对进行密集子超图搜索，来解决该问题
• **为什么：**虽然目前多目标跟踪算法取得了较好的进展，但是基本都是针对单一摄像头视图的，在这种情况中，一旦跟踪目标被遮挡或外观较为相识，则会出现跟踪效果不好的问题，而使用不同的有重叠的多个摄像机视图采集的检测结果则能较好的解决该问题。但是目前已有的多摄像多目标跟踪算法都没利用单视图跟踪和跨视图重建之间的相互引导信息（三维几何约束），这使得跟踪效果不佳，
• 怎么做：首先根据多摄像头多目标跟踪任务的特点，难点，设计出时空视图超图（space-time-view hyper-graph），接着将多摄像头多目标跟踪任务表示为使用基于采样的方法在时空视图超图上对子超图的有效密集搜索问题，从而同时解决了每个单一视图的跟踪和在三维环境中对跟踪轨迹的重建问题。
• **评价：**其实已经有方法也是这么处理，都是设计一张加权超图来描述二维 Tracklets 之间的高阶约束，从而表示多目标跟踪任务，然后使用密集子超图搜索的方法来求解，只不过是已有的方法是用于单摄像头上的，而本文算法则用于多摄像头上，即条件约束更多，超图更复杂，并且需要设置较多超参数（包括相机的校准参数），运行时需要的内存空间较大和计算时间较长。

一、摘要

****Incorporating multiple cameras is an effffective solution to improve the performance and robustness of multi-target tracking to occlusion and appearance ambiguities. In this paper, we propose a new multi-camera multi-target tracking method based on a space time-view hyper-graph that encodes higher-order constraints (i.e., beyond pairwise relations) on 3D geometry, appearance, motion continuity, and trajectory smoothness among 2D tracklets within and across different camera views. We solve tracking in each single view and reconstruction of tracked trajectories in 3D environment simultaneously by formulating the problem as an efficient search of dense sub-hypergraphs on the space-time-view hyper-graph using a sampling based approach. Experimental results on the PETS 2009 dataset and MOTChallenge 2015 3D benchmark demonstrate that our method performs favorably against the state-of-the-art methods in both single-camera and multi-camera multi-target tracking, while achieving close to real-time running efficiency. We also provide experimental analysis of the influence of various aspects of our method to the final tracking performance.

• 结合多台摄像机是提高多目标跟踪对遮挡和外观模糊性的性能和鲁棒性的有效解决方案。