随记（2）：PP-Tracking工具

目标跟踪任务意义

需求：自动驾驶、智慧城市、安防领域面向车辆、行人、飞行器等快速运行的物体实时跟踪及分析

算法优势：单纯的目标检测算法只能输出目标的定位+分类，无法对移动的目标具体的运动行为及运动特征进行分析。

难点

目标数量多、类别复杂、相互遮挡、图像扭曲变形、背景杂乱、视角差异大、目标小且运动速度快。

一个相对完善的目标跟踪任务实现往往需要融合目标检测、行人重识别、轨迹融合等多项技术能力，同时考虑跨镜头、多类别、小目标跟踪以及边缘端部署等实际业务诉求。

PP-Tracking结构图

 该工具大致流程如上图，项目地址为：https://github.com/PaddlePaddle/paddledetection

欢迎多多star

一个跟踪系统大致会有什么问题

单镜头跟踪

单镜头下的单类别目标跟踪是指在单个镜头下，对于同一种类别的多个目标进行连续跟踪，是跟踪任务的基础。

多类别跟踪

针对多种不同类别的目标跟踪

单目标跟踪的升级版

跨镜头跟踪

多个镜头下对于目标物体的持续跟踪。当目标从一个镜头切换到另一个镜头，往往会出现目标跟丢的情况

需要用到ReID技术

轨迹融合

同一ID的轨迹在不同相机和时间段下的分段轨迹的融合

去重

在智慧交通、车流人流检测任务中，需要利用目标轨迹和ID信息实现实时去重计数，并支持自定义流量统计时间间隔

小目标跟踪

这个问题在跟踪任务中较为突出，因为跟踪任务是有时序运动的，很容易出现向远处运行的情况，从而出现目标变小的情况

按道理说这部分应该在目标检测任务中去解决，但是跟踪任务由于可以输出更多的信息，有望从另一些不同的角度去解决这个问题

使用

支持API代码调用和可视化开发界面两种使用模式，可以先使用后者验证任务可行性然后调用API开发项目。

有助快速掌握跟踪任务的一些参考文献

数据集

[1] Yu F, Chen H, Wang X, et al. Bdd100k: A diverse driving dataset for heterogeneous multitask learning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 2636-2645.

[2] Zhu P, Wen L, Du D, et al. Vision meets drones: Past, present and future[J]. arXiv preprint arXiv:2001.06303, 2020.

[3] Milan A, Leal-Taixé L, Reid I, et al. MOT16: A benchmark for multi-object tracking[J]. arXiv preprint arXiv:1603.00831, 2016.

[4] Bai H, Cheng W, Chu P, et al. GMOT-40: A Benchmark for Generic Multiple Object Tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 6719-6728.

[5] Sundararaman R, De Almeida Braga C, Marchand E, et al. Tracking Pedestrian Heads in Dense Crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 3865-3875.

模型

[6] DeepSORT: Veeramani B, Raymond J W, Chanda P. DeepSort: deep convolutional networks for sorting haploid maize seeds[J]. BMC bioinformatics, 2018, 19(9): 1-9.

[7] JDE: Wang Z, Zheng L, Liu Y, et al. Towards real-time multi-object tracking[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XI 16. Springer International Publishing, 2020: 107-122.

[8] FairMOT: Zhang Y, Wang C, Wang X, et al. Fairmot: On the fairness of detection and re-identification in multiple object tracking[J]. International Journal of Computer Vision, 2021: 1-19.

参考

扎实干货！PP-Tracking：百度提出实时目标跟踪系统