proporse:利用全局信息,一对多的进行标签匹配(label assignment)
related work:
fixed label assignment:
anchor-based: 以IOU阈值判断
anchor-free:如FCOS,关键点在物体中心的周围则为pos,
dynamic label assignment:
现有的算法要么未从全局角度利用上下文信息,要么如DETR中利用全局信息但其中的Hungarian algorithm只适合一对多。
Method:
![](https://img-blog.csdnimg.cn/d8f005e7a6a14c1f983b4e531441c75a.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_20,color_FFFFFF,t_70,g_se,x_16)
Optimal Transport Problem
m个供货商,第i个供货商有s_i的商品
n个需求者,第j个需求者需d_j的商品
供货商i给需求者j需要的cost为c_ij
传输路径pi={pi_ij | i = 1,...,m, j = 1,...,n}
需要最小化transport cost
![](https://img-blog.csdnimg.cn/30f28452aebe48ca9f4182c5430c613c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_18,color_FFFFFF,t_70,g_se,x_16)
使用快速迭代算法:Sinkhorn-Knopp求解
OT for Label Assignment
OD中FPN的输出有 m gt targets 和 n anchors,将每个gt看成有k个单元的pos样本,每个输出需要一个单元。讲一个单元从gt_i传输到anchor_j 的代价如下:
![](https://img-blog.csdnimg.cn/32a39077342c4c3abcf8861f79467d3c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_10,color_FFFFFF,t_70,g_se,x_16)
除了pos,训练时大量的anchors还会被分配为neg。最佳传输涉及所有的anchors,所以引入另一个supplier,background,包含n - m×k。
![](https://img-blog.csdnimg.cn/d918571491194db5b4db5ee38257bd02.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_7,color_FFFFFF,t_70,g_se,x_16)
C_fg和C_bg进行concat,得到(m+1)*n,其中若i < m , 则s = k,i = m+1,s = (n-mk)
![](https://img-blog.csdnimg.cn/28a70151df094e509dca80bd2782ac7c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_13,color_FFFFFF,t_70,g_se,x_16)
Sinkhorn-Knopp求解 [2]
代码复现:
![](https://img-blog.csdnimg.cn/9a5797fe38ff4477bb5794b7f5f501d4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_20,color_FFFFFF,t_70,g_se,x_16)
![](https://img-blog.csdnimg.cn/a8938eb4dfbd4180b4be3286f4321c77.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_20,color_FFFFFF,t_70,g_se,x_16)
![](https://img-blog.csdnimg.cn/e5a2ed899ef344aaa6cb0bb8d40f00c0.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_20,color_FFFFFF,t_70,g_se,x_16)
![](https://img-blog.csdnimg.cn/35c2114f861b4b47b85b0ac2eb95ed29.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAX-WHu-epuuaYjuWFrua6r-a1geWFiV8=,size_20,color_FFFFFF,t_70,g_se,x_16)
参考:
[1] 论文阅读|目标检测之基于OTA,以最佳传输优化来实现新的基于CNN的一对多标签分配策略_yanghao201607030101的博客-CSDN博客