NMS算法，思想是搜索局部最大值，抑制非极大值。
输入：目标边界框及其对应的置信度的分列表，设定阈值，阈值用来删除重叠较大的边界框。
IoU：两个边界框的交集部分除以它们的并集。
非极大值抑制的流程：
光流：空间运动物体在观察成像平面上的像素运动的瞬时速度。
光流法：利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
光流矢量：二维图像平面特定坐标点上的灰度瞬时变化率。
考虑一个像素I(x,y,t)在第一帧的光强度（t代表其所在的时间维度）。它移动了(dx,dy)的距离到下一帧，用了dt时间。因为是同一个像素点，假设认为该像素在运动前后的光强度不变，即
I
(
x
,
y
,
t
)
=
I
(
x
+
d
x
,
y
+
d
y
,
t
+
d
t
)
I(x,y,t)=I(x+dx, y+dy, t+dt)
I(x,y,t)=I(x+dx,y+dy,t+dt)
泰勒展开得
I
(
x
,
y
,
t
)
=
I
(
x
,
y
,
t
)
+
∂
I
∂
x
d
x
+
∂
I
∂
y
d
y
+
∂
I
∂
t
d
t
+
ε
I(x,y,t)=I(x,y,t)+\frac{\partial{I}}{\partial{x}}dx+\frac{\partial{I}}{\partial{y}}dy+\frac{\partial{I}}{\partial{t}}dt+\varepsilon
I(x,y,t)=I(x,y,t)+∂x∂Idx+∂y∂Idy+∂t∂Idt+ε
其中
ε
\varepsilon
ε代表二阶无穷小项，可忽略不计。前两式合并后同除dt, 可得：
∂
I
∂
x
d
x
d
t
+
∂
I
∂
y
d
y
d
t
+
∂
I
∂
t
d
t
d
t
=
0
\frac{\partial{I}}{\partial{x}}\frac{dx}{dt}+\frac{\partial{I}}{\partial{y}}\frac{dy}{dt}+\frac{\partial{I}}{\partial{t}}\frac{dt}{dt}=0
∂x∂Idtdx+∂y∂Idtdy+∂t∂Idtdt=0
设u,v分别为光流沿X轴和Y轴得速度矢量，得：
u
=
d
x
d
t
,
v
=
d
y
d
t
u=\frac{dx}{dt}, v=\frac{dy}{dt}
u=dtdx,v=dtdy
令
I
x
=
∂
I
∂
x
I_x=\frac{\partial{I}}{\partial{x}}
Ix=∂x∂I,
I
y
=
∂
I
∂
y
I_y=\frac{\partial{I}}{\partial{y}}
Iy=∂y∂I,
I
t
=
∂
I
∂
t
I_t=\frac{\partial{I}}{\partial{t}}
It=∂t∂I分别表示图像中像素点得灰度沿X,Y,T方向的偏导数。
综上，可得出
I
x
u
+
I
y
v
+
I
t
=
0
I_xu+I_yv+I_t=0
Ixu+Iyv+It=0
(u, v)为光流矢量。
引入另外的约束条件才能求得u和v的确切值。分为四种方法：基于梯度（微分）的方法、基于匹配的方法、基于能量（频率）的方法、基于相位的方法和神经动力学方法。
单目加IMU的挑战：
为什么要预积分
本论文的解决思路：
4. on-the-fly estimator initialization。该初始化模块也用于失败后的系统恢复。
5. tightly-coupled sliding window non-linear optimization.
6. 单目VIO模块不仅提供精确的局部位姿、速度和方向估计，也实现了camera-IMU的外参标定以及在线的IMU的biases correction.
7. 回环检测DBoW2.
8. 重定位：特征级tightly-coupled实现重定位。用最小计算量实现了鲁棒和精确的重定位。
9. 全局一致性：geometrically verfied loops加入到pose graph，由单目VIO观测到的roll和pitch角度，4DOF的pose graph保证了全局一致性。
本文贡献点
相关工作
本文结构
测量预处理
视觉测量，由连续帧跟踪特征，并在最新的帧上检测新特征。
IMU测量，对两个连续帧预先积分。低成本的IMU会影响偏置和噪声。因此，将IMU的偏置考虑在IMU的预积分处理过程中。
视觉处理前端
预积分简单理解
VINS-Mono理解1
VINS-Mono理解2
