使用基本矩阵 opencv 确定相机运动

我尝试使用 opencv 从基本矩阵确定相机运动。我目前正在使用光流来跟踪每个其他帧中的点的移动。基本矩阵是从基本矩阵和相机矩阵导出的。我的算法如下

1.使用良好的特征跟踪功能来检测帧中的特征点。

2.跟踪接下来两帧或三帧的点（Lk光流），在此期间使用相应点计算平移和旋转向量

3.两帧或三帧后刷新点（使用良好的功能进行跟踪）。再次求平移向量和旋转向量。

我知道我无法添加平移向量来从一开始就找到总运动，因为当我刷新点并重新开始新的跟踪时，轴不断变化。谁能建议我如何计算从原点开始的运动总和。

你问的是一个典型的视觉里程计问题。连接李群的变换矩阵 SE3。 你只需将 T_1 T_2 T_3 相乘，直到得到 T_1to3

你可以尝试使用这段代码https://github.com/avisingh599/mono-vo/blob/master/src/visodo.cpp https://github.com/avisingh599/mono-vo/blob/master/src/visodo.cpp

  for(int numFrame=2; numFrame < MAX_FRAME; numFrame++)
    if ((scale>0.1)&&(t.at<double>(2) > t.at<double>(0)) && (t.at<double>(2) > t.at<double>(1))) {

      t_f = t_f + scale*(R_f*t);
      R_f = R*R_f;

    }

这是简单的数学概念。如果你觉得困难，可以看看机器人正向运动学，这样更容易理解。只是串联部分，而不是 DH 算法。https://en.wikipedia.org/wiki/Forward_kinematics https://en.wikipedia.org/wiki/Forward_kinematics