一. colmap2mvsnet.py
COLMAP可以给图像数据集标定一套相机外参及视图选择。如果想用COLMAP导出的结果输入MVSNet测试,需要把数据集(图片、相机参数等)转化为MVSNet的输入格式。MVSNet的作者yaoyao在Github上提供了colmap2mvsnet.py代码,可以实现以上格式转化的需求,原README如下:
MVSNet input from SfM output
We provide a script to convert COLMAP SfM result to R/MVSNet input. After recovering SfM result and undistorting all images, COLMAP should generate a dense folder COLMAP/dense/ containing an undistorted image folder COLMAP/dense/images/ and an undistorted camera folder COLMAP/dense/sparse/. Then, you can apply the following script to generate the R/MVSNet input:
python colmap2mvsnet.py --dense_folder COLMAP/dense
The depth sample number will be automatically computed using the inverse depth setting. If you want to generate the MVSNet input with a fixed depth sample number (e.g., 256), you could specified the depth number via --max_d 256.
在得到fM结果和未失真的所有图像后,COLMAP会生成一个文件夹COLMAP/dense/,包含未失真的图像文件夹COLMAP/dense/images/和未失真的相机文件夹COLMAP/dense/sparse/。然后,可以用以下脚本生成MVSNet输入:
python colmap2mvnet .py——dense_folder COLMAP/dense
python colmap2mvsnet.py --dense_folder COLMAP/dense
深度样本数将使用逆深度设置自动计算。如果想生成具有固定深度样本数字(例如,256)的输入,可以通过指定深度数字。
——max_d 256
我的具体实现过程如下:
二. 实现流程
1. COLMAP下载
网上有很安装COLMAP教程,我是直接在官网下载的window版本,链接如下:
创建image文件夹,存放自己的图片。
3. COLMAP稀疏重建
创建数据库文件
首先创建一个文件夹,暂且叫colmap2mvsnet ,里面放刚创建的image文件夹。接着,打开COLMAP文件夹双击colmap.bat运行gui界面,点击new project创建新的工程。
![](https://img-blog.csdnimg.cn/a1667d3147a24bad809c732395c70584.png)
- 在colmap2mvsnet目录下新建一个数据库文件colmap2mvsnet.db
- 指定图像文件夹为image
![](https://img-blog.csdnimg.cn/106ff00c92a94d209d91d86137b15960.png)
特征提取
点击Feature extraction
,设置相机模型跟参数。有给定参数就设置,没有就默认。
![](https://img-blog.csdnimg.cn/11f8e0aec3b343fea499a3814db94328.png)
特征匹配
点击Feature matching
,设置相匹配方式和参数。有给定参数就设置,没有就默认。
![](https://img-blog.csdnimg.cn/dddcb333325c459d9c6575cc0c9300e7.png)
稀疏重建
同上,有给定参数就设置,没有就默认。
![](https://img-blog.csdnimg.cn/5bc88f50e1504059a3ff7286ce45826d.png)
图像去畸变
在colmap2mvsnet目录下新建一个文件夹 dense 存放去畸变的图片文件夹、相机参数等。
- 点击
Dense reconstruction
- select刚刚创建的
dense
文件夹
- 点击左上角
undistortion
- 运行结束后直接关闭
![](https://img-blog.csdnimg.cn/bf74343965a24068ac44778bf1acf12d.png)
导出模型txt文件
点击Export model as text,保存路径为colmap2mvsnet/dense/sparse/文件夹。
![](https://img-blog.csdnimg.cn/2d9c0a49e62942d2bab6d408820fe25d.png)
4. colmap2mvsnet
把colmap2mvsnet.py文件复制到colmap2mvsnet文件夹中,并在终端下运行以下命令:
(我是在服务器上运行的)
python colmap2mvsnet.py --dense_folder colmap2mvsnet/dense --max_d 192 --interval_scale 1.06
--max_d:最大估计的离散深度采样区间数,因为MVSNet是按照平面扫描原理进行深度估计的,所以深度是离散采样的,一般我们设定为192个深度采样区间。
--interval_scale:每个深度区间的大小,默认为1.06(mm)。
注:我们需要估计自采数据的深度范围,已保证在深度采样区间内,能对目标场景进行有效的深度估计,举个例子,如果自采数据的深度范围为450mm – 800mm,那么我们用于深度估计的区间范围应该是350mm。此时如果我们设定的深度区间为0 – 350mm,那么估计出来的深度图肯定是错误的。所以对于自采数据,大家需要尝试不同的深度区间,以找到合适的取值范围。
输出会保存在dense文件夹中,包括:
- 去畸变后的图片的images文件夹
- 相机参数cam文件夹
- pair.txt
以上文件就是MVSNet需要的文件格式,至此自建数据集用流程结束!