引用本文

谢理想, 万刚, 曹雪峰, 王庆贺, 王龙. 基于凸优化改进的相机全局位置估计方法. 自动化学报, 2018, 44(3): 506-516. doi: 10.16383/j.aas.2018.c160639

XIE Li-Xiang, WAN Gang, CAO Xue-Feng, WANG Qing-He, WANG Long. An Improved Method for Camera Location Estimation Through Convex Optimization. ACTA AUTOMATICA SINICA, 2018, 44(3): 506-516. doi: 10.16383/j.aas.2018.c160639

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160639

关键词

运动恢复结构，全局位置估计，平行刚体，凸优化，极线几何 

摘要

相机全局位置估计作为运动恢复结构算法（Structure from motion，SfM）中的核心内容一直以来都是计算机视觉领域的研究热点.现有相机全局位置估计方法大多对外点敏感，在处理大规模、无序图像集时表现的尤为明显.增量式SfM中的迭代优化步骤可以剔除大部分的误匹配从而降低外点对估计结果的影响，而全局式SfM中没有有效地剔除误匹配的策略，估计结果受外点影响较大.针对这种情况，本文提出一种改进的相机全局位置估计方法：首先，结合极线约束提出一种新的对误匹配鲁棒的相对平移方向估计算法，减少相对平移方向估计结果中存在的外点；然后，引入平行刚体理论提出一种新的预处理方法将相机全局位置估计转化为一个适定性问题；最后，在此基础上构造了一个对外点鲁棒的凸优化线性估计模型，对模型解算获取相机位置估计全局最优解.本文方法可以很好地融合到当下的全局式SfM流程中.与现有典型方法的对照实验结果表明：在处理大规模、无序图像时，本文方法能显著提高相机全局位置估计的鲁棒性，并保证估计过程的高效性和估计结果的普遍精度.

文章导读

运动恢复结构算法(Structure from motion, SfM)是多视图三维重建技术的关键内容, 一直都是计算机视觉领域的基础问题. SfM在虚拟现实、增强现实、运动追踪、逆向工程、城市场景建模等方面都有广泛应用. SfM算法解决的是一个从二维图像恢复拍摄时的相机运动和场景三维稀疏结构的问题. SfM算法通常由以下三个步骤组成: 1)图像特征匹配及相机相对位姿估计(相对平移和相对旋转); 2)相机运动估计, 即根据相机相对位姿估计相机的全局旋转和全局位置. 3)利用经过最小化重投影误差优化的相机参数进行场景稀疏结构恢复, 常用光束法平差[1] (Bundle adjust, BA)作为优化算法.在目前SfM算法中对第1)和第3)步骤的研究的较为成熟, 出现了较为完备的理论和算法.相对而言, 对第2)步骤的研究尚不够成熟, 尤其是相机全局位置估计部分, 现有的位置估计方法多对外点敏感.

现有的SfM算法可大致分为两类.一类是增量式方法[2-8] (Incremental method), 选取两张图像作为初始像对进行初始重建, 然后不断加入新的图像以扩大重建的范围, 直到所有的图像全部重建完毕.在这个迭代过程中, 通常会进行多次BA处理以优化相机运动参数及重建的场景三维稀疏结构.另一类是全局式方法[9-11] (Global method), 相对于增量式方法来说, 全局式方法不是一个逐渐累加的过程, 而是针对所有图像同时进行估计, 一次性解算所有的相机运动参数, 参数解算完毕后再进行场景三维稀疏结构的估计, 最后只进行一次全局性的BA优化, 最终得到相机参数和稀疏场景结构.

增量式方法首先利用初始像对估计相机运动和局部场景三维稀疏结构, 后续的迭代重建是基于初始像对的重建结果进行的, 最终的计算结果对初始像对选取的依赖性较高.此外, 在不断的迭代BA过程中, 误差会不断累积, 导致后续图像重建的计算误差大于前者, 最终可能产生场景漂移现象.全局式方法对所有的图像同时进行处理, 只进行一次的BA优化.这不仅能有效地避免误差累积, 将误差平均分配, 并且省去了耗时反复的迭代BA过程.另外全局式方法中的相机运动估计和场景三维稀疏结构恢复是分开进行的, 在所有相机运动全部估计完毕后再进行场景三维稀疏结构恢复, 大幅减少了每次需要估计的参数个数, 这也从另一方面提升了算法效率.

虽然全局式SfM算法特点突出, 但现有的SfM算法中, 增量式方法明显多于全局式方法.这是由于现有的相机运动估计算法大多对外点敏感, 这里的外点主要包括前文步骤1)中图像特征匹配过程中产生的误匹配值以及在相机运动估计过程中由于误匹配存在产生的外点(例如相机相对平移方向估计结果中的外点).增量式方法通过反复迭代BA过程可以有效地剔除大部分的误匹配, 降低外点对估计结果的影响.而全局式方法并没有这一剔除过程, 当外点较多时估计的精度无法保证.这种情况在处理大规模、无序图像时表现的尤为明显.因此对外点鲁棒的相机运动估计算法具有很高的研究价值, 可以充分发挥全局式SfM方法的优势, 提高SfM处理效率和精度.

在全局式SfM过程中相对运动估计分为相机全局旋转和相机全局位置估计两部分, 通常这两部分开进行.近20年, 相机运动估计的研究取得了明显的进展, 其中相机全局旋转估计方面已经出现不少成熟稳定的算法[12-15].然而, 在相机全局位置估计方面, 尤其是在处理大规模、无序图像集时, 现有的相机全局位置估计算法存在几个问题:估计结果不稳定[7, 16-17]、对相对平移方向中的外点的敏感[18-19]以及非凸方程易陷入局部最优解[11].因此, 鲁棒、高效并且能保证收敛于全局最优解的全局位置估计方法就显得很重要.

早期的全局位置估计算法[16, 20]是基于相机间相对平移方向构建线性方程并求取方程的最小二乘解来进行全局位置的估计.这类线性方法具有很高的计算效率, 但后续研究发现通过这类方法获取的解并不稳定, 在少数位置可能会产生偏离真值的伪解(Spectral solution).文献[7]试图通过估计相机之间相对平移的比例来消除这种伪解, 但并未有效提升估计结果的精度.文献[11]提出Lie代数平均法, 可有效解决伪解的问题, 但因为采用非凸的优化方程, 导致估计结果收敛到局部最优解而无法保证全局最优.文献[18]提出了一种基于范数的拟凸优化方法.这种方法可以很好地解决局部最优解的问题, 但范数通常易受外点影响, 估计结果难以保证.同本文方法最相似的是文献[10]提出的方法, 文献[10]构建了一个基于几何距离约束的线性方程, 但采用的是范数约束, 导致对外点敏感.另一个和本文相关的是文献[21]提出的基于相对平移方向构成线性方程求取最小化范数解的方法, 文献[21]通过加入约束来有效消除子伪解问题, 但因相对平移方向观测值中外点的影响, 估计结果的精度会降低.另外, 文献[22]中提出了一种基于经典刚体平移理论的全局位置估计算法.同文献[22]相比, 本文采用的是平行刚体理论, 使得估计方程截然不同.文献[23]提出了一种称为1DSfM的方法, 首先通过预处理剔除相对平移方向测量中的外点, 再设计一个非凸的优化方程对全局位置进行估计.

针对现有全局式SfM算法中全局位置估计存在的不足, 结合平行刚体理论、凸优化方法以及极线几何理论, 本文提出一种新的高效鲁棒的全局位置估计方法.并且本文方法可以很好地融合于现有的全局式SfM算法流程中.本文内容结构如下:第1节简单介绍了全局式SfM算法.第2节和第3节是对相机全局位置估计方法的改进.第2节阐述了一种结合极线约束的相对平移方向估计算法.第3节引入平行刚体理论, 阐述一种基于凸优化的鲁棒性相机全局位置估计算法.第4节是实验部分, 使用8组公开数据集对本文算法测试并和相关典型算法进行比较.

图 1  融合本文改进的全局式SfM算法流程图

图 2  本文改进的相对平移方向估计算法流程

图 3  图像之间的极线关系

针对现有全局式SfM算法流程中的相机全局位置估计部分存在的不足, 本文提出一种改进的相机全局位置估计方法.本文工作主要体现在两个方面: 1)结合极线约束, 提出一种新的对误匹配鲁棒相对平移方向估计算法; 2)引入平行刚体理论将全局位置估计转换为一个适定性问题并提出一种基于约束的凸优化线性估计模型.实验结果表明本文改进的相机全局位置估计方法对外点具有更好的鲁棒性, 并且在计算效率和估计结果的普遍精度方面也具有一定优势.

在实验过程中我们发现鲁棒性BA对实验结果也有很重要的影响, 所以下一步的研究工作是尝试将本文的估计方法和鲁棒性BA结合以获取更好的估计结果.

作者简介

谢理想

解放军信息工程大学硕士研究生.主要研究方向为计算机视觉和三维重建.E-mail:xiejake8@gmail.com

曹雪峰

解放军信息工程大学讲师.2012年获得解放军信息工程大学地图制图学与地理信息系统专业博士学位.主要研究方向为点云三维重建、同时定位与成图.E-mail:cxfchxy@163.com

王庆贺

解放军信息工程大学硕士研究生.主要研究方向为无人机智能控制, 多无人机协同.E-mail:dcn_ing@163.com

王龙

国防信息学院助教.分别于2012年和2015年获得解放军信息工程大学指挥自动化专业学士学位和地图学与地理信息工程专业硕士学位.主要研究方向为数据挖掘, 大数据分析, 数据可视化.E-mail:17762486890@163.com

万刚

解放军信息工程大学教授.2006年获得解放军信息工程大学地图制图学与地理信息系统专业博士学位.主要研究方向为无人机测绘, 虚拟地理环境.本文通信作者.E-mail:casper_51@163.com