一、如何建立图片采集器和外部世界坐标之间的关系
　　这里需要两步：
　　1.确定内参数。
　　2.确定外参数。
　　其中内参数用来描述图片采集器在小孔成像过程中的一些重要参数值（焦距、主点、畸变...）。
　　外参数用来描述相机怎么摆在外部世界坐标系里（三个旋角组成的旋转矩阵，三个线元素组成的相机中心在世界坐标系的位置）。

　　这个关系在摄影测量的共线方程和几何计算机视觉的投影方程里得以表达，从这里可以衍生的一点是，如果你知道外部世界点坐标，又能在影像上高精度定位出相应的成像点坐标，那么你就可以算出内外参数了，从而完成相机标定。
　　当然，标定方法还有更多变种，但万变不离该宗。

　　二、通过相片来算世界点坐标
　　可能你已经发现，当你的外部世界坐标点在成像的光线上（即图片采集器中心向像点发出的射线）来回窜动的时候，它对应的影像像点坐标是不变的！这说明从物方点到像点的映射从线到点的对射，一条光线对应一个像点，所以需要加入第二张影像来交会确定出世界点的坐标。
　　这引入了两个问题：
　　1.两个相机之间的几何关系怎么表达？
　　这是用相对定向模型（摄影测量）或者基础矩阵（计算机视觉）来表达的；
　　2.怎么确定某个像点在另一张影像上的同源点（同名点/匹配点）？
　　这个通过影像匹配来获取。当几何关系被确定之后，通过前方交会就可以算两张影像上的同名点世界点的坐标。

　　三、在上述的基础上，要完成一片区域或者一个目标（建筑物、雕塑）的摄影测量，需要多张影像来完成？
　　此时，可在刚才确定的相对定向的基础上进行连续的相对定向，即以某两幅影像相对定向的初始图片采集器坐标系为参考坐标系，不断加入影像进行相对定向并放在第一幅影像表达的初始图片采集器坐标系里面。
　　所以进行完连续相对定向之后的坐标系还是初始的图片采集器坐标系，由于相对定向的过程需要同名像点，所以实际上这个过程之后既得到了图片采集器的姿态（位置、朝向），又得到了一部分用于定向的匹配同名像点在图片采集器坐标系下的三维坐标（结构）。
　　由于在这个过程中图片采集器位置不断变化，形成了motion，所以这个过程在计算机视觉里又称为Structure From Motion（SFM）。把一系列影像都放在某个图片采集器坐标下之后，此时通过少量地面控制点就可以把它与物方世界坐标之间的转换关系解算出来，完成绝对定向。这种思路称之为相对定向-绝对定向法。
　　通过以上的方法解算的过程中误差会不断积累和传播，为了提高精度，在最后会进行整体的再一次优化，优化的目标可以是最小化重投影误差。
　　由于成像模型里的旋转矩阵是高度非线性的，这个优化问题是非线性优化问题，需要通过迭代来完成。
　　通过迭代来优化的过程自然涉及到迭代过程中的更新步长和更新方向（梯度）的问题，迭代步长和更新方向的确定用到了介于牛顿法（二阶梯度）和标准梯度下降（一阶梯度）之间的LM算法来完成，我们称这个过程叫光束法平差。当然这里的优化也可以是完成几张连续定向后就进行一次整体平差，以免太多的连续定向后的模型所算的定向值误差太大，以至超出了光束法平差所采用的二阶梯度下降优化方法可以容忍的初值误差范围（这类方法初值需要在真值附近，否则容易出现数值问题）。

　　四、密集地恢复深度，密集地测出影像上的点位坐标
　　至此，你完成了把多幅影像对应的相机放到外部世界坐标系里，并在此过程中得到了一部分用于定向的匹配像点的3D坐标（稀疏定向点点云）。下一步就是密集地恢复深度，密集地测出影像上的点位坐标。
　　以前我们叫立体匹配、多视立体匹配，现在匹配算法进步了，能逐像素匹配，我们干脆就叫它密集匹配了（Dense Matching）。其过程如下：
　　1.先生成核线影像，让视差集中到水平方向，也就是说一对核线影像上坐标(x1,y1)来说，它在对应的影像上的同名点坐标(x2,y2)总满足y1=y2. 所以你只需要去估计影像1上每个点的视差值x1-x2.注意，视差值决定深度（世界3D 点到成像平面的距离）。
　　2.每算一个可能的同名位置（一种可能的视差配置），都有一个匹配代价（交叉相关、互信息....），这样就形成了一个视差代价函数空间，它对应着影像1上每个像素取每个潜在可能视差值的匹配代价。
　　3.估计每个像素点的视差。这个估计的过程就是在取每一个视差值的时候，你就有一个匹配代价，这项称为数据项。同时，你还得考虑邻域的信息，也就是说当某个像素的灰度值与邻近像素相近时，我们也认为它们的深度倾向于更相近，如果他们的深度不相近，我们就惩罚它们。
　　同理，当邻近像素的灰度值变化很大的，我们也认为它们的深度值倾向于有更大的变化，那么就会对邻域像素灰度值变化很大而视差值差别不大的情况进行惩罚。完成这个惩罚设计出来的代价函数就是平滑项。平滑项和数据项一起构成了匹配优化的目标函数，也称作能量函数，最优化求解这个函数使得代价（cost）最小的解就是求解的每个像素的视差值。
　　由于通过平滑项我们可以不断的联系邻域像素，最后实际上我们联系起了整幅影像，所以这也叫整体匹配方法，它解决了传统摄影测量立体匹配到了边界就干不了的问题。当然，有一部分点可能不能同时被两张影像看到（遮挡），这部分像素深度无法得到。
　　4.多个密集匹配的立体像对的结果进行融合，得到整体的视差值和三维点云。

　　五、做完以上步骤，你可以开心的获取：
　　数字地表模型DSM
　　数字正射影像DOM
　　数字高程模型DEM
　　数字线划图DLG
　　真正射影像TDOM

猜你喜欢：

摄影测量学的前世、今生与未来

摄影测量原理与作业流程