Lecture 7 | Structure From Motion¶

运动推断结构(Structure from Motion, SfM)用于估计二维图像中的三维结构，通过相机运动（平移、旋转）引起的画面变化来计算其反应的 3D 结构。

在机器人领域，一个相关的领域是 同时定位与地图构建(Simultaneous Localization and Mapping, SLAM)。

相机标定与位置估计¶

相机标定(Camera Calibration)即求解相机用来描述相机模型的自身参数，换句话来说就是求解相机的内参(Intrinsic Parameters)；而位置估计(Pose Estimation)求解相机的空间位置以及朝向，与内参相对应的，就是求解相机的外参(Extrinsic Parameters)。

成像过程的建模¶

首先让我们回顾一下投影模型的可视化表示中的相关内容：

它提供了一种将相机模型成像原理可视化的方法，接下来我们将它放到 3D 空间中：

这张图大致描述了：在特定位置有着特定朝向的相机模型如何拍到已知 3D 景象的特定画面，但需要注意的是，这里的「Picture」代表的是 Image Plane，也就是成像平面，此时「坐标」的单位是长度，如毫米——与以「像素」为基本单元的“图片”有一定区别。

也就是说，从 3D 中的某一个点，到图片上的某块像素区域，有大致如下几个阶段：

graph LR
    A[3D 景象] --> B[2D 成像平面] --> C[像素图像];

不过需要注意的一点是，我们在相机模型中介绍的一系列建模，是建立在以相机为参考系的情况下的，而在视觉定位问题中，我们拥有的 3D 景象信息肯定不是通过相机坐标(Camera Coordinates)来表示的，而是用世界坐标(World Coordinates)，显然，这里只包括平移和旋转，也就是经过一次仿射变换。

我们对上面那个流程图的结果进行一个改进：

graph LR
    A["(世界坐标) 3D 景象"] --> B["(相机坐标) 3D 景象"] --> C["(成像平面) 2D 映射"] --> D["(传感器平面) 像素图像"];

世界坐标 to 相机坐标¶

为了实现世界坐标向相机坐标的转换，我们需要知道相机坐标在世界坐标中的方向与位置，不难发现，实际上这就要求我们知道相机的外参。

更进一步的，实际上我们就是寻找一种变换，能够实现世界坐标系下的坐标向相机坐标系下坐标的转换：

我们定义外参 \((R,\mathbf{c}_w)\)，分别代表「从世界坐标向相机坐标的旋转矩阵」和「在世界坐标系下的相机的中心坐标」，则变换后的坐标即为：

• 说明：
  1. \((\mathbf{x}_w - \mathbf{c}_w)\) 可以理解为从相机中心指向目标点的一个向量；
  2. 旋转矩阵 \(R\) 单位正交；

当然，我们可以将它使用齐次坐标统一：

相机坐标 to 成像平面¶

实际上这一步就是我们在相机模型介绍过的内容，我们在上一步已经做好了齐次坐标的铺垫，所以这一步格外简单。

成像平面 to 传感器平面¶

之前说过，成像平面上的内容和传感器平面上的内容最大的不同就是计量单位不同，所以我们需要将长度信息转化为像素信息；此外，中心坐标也需要变换。

假设 \(m_x\) 和 \(m_y\) 分别是单位长度上的像素密度（以 px/mm 为例），\((c_x,c_y)\) 分别是在成像平面下传感器平面的中心坐标，则：

带入上一节的结果，得到（注意，这里的“齐次坐标”是上一节带来的，这一节的计算并不需要齐次坐标）：

内参矩阵、外参矩阵与投影矩阵¶

简单总结上面几个步骤与内参外参矩阵的关系，就是下面这张流程图：

graph LR
    subgraph EM["Using Extrinsic Matrix"]
        A["Coordinate Transformation"]
    end
    subgraph IM["Using Intrinsic Matrix"]
        B["Perspective Projection"]
        C["Image Plane to Image Sensor Mapping"]
    end
    A ---> B
    B ---> C

内参矩阵¶

我们在上面提到的内参矩阵长这样：

其中主要有 4 个自由度：\(m_x f\)、\(m_y f\)、\(c_x\)、\(c_y\)。

然而实际上未必如此，由于畸变等可能存在的原因，实际的内参矩阵，或者是求解出来的内参矩阵并不一定形如此，我们在后面会提到，由于某些性质分解出来的内参矩阵，更多的是一个右上三角阵，即第一行第二列的元素未必为零。

外参矩阵¶

我们在上面提到的外参矩阵长这样：

其中主要有 12 个自由度，包含了旋转矩阵 \(R\) 和旋转后的位移向量 \(\mathbf{t}\)。

类似于上一节提到的旋转矩阵，这里的旋转矩阵同样拥有 正交 和 \(||R||_2^2 = 1\) 的性质。

投影矩阵¶

总结应用两个矩阵的两个阶段：

而将它们结合，我们就得到了完整的投影矩阵(Projection Matrix)\(P\)：

相机标定与位置估计¶

根据投影矩阵我们得到了像素点与 3D 景物世界坐标的转化关系，而相机标定与位置估计就是利用这个关系式求解投影矩阵。所以这就要求我们同时知道若干点的像素点位置和 3D 景物世界坐标，一般来说相机标定与位置估计是这么实现的：

多点透视成像问题¶

多点透视成像问题(Perspective-n-Point Problem)，即 PnP 问题，指的是已知内参求外参的视觉定位问题。

常见的解决方案有如下几种。

双目三维重建¶

双目视觉(Stereo Vision)：已知两个相机的内参，根据两张图像求解两个相机的外参和目标的 3D 结构。

对极几何¶

在前一节我们介绍了如何在「3D 景象模型已知」的情况下，对相机进行标定或进行未知估计，但我们仍然不知道如何从 2D 图片中重建出 3D 模型。

让我们考虑双目三维重建中的情形——两个相机下不同景象之间显然是存在一定的几何关系的，而对极几何(Epipolar Geometry)着眼于下面这三个目标之间的几何关系：两个相机中心 \(O_L\) 和 \(O_R\)，以及景物中的某个空间点 \(X\)（或者 \(P\)）。

首先，我们需要介绍对极几何中的几个概念，我们将借助上图进行说明。

极线约束¶

现在我们关注对极面，着眼于解决下面这样一个问题。

其中两侧的相机理所当然的都拥有自己的坐标系，现在我们寻找一种变换，使得：\(\mathbf{x}_l = R\mathbf{x}_r + \mathbf{t}\)，其中 \(\mathbf{t} = \overrightarrow{O_r O_l}\)（图中貌似标错了方向），\(\mathbf{x}_l = \overrightarrow{O_l P}\) 而 \(\mathbf{x}_r = \overrightarrow{O_r P}\) 。

下面开始 变魔法 进行一些变化：

也就是说，我们将求解这个问题：

形式 ①：寻找一种变换，使得：\(\mathbf{x}_l = R\mathbf{x}_r + \mathbf{t}\)，其中 \(\mathbf{t} = \overrightarrow{O_r O_l}\)；

利用对极几何的相关内容，转换为了：

形式 ②：求解 \(E\) 使得 \(\mathbf{x}_l^T E \mathbf{x}_r = 0\)，其中 \(E = T_{\times}R\)，其中 \(T\) 是 \(\mathbf{t}\) 的矩阵形式；

然而我们并不知道 \(\mathbf{x}_l\) 和 \(\mathbf{x}_r\)，所以还需要进一步变化。

这时，我们发现，\(\mathbf{u}_l\) 和 \(\mathbf{u}_r\) 终于是我们已知的东西了，这下我们可以求解基本矩阵 \(F\)，而由于两个相机的内参矩阵也是已知的，所以我们还可以倒过来接着得到本征矩阵 \(E\)，最后通过 SV 分解得到我们想要的 \(R\) 和 \(\mathbf{t}\)。

具体来说，求解基本矩阵、本征矩阵、坐标变换的步骤如下：

三角测量¶

我们知道，如果假设数据都是准确的，那么 \(O_l X_l\) 和 \(O_r X_r\) 应当相交于空间点 \(X\)。而三角测量描述的就是如何通过这样一个过程得到空间点 \(X\)。

我们在 极线约束 里已经知道了 \(\mathbf{x}_l\) 和 \(\mathbf{x}_r\) 的变换关系，也就是说我们现在已经有了 \(O_l X_l\) 和 \(O_r X_r\) 的方程了。那么应当能够解出这个 \(X\)，不过由于实际数据有误差，所以我们可能只能通过优化的方法得到近似解。

具体的推理步骤如下：

具体步骤¶

于是我们就得到了所有匹配的关键点计算得到的空间点，最终得到一份稀疏的空间点云。

多目三维重建¶

Sequential SfM：

1. 从其中两张开始，对场景进行重建
2. 之后不断拿出新的图像，根据已知计算 camera pose，再进一步优化之前重建出来的 3D 点，以及增加一些新的点
3. 使用集束优化进一步优化和调整

集束优化¶

集束优化(Bundle Adjustment)也就是在多目情况下，对于所有点的 再投影误差 优化问题：

其求解可以使用 LM algorithm。

激励

评论