Lecture 5 | Feature Matching and Motion Estimation¶

图像特征匹配¶

本节的课题是特征匹配(feature matching)，具体来说是找到两张图像中可能指代同一客体的部分，关键在于找到图片之间点和点的匹配关系。该问题是很多问题的基石，例如：

概括传统特征匹配主要环节，大概可以分为如下三步：

1. 检测(detection): 找到关键点(interest points)，即可能会被匹配的“特征点”；
2. 表达(description): 提取每个关键点周围的向量特征描述符(feature descriptor)，即将“特征”数据化；
3. 匹配(matching): 决定两个视角下特征描述符的关联并匹配，即构建“特征”之间的匹配关系；

关键点检测¶

检测(detection)的首要问题是如何选择关键点(interest points/feature points)，或者说，一个点什么情况下会被认为是一个特征点。

总体来说，关键点需要由这么两个特征：

1. 独特性(uniqueness)，即这个点需要能够表征一定特性；
2. 对于变换不敏感，即对于一个客观上的关键点，即使图片被旋转、压缩、适当的扭曲，它都应当（尽可能地）被识别为关键点；

首先我们讨论如何衡量一个点的独特性(uniqueness)，本文会介绍两种检测器：

1. 着眼于图像的角点 - Harris corner detector；
2. 着眼于图像的斑点 - Blob detector(LoG or DoG)；

角点检测¶

角点检测的基本思路是，我们称某个点比较独特时，它相对于周围一定又一些“不同”的地方。或者说存在一些高频特征，而且这种高频特征不会各向同性或者说几个向同性。

在模式化的描述这个思路就是：

不过这仍然是一个相对模糊的定义，为了对其进行建模，我们进一步地对上面提到的“变化幅度”赋予数学含义：

根据梯度的分布，我们可以大致观察到图形的特征，，包括存在多少个 Edge 以及这些 Edge 的方向。

不过纯粹根据梯度来寻找角点有时候可能会收到噪声的影响，进一步的，我们可以用主成分分析(Principle Component Analysis)来优化这个过程。。

对于上面的三种情况，它们做主成分分析后得到的结果是：

可以发现，第三个情况的两个特征值都很大。

我们通过判断两个特征值的大小关系情况来判断一个区域是否包含一个角(corner)、边(edge)或平面(flat)，可以将他们放到一个直方图中，根据两个特征值形成的点对在整个象限中出现的位置来判断角点情况：

Figure from Carnegie Mellon University's slides. Corner detection.

为了能够量化地表达上面这张图的分类规则，我们引入哈里斯算子(Harris operator):

这里的一个特性是，对于二维矩阵来说，我们实际上并不需要按照之前的步骤，进行主成分分析以后再得到，而是可以直接通过这个公式得到。

而这个 \(f\) 就叫做 corner response。

如上这套方法就是Harris corner detector的实现。

归纳一下，其步骤就是：

另一个关键问题是，通过这个方法得到的关键点，具有对变换不敏感性吗？

对此，结论是：

1. Partially invariant to affine intensity change.
2. Corner response is invariant w.r.t. translation.
3. Corner response is invariant w.r.t. image rotation.
4. Corner response is NOT invariant to scaling.

对尺度变化敏感的解决方案

针对结论 4，由于 Harris detector 对尺度变化敏感，所以我们在使用这个方法的过程中需要注意尺度，即窗口的大小选定。

一种设想的方案是，不断尝试不同的 window size，然后取得 response 曲线，假设 response 的大小只与 scale 有关，则曲线都应该是单峰的，而取出这个峰值（特征最明显的时候），就可以当他为对应的 scale 以及对应的 response。

不过一般实际的做法是固定窗口大小，而改变图片的大小，再在得到的图像金字塔上进行这个方法的计算，即对不同分辨率的图片上分别进行哈里斯检测。（相当于给图片增加了一个维度，本质上和上面的方法是一样的，只不过用了一个更合理的实现角度。）

斑点检测¶

除了角点，斑点(blob)也是一个比较好的特性，非常适合作为关键点。

而斑点的寻找我们则可以利用滤波器来实现，让我们回顾第三章边缘提取的相关内容，我们可以利用类似的做法，使用一个中间负四周正的滤波器来提取斑点。

通常来说，我们使用 Gaussian 滤波器的 Laplacian，即 Laplacian of Gaussian Filter(LoG)，来作为滤波器和图像进行卷积。

👉 Laplacian 算子

实际上也等效于先对图片作高斯模糊（减小噪声影响），再计算其拉普拉斯算子，即：

其中，LoG 的 scale 是通过高斯函数的 \(\sigma\) 控制的，也同样通过像素金字塔来实现。

又或者可以使用 Difference of Gaussian(DoG)，即将 Laplacian of Gaussian Filter 替换为一个由两个高斯函数做差得到的 Filter，相对来说效率更高。

关键点表达¶

选定关键点后，我们需要考虑如何描述和表达这些点，以使对应对关键点表达相近，而不相关对关键点表达相远。

一种朴素的思想是将窗口内的像素作为一个特性向量(feature vector)进行比较，但是这样做对偏移的误差过于敏感。也就是说，也许两张图片很像，但是因为一点位移误差，导致向量刚好错开，导致结果显示两个点差别很大。这是因为这种做法对像素点在窗口中的位置很敏感，但是显然位置并不是关键点的特征之所在。

另外更好的做法是尺度不变的特征变换(Scale Invariant Feature Transform, SIFT) descriptor，不再使用像素值，而是使用区域中的梯度的分布作为一个描述，可以表示为一张 \([0,2\pi)\) 的，循环的直方图。此时小的平移和缩放都不会对它产生很大影响，而旋转只会导致直方图的循环平移——不过这种循环平移是很好处理的，比如我们可以选中最大的分量作为参考，并将整个直方图平移对齐。相比直接将像素转化为特征向量 SIFT 鲁棒性更高。

完整的 SIFT 是包括「检测」步骤的。

关键点匹配¶

所谓的匹配(matching)就是字面上的将两张图中对应的点建立起匹配关系。而评估方法就是寻找「距离」最接近的点。

而这里的「距离函数」是用来衡量两个关键点的表达的差异的函数，一般使用 L2 distance，即 \(||f_1 - f_2||\)。

此外，为了增加匹配的准确性，我们还有一个判定规则：两点相互最相似，则该匹配十分可信。（在 I2 中你最像我，在 I1 中我最像你）

运动估计¶

先前，我们着眼于单张图片，或者说几张图片，仍然是以一个静态的视角来观察图像。

而当我们把研究对象从图片改变为视频或者说图片序列的时候，图片就被赋予了运动的属性，而这就引出了运动估计(motion estimation)问题。

首先，运动按照成因主要可以分为相机运动和场景运动两个维度。

而针对运动估计问题，有这么几种解决的视角：

• 特征跟踪，在每一帧中进行关键点匹配，以跟踪特定关键点的变化——这一类方法得到的结果相对稀疏，毕竟关键点总是少的；
• 光流(optical flow)技术，通过对相邻帧的像素进行匹配，以跟踪像素的变化——这一类方法得到的结果相对密集；

而两个视角都可以使用 Lucas-Kanade method 解决。

首先，我们需要给运动估计(motion estimation)问题一个更明确的定义：

而我们之后的探讨，都需要基于 LK 假设展开：

接下来，基于 LK 假设，我们来研究运动估计问题的求解。

首先，我们将第二条假设表达式化，即有：

为了求解 \(u\) 和 \(v\)，LK Method 对其作泰勒展开：

移项：

根据假设 2，得到：

即：

于是我们得到了关于 \(u\) 和 \(v\) 的一个较简单的等式。

然而我们只有一个等式，但需要求解的未知元 \(u\) 和 \(v\) 有两个。

于是我们引入了假设 3，即相邻的点倾向于运动相似。

于是我们可以把窗口内的像素都带入上面那个等式，尝试来求解（大致都相似的）\(u\) 和 \(v\)。此时我们的方程数量就非常充裕了。此时我们可以将问题转化为优化问题。

Least squares solution(前面提到过的最小二乘法的近似解) for d given by \((A^TA)d = A^Tb\).

而这个解是否存在的条件是：

因此，倘若使用 LK 方法，我们需要保证 \(A^TA\) 可逆，且图像中不能有太多噪点。

此外，关于对假设 1 的约束，原则上两帧之间的运动差距应该小于一个像素，然而这个条件非常苛刻。所以我们的可以先对图片进行模糊/缩小处理，像素足够“大”之后就可以满足这个假设 1。然而在这个过程中会丢失很多信息，所以只根据这个条件来计算也不行，所以我们可以在像素金字塔上进行逐层次估计，再不断细化的做法。

激励

评论