7 Computation of the Camera Matrix $P$

这章讲的是摄像机参数估计。摄像机标定，本质上就是求摄像机矩阵$P$，当我们知道足够多的$X\leftrightarrow x$，我们该如何计算$P$？如果知道3D和2D点的对应，那么内参和外参可以由基本的线性方程求解问题算出。遇到超定解时的解决办法也跟前面讲的第4章射影变换的情况非常类似。值得注意的是，第4章求的是$3\times 3$射影变换矩阵，而本章求的是$3\times 4$相机矩阵。

7.1 Basic equations

问题描述：我们假设有一些3D空间上的点$X_i$和2D图像上的点$x_i$的对应关系已经给出。我们的目标是找到一个$3\times 4$的摄像机矩阵$P$，满足对于所有$i$都满足$x_i=P{X}_i$。

我们可以发现，这个问题和在第4章里面说的求解2D射影变换矩阵$H$非常像，唯一的区别是需要求解的矩阵维度变了而已。

最基本的方法就是方程$PX=x$，然后变成$x\times PX=0$ 取该矩阵前两行，因为第三行是线性相关的。这样，我们可以写成$Ap=0$，这$A$就是一个$2n\times 12$的矩阵。我们要求解摄像机矩阵，其实也就是要求解这个等式里面的$p$。

最小解 因为$P$是$3\times 4=12$个元素，那么就有11个自由度，理论上我们需要5.5对对应点就行，0.5对对应点就是知道x或者y坐标就可以了。

超定的情况 如果我们有多于6对点，那我们就求$min||Ap||=0$，并且让他满足约束$||p||=1$，$||{\hat{p}}^3||$=1，${\hat{p}}^3$就是p最后一行的前三个元素。

退化的情况 有两种情况可以使我们不能唯一确定$p$：

1. 相机和点都在一个扭曲的立方体上
2. 相机和点都在平面上，且该平面一直线通过相机的中心

对于这样的配置，不能从点的图像中唯一地获得相机。 相反，它可以分别沿着扭曲的立方体或直线任意移动。 如果数据接近退化的情况，则获得的$P$估计值很差。 例如，如果相机距离场景较远，例如鸟瞰图，则这种情况接近平面退化。

点的归一化 我们需要把所有点到直线的平均距离归一化到$\sqrt{3}$。

从线对应来计算$P$ 如果我们能找到一对对应线，那么我们就有方程$l^{T}P{X}_j=0$其中$j=0,1$，$X$在$l$上。

7.2 Geometric error

回忆我们在第4章提到的几何损失函数，我们可以把它用在这里：
$$\underset{P}{\min }\sum _{i}d(x,PX{)}^2$$

世界坐标系里的误差 我们考虑世界坐标系，也就是标定板上的误差。因为$PX$不可能完全等于$x$。反过来，$x$对应的世界坐标系里的点，也不会完全是$X$，那么我们就假设$x$对应的世界坐标系里的点是$\hat{X}$，然后我们同时考虑世界坐标系的误差，和图像上的误差

$$\sum _{i=1}^n{d}_{Mah}(x_i,P\widehat{X_i}{)}^2+d_{Mah}(X_i,\widehat{X_i}{)}^2$$

也就是说在图像上$x_i$要靠近$P\widehat{X_i}$，在世界坐标系里$X_i$也要靠近$P\widehat{X_i}$。

7.2.1 Geometric interpretation of algebraic error

代数误差的几何解释：代数误差找一个点$X^{\prime }$尽可能的接近$X$。

7.2.2 Estimation of an affine camera

上述所有方法都可以直接用在仿射摄像机上。

7.3 Restricted camera estimation

通常我们会对$P$矩阵做出一些限制：

1. 偏斜系数$s$是0
2. 像素是正方形，即$a_x=a_y$
3. 主点$(x_0,y_0)$已知
4. $K$已知

这几点假设不是同时成立的。比如我们可以只用1和2，那么$P$矩阵就只剩下3+6=9个系数了。

迭代方法的初始化 如果我们求几何损失函数，要用迭代的方法。那么迭代的初值从哪里来? 可以用DLT先解出一个值作为初始值。

7.4 Radial distortion

相机畸变主要是径向畸变，所谓径向就是圆的直径的方向。该畸变会使正方形变得接近于一个圆，所以叫径向畸变。

校正的思想很简单。所谓畸变，就是给像素坐标$(x,y)$乘上一个函数$L(r)$，我们只需要用泰勒展开去近似这个函数就好了，剩下的工作就是确定泰勒展开的系数。这个展开的系数作为内参，把它们一起标定出来就可以了。