《Lecture6_对极几何（二）》

IPMV-2022

HW--StereoCamera

Summary

Lecture14_IPMV_with_Deep_Learning

Lecture13_Sfm_and_SLAM

Lecture12_Motion_光流

Lecture11_Stereo_Matching

Lecture10_Interest_Points

Lecture9_Edges_&_Lines

Lecture8_Image_Pyramid_图像金字塔

Lecture7_Image_Filtering

Lecture6_Epipolar_Geometry_(II)_对极几何

Lecture5_Epipolar_Geometry_(I)_对极几何

Lecture4_Camera_Calibration

Lecture3_Perspective_Transformation

Lecture2_Human_Visual_Perception,Cameras_&_Images

未搜索到相应页面

IPMV-2022

Lecture6_Epipolar_Geometry_(II)_对极几何
Lecture6_对极几何（II）

演示模式搜索评论

前往我的空间

author：Yi Yang & Zhengpu Wang
author：杨毅 & 王正谱

update : 2022/04/22 16:42
更新日期：2022/04/22 16:42

线索

这里写主要线索

笔记

这里是主要的笔记内容

author：Yi Yang & Zhengpu Wang
作者：杨毅 & 王正谱

1Preliminaries 1 前置知识

Lecture6 的预备知识基本上是 Lecture3、4、5的知识。可以去复习一下。

2 Triangulation 三角化 2 三角化

2.1三角化引入

计算机视觉中的三角化（三角测量），指的是确定三维空间中的一个点的位置，通过把其投影到两个或两个以上的图像上的过程。

为了处理这个问题，有必要知道摄像机投影函数从三维到二维的参数，在最简单的例子是用相机矩阵表示。

那么，我们需要什么呢？答案:

R, t, p_{L}, p_{R}, K_{L}, K_{R}

﻿

2.2三角化推导

在Lecture 3 我们了解了透视变换矩阵（perspective

transformation matrix）变换矩阵）

P_{L} = K_{L} [I, 0] \in R^{3 \times 4} P_{R} = K_{R} [R, t] \in R^{3 \times 4}

这里，

I

﻿

是单位矩阵，

P_{L}

﻿

目的是将左相机对齐世界坐标系，

P_{R}

﻿

是左相机和右相机的变换关系。

理想情况下，

p_{L} \times (P_{L} p^{C}) = 0 p_{R} \times (P_{R} p^{C}) = 0

写成反对称矩阵的形式，

01 - v_{L} - 1 0 u_{L} v_{L} - u_{L} 0 P_{L}^{1} p^{C} P_{L}^{2} p^{C} P_{L}^{3} p^{C} = 0

where

P_{L}^{k}

﻿

代表

P_{L}

﻿

的第k行。

上式继续改写成方程组形式

⎩ ⎨ ⎧ v_{L} (P_{L}^{3} p^{C}) - (P_{L}^{2} p^{C}) = 0 u_{L} (P_{L}^{3} p^{C}) - (P_{L}^{1} p^{C}) = 0 u_{L} (P_{L}^{2} p^{C}) - v_{L} (P_{L}^{1} p^{C}) = 0

发现第2行乘以 v_L ，减去第1行乘以u_L，就得到第三行。所以上面矩阵的秩为2.也说明上面三个等式，只有2个是线性独立的，第三个可以用其他两个等式表示。

所以把上式写为，

{u_{L} (P_{L}^{3} p^{C}) - (P_{L}^{1} p^{C}) = 0 v_{L} (P_{L}^{3} p^{C}) - (P_{L}^{2} p^{C}) = 0

写为矩阵形式

[u_{L} P_{L}^{3} v_{L} P_{L}^{3} - P_{L}^{1} - P_{L}^{2}] p^{C} = 0

类似地，

[u_{R} P_{R}^{3} v_{R} P_{R}^{3} - P_{R}^{1} - P_{R}^{2}] p^{C} = 0

因此，我们得到，

u_{L} P_{L}^{3} v_{L} P_{L}^{3} u_{R} P_{R}^{3} v_{R} P_{R}^{3} - P_{L}^{1} - P_{L}^{2} - P_{R}^{1} - P_{R}^{2} p^{C} = 0

重新表示为，

A p^{C} = 0

可以使用SVD（奇异值分解）来解这个方程。为什么？

给定

A x = 0

﻿

，把问题转化为

E = ∣ ∣ A x ∣ ∣_{2}^{2} = (A x)^{T} A x = (U \sum V^{T} x)^{T} U \sum V^{T} x = x^{T} V \sum^{T} U^{T} U \sum V^{T} x = x^{T} V \sum^{T} \sum V^{T} x = ∣∣ \sum V^{T} x ∣ ∣_{2}^{2}, s . t .∣∣ x ∣ ∣_{2}^{2} = 1

注意转置和

U

﻿

是单位正交阵，

U^{T} U = I

﻿

定义

y = V^{T} x

﻿

由于

∣∣ x ∣ ∣_{2}^{2} = 1

﻿

，所以

∣∣ y ∣ ∣_{2}^{2} = 1

﻿

为何?

V

﻿

是一个单位正交阵，模为1.（换个角度，

V

﻿

的作用只是旋转，让

x

﻿

在一个球面上旋转，所以模还是1）

因此，

E = ∣∣ \sum y ∣ ∣_{2}^{2} = σ_{1}^{2} y_{1}^{2} + σ_{2}^{2} y_{2}^{2} + ... + σ_{n}^{2} y_{n}^{2}, s . t .∣∣ y ∣ ∣_{2}^{2} = 1

﻿

因为

σ_{1} \geq σ_{2} \geq ... \geq σ_{n} \geq 0

﻿

, 当

y = [0, 0,,,, 1]^{T}

﻿

时，

E

﻿

就可以取到最小值

σ_{n}

﻿

所以

x = V y = [v_{1}, v_{2}, ..., v_{n}] [0 0 . . . 1] = v_{n}

﻿

2.3三维重建效果图

3 Stereopsis 立体视觉

三维场景几何重建是利用一对同步摄像机的左右图像之间对应的像素对来完成的，也就是说

三维重建的任务，就是研究如何关联两个相机的图像平面。

对于没有标定的立体视觉设备，寻找图像的对应点计算量非常大。而如果立体视觉设备被标定了，那么搜索过程就大大简化了，变成沿着对极线的一维搜寻过程。

判断同步精度可以同时拍手机秒表测试，看误差有多少。

所以使用双目相机，要注意两件事

左右相机要同步

到手之后先做标定

如图，黑色的对极平面

π_{L}, π_{R}

﻿

、对极线是未标定状态（原始出厂设置），而红色的对极平面、对极线是标定之后的，两个平面

π_{L}^{‘}, π_{R}^{‘}

﻿

在同一个平面上，且对极线在同一条直线上，对极线真正成为图像的一行。

3.1双目相机校正步骤

旋转左相机平面，和右相机平面对齐。by

R

﻿

旋转左右相机平面（by

R_{rec t}

﻿

）使得图像平面和向量

t

﻿

平行，也就是垂直于光轴

调整左右图像标度，by 给两个相机设定一样的内参矩阵

R_{rec t} = e_{1}^{T} e_{2}^{T} e_{3}^{T}

这里

e_{1} = \frac{t}{∣∣ t ∣ ∣ _{2}} ， e_{2} = \frac{[ 0 , 0 , 1 ] ^{T} \times t}{∣∣ [ 0 , 0 , 1 ] ^{T} \times t ∣ ∣ _{2}}, an d e_{3} = e_{1} \times e_{2}

﻿

这里怎么理解这个

R_{rec t}

﻿

比较重要

(36 封私信 / 75 条消息) 线性变换的矩阵为什么要强调在这组基下? - 知乎 (zhihu.com)

用

R_{rec t}

﻿

去左乘原来的坐标系，就是让原来的坐标系旋转。

横着看，每一行就是新坐标的x,y,z轴，由原来坐标系x,y,z轴线性组合而成，每一行就是线性组合的系数。比如第一行

e_{1}

﻿

是

[1, 0, 0]

﻿

，就意味着

x^{'} = 1 x + 0 y + 0 z

﻿

，这里的字母都指向量。

看这一页理解，动手写一写就明白了。豁然开朗很爽。

所以回过头来看，e1就是新坐标系的x轴方向就是 t的方向，e2是世界坐标系的z轴

z^{W} = [0, 0, 1]

﻿

和t叉乘，就得到方向向下的新y轴，然后新x轴和新y轴叉积就是新z轴，这里的z轴实际上就是

z^{W} = [0, 0, 1]

﻿

）

2022/05/17 update:这里每一行和每一列的理解要看旋转矩阵和坐标向量具体的定义形式。

3.2校正好的系统

校正好的系统特点有3个，

左右图像就像是被一对平行的、拥有相同内参矩阵的相机拍的，

每一对对极线共线且平行于水平图像轴t

因此，寻找对应点就简化成了一维搜索问题

校正好的系统如下图所示

可以看到，两个平面的对极线在同样的高度。

这样的系统可以被看作特殊的对极几何系统，左右相机互相完全平行

x_{L}^{C}

﻿

和

x_{R}^{C}

﻿

轴是共线的。

o_{L}^{C}

﻿

和

o_{R}^{C}

﻿

是左右相机的光心。

立体视觉设备的基线

T_{c}

﻿

,被定义为

o_{L}^{C}

﻿

和

o_{R}^{C}

﻿

之间的距离。可以理解为瞳距。

左右相机的内参矩阵给定为，

K_{L} = K_{L} = K = f 00 0 f 0 u_{o} v_{o} 1

3.3校正的数学推导

p^{W} = [x^{W}, y^{W}, z^{W}]^{T}

﻿

是世界坐标系里的一个3维的点，投影在左右相机坐标系里坐标分别为

p_{L}^{C} = [x_{L}^{C}, y_{L}^{C}, z_{L}^{C}]^{T} ， p_{R}^{C} = [x_{R}^{C}, y_{R}^{C}, z_{R}^{C}]^{T}

﻿

我们认为左右相机是完全一样的（在一个经过良好校正的立体视觉系统），

s_{x} 和 s_{y}

﻿

简单设成

1

﻿

，

f_{x} = f_{y} = f

﻿

p^{W}

﻿

在对极平面

Π_{L}

﻿

、

Π_{R}

﻿

的投影点;

p_{L} = [x_{L} . y_{L}, f]^{T}, p_{R} = [x_{R} . y_{R}, f]^{T}

﻿

世界坐标系的原点

o^{W}

﻿

，是线段L的中点，

L = t o_{L}^{C} + (1 - t) o_{R}^{C} ∣ t \in [0, 1]

﻿

z^{W}

﻿

轴和相机光轴平行，和对极平面

Π_{L} 、 Π_{R}

﻿

垂直。

因此，一个WCS的任意点

p^{W}

﻿

可以转换成

p_{L}^{C} 和 p_{R}^{C}

﻿

通过：

p_{L}^{C} = I p^{W} + t_{L}, p_{R}^{C} = I p^{W} + t_{R},

w h ere ， t_{L} = [\frac{T _{c}}{2}, 0, 0]^{T}, t_{R} = [- \frac{T _{c}}{2}, 0, 0]^{T}

﻿

利用WCS和IPCS的转换关系，我们得到

x_{L} = f \frac{x ^{W} + T _{c} /2}{z ^{W}}, x_{R} = f \frac{x ^{W} - T _{c} /2}{z ^{W}}, y_{L} = f \frac{y ^{W}}{z ^{W}} y_{R} = f \frac{y ^{W}}{z ^{W}}

再利用CCS和PCS的关系，把上式代入得

p_{L} = [u_{L} v_{L}] = f \frac{x ^{W} + T _{c} /2}{z ^{W}} + u_{o} f \frac{y ^{W}}{z ^{W}} + v_{o} ， p_{R} = [u_{R} v_{R}] = f \frac{x ^{W} - T _{c} /2}{z ^{W}} + u_{o} f \frac{y ^{W}}{z ^{W}} + v_{o}

忘了的同学去看一下Lecture3的我们现在得到了两个等式，

视差d（disparity）和深度

z^{W}

﻿

的关系写为：

d = u_{L} - u_{R} = f \frac{T c}{z ^{W}}

由于双目“瞳距”

T_{c}

﻿

是固定的，所以视差

d

﻿

和

z^{W}

﻿

成反比。和生活经验一致。不信你试试看，分别睁一只眼闭一只眼，看近处物体的移动幅度是不是比远处的大。甚至远处的视差d为零，因为

z^{W}

﻿

趋于无穷大。

因此，视差估计可以看做由两个任务组成：

找到对应点（对），在两个图像的同一行

产生两个视差图像，如下图所示

R.Fan : CV可以做出很酷炫的demo效果

总结

这里写总结

重要内容总结

p_{L} = [u_{L} v_{L}] = f \frac{x ^{W} + T _{c} /2}{z ^{W}} + u_{o} f \frac{y ^{W}}{z ^{W}} + v_{o}

标题目录

线索

笔记