Epipolar Geometry
and the Fundamental Matrix
Review about Camera Matrix P
(from Lecture on Calibration)
• Between the world coordinates
X=(Xs, Xs, Xs, 1) of a scene point and the
coordinates x=(u’,v’,w’) of its projection,
we have the following linear
=
transformation:
=
with
x
y
'
wu
/'
/'
'
wv
pix
pix
XPx =
• P is a 3x4 matrix that completely represents
the mapping from the scene to the image
and is therefore called a “camera”.
Central Projection
If world and image points are represented by homogeneous
vectors, central projection is a linear transformation:
=
x
f
i
s
x
z
s
y
z
s
s
=
f
y
i
=
u
v
w
f
0
0
0
f
0
0
0
1
0
0
0
s
s
x
y
z
s
1
Image point
(xi , yi , f)
x
center of
projection
y
C
f
=
x
i
ywu
/
,
i
=
wv
/
Image plane
Scene point
(xs , ys , zs )
z
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
Pixel Components
Transformation uses:
• principal point (x0, y0)
• scaling factors kx and ky
=
x
i
=
y
i
f
f
x
s
z
s
y
z
s
s
ypix
y
Image point
(xi , yi , f)
y0
Image center
Principal point
x
x
pix
=
xk
x
i
+
x
0
x0
=
kf
x
s
x
y
pix
=
yk
y
i
+
y
0
=
kf
y
y
xpix
xz
s
0
yz
s
0
s
+
z
s
+
z
s
'
u
v
'
w
'
=
a
x
0
0
0
a
y
0
x
0
y
0
1
0
0
0
s
s
x
y
z
s
1
with
=
=
a
a
x
y
kf
kf
x
y
then
x
y
pix
pix
=
=
'
wu
/'
/'
'
wv
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
/'
'
wu
wv
/'
'
Internal Camera Parameters
=
=
=
-=
with
kf
pix
x
s
x
y
pix
x
kf
y
a
a
y
'
u
v
'
w
'
=
a
x
0
0
s
a
y
0
x
0
y
0
1
0
0
0
s
x
y
z
s
1
3
]
0|
3
=
0
0
0
x
0
y
0
1
x
0
y
0
1
a
x
0
0
s
a
y
0
s
a
y
0
[
IK=
0001
0010
0100
a
x
0
0
• ax and ay “focal lengths” in pixels
• x0 and y0 coordinates of image center in pixels
•Added parameter s is skew parameter
• K is called calibration matrix. Five degrees of freedom.
•K is a 3x3 upper triangular matrix
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
From Camera Coordinates
to World Coordinates
y
Principal plane (Cx, Cy)
Image plane
Principal point (x0, y0 )
z
Principal axis Cz
Z
(xs , ys , zs )
(Xs , Ys , Zs )
M
O
X
Y
Camera center C
x
Image point
(xi , yi , f)
=
TR
T
30
1
S
X
Y
S
Z
S
1
S
S
x
y
z
S
1
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
ß
ø
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
Using Camera Center Position in
World Coordinates
• We can use instead of T
~
CR-
S
S
x
y
z
S
1
=
~
CR-R
T
30
1
S
X
Y
S
Z
S
1
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
ß
ø
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
Linear Transformation from
World Coordinates to Pixels
• Combine camera projection and coordinate
transformation matrices into a single matrix P
[
IK
=
3
]
0|
3
'
u
v
'
w
'
S
S
x
y
z
S
1
=
~
CR-R
T
30
1
s
s
x
y
z
s
1
X
Y
S
Z
S
1
S
'
u
v
'
w
'
[
IK
=
3
0|
3
]
~
CR-R
T
0
3
1
S
X
Y
S
Z
S
1
'
u
v
'
w
'
=
P
S
X
Y
S
Z
S
1
XPx =
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
ß
ø
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
ß
ø
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø
œ
œ
œ
œ
ß
ø
Œ
Œ
Œ
Œ
º
Ø
œ
œ
œ
ß
ø
Œ
Œ
Œ
º
Ø