双目立体视觉
8月1日
论文
Ø MC-CNN:Stereo Matching by Training a Convolutional
Neural Network to Compare Image Patches(2015)
Ø LRCR:Left-Right Comparative Recurrent Model for Stereo
Matching(2018)
Ø CBMV: A Coalesced Bidirectional Matching Volume for
Disparity Estimation (2018)
Deep Learning
Ø 2015年Jure Zbontar 和Yann LeCun 提出MC-CNN算法第一次将
CNN应用于立体匹配。
Ø 基于CNN的视差估计方法可以大致分为三类:
学习
匹配代价
MC-CNN、Content-CNN、等
基于
CNN
立体
匹配
回归视差
(端到端学习)
DispNetC、 GC-Net等
多个网络
SGM-Net、L-ResMatch 等
MC-CNN
构建数据集
Ø 左图中的点P(x,y)在右图中的匹配点为q:
正样本:q=(x−d+Opos,y);
负样本:q=(x−d+Oneg,y);
ØOneg∈±[dataset_neg_high, dataset_neg_low]
Ø Opos理论上是0,但实际选取一个不超过1 的值。
扩大数据集
rotate
scale
shear
change brightness and contrast
MC-CNN
fast architecture
Hinge s
,
s
max
0,
m
s
s
只有当正样本的相似度超过负样本的相似度
m时, 损失函数才是0 ,m=0.2.
MC-CNN
accurate architecture
loss
*
t
log s
1
t
*
log
1
s
.
s是网络的输出,t是其实际的样本标签,正样本为1,负样本为0
MC-CNN
计算匹配代价
1. 网络训练时,使用图像块进行训练;保证正样本和负样本数量相同;
2. 测试时将左右两幅图像同时输入,分别计算以每个像素为中心的图像块
的特征向量,
3. 然后根据特征向量,在视差范围内计算两个图像块之间的相似性。
MC-CNN流程图
MC-CNN
1. Cross-based cost aggregation: CBCA
|−|