logo资料库

双目立体视觉汇报1.pptx

第1页 / 共24页
第2页 / 共24页
第3页 / 共24页
第4页 / 共24页
第5页 / 共24页
第6页 / 共24页
第7页 / 共24页
第8页 / 共24页
资料共24页,剩余部分请下载后查看
双目立体视觉 8月1日
论文 Ø MC-CNN:Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches(2015) Ø LRCR:Left-Right Comparative Recurrent Model for Stereo Matching(2018) Ø CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation (2018)
Deep Learning Ø 2015年Jure Zbontar 和Yann LeCun 提出MC-CNN算法第一次将 CNN应用于立体匹配。 Ø 基于CNN的视差估计方法可以大致分为三类: 学习 匹配代价 MC-CNN、Content-CNN、等 基于 CNN 立体 匹配 回归视差 (端到端学习) DispNetC、 GC-Net等 多个网络 SGM-Net、L-ResMatch 等
MC-CNN 构建数据集 Ø 左图中的点P(x,y)在右图中的匹配点为q: 正样本:q=(x−d+Opos,y); 负样本:q=(x−d+Oneg,y); ØOneg∈±[dataset_neg_high, dataset_neg_low]  Ø Opos理论上是0,但实际选取一个不超过1 的值。 扩大数据集 rotate scale shear change brightness and contrast
MC-CNN fast architecture  Hinge s  , s    max  0, m  s   s   只有当正样本的相似度超过负样本的相似度 m时, 损失函数才是0 ,m=0.2.
MC-CNN accurate architecture loss  * t   log s   1  t  * log  1  s  . s是网络的输出,t是其实际的样本标签,正样本为1,负样本为0
MC-CNN 计算匹配代价 1. 网络训练时,使用图像块进行训练;保证正样本和负样本数量相同; 2. 测试时将左右两幅图像同时输入,分别计算以每个像素为中心的图像块 的特征向量, 3. 然后根据特征向量,在视差范围内计算两个图像块之间的相似性。 MC-CNN流程图
MC-CNN 1. Cross-based cost aggregation: CBCA |−|
分享到:
收藏