logo资料库

译文_Single Image Haze Removal Using Dark Channel Prior.docx

发布时间：2022-06-10 发布人：admin 分类：说明书 资料大小：0.56M 资料格式：docx 举报 版权申诉
第1页 / 共15页
第2页 / 共15页
第3页 / 共15页
第4页 / 共15页
第5页 / 共15页
第6页 / 共15页
第7页 / 共15页
第8页 / 共15页
资料共15页，剩余部分请下载后查看
    1        介绍
    2        背景
    3        暗通道优先
    4        先用暗渠除雾
    5        实验结果
    6        讨论
    参考文献
    IEEE 模式分析与机器智能汇刊，第 33 卷，第 12 期，2011 年 12 月 单图像雾度消除 使用暗通道优先 何开明，孙健，唐晓欧，IEEE 研究员 在本文中，我们提出了一个简单但有效的图像先验暗通道之前，从一个单一的输入图像去除混浊。暗通道先验是一种室外无雾图像的统计。 这是基于一个关键的观察结果，大多数室外无雾图像中的局部斑点包含一些像素，这些像素在至少一个颜色通道中的强度非常低。利用这一 先验模型，我们可以直接估计薄雾的厚度，并恢复高质量的无薄雾图像。在各种模糊图像上的结果表明了该算法的有效性。此外，作为除雾 的副产品，还可以获得高质量的深度图。 指标项：脱卤、消泡、图像恢复、深度估计。 γ 1 介绍 我 室外场景的法师通常会被大气中的混浊介质（如颗粒和水滴）降解。雾、雾和烟雾是由于大气吸收和散射而产生的现象。摄像机从场景点接收到的辐照度沿视 线衰减。此外，入射光与航空[1]混合，即大气粒子反射到视线中的环境光。降级图像会失去对比度和颜色保真度，如图 1a 所示。由于散射量取决于场景点与 相机之间的距离，因此降级在空间上是不同的。 在消费者/计算摄影和计算机视觉应用中，除雾 1（或除雾）是非常需要的。首先，消除雾霾可以显著提高场景的 可见度，并纠正由飞机引起的颜色偏移。一般来说，无雾图像在视觉上更令人愉悦。其次，大多数计算机视觉算法，从低级 图像分析到高级对象识别，通常假定输入图像（经过辐射定标）是场景辐射。许多视觉算法（如特征检测、滤波和光度分析） 的性能不可避免地会受到偏差和低对比度场景辐射的影响。最后，除雾可以提供深度信息，有利于许多视觉算法和高级图像。 1。雾、雾和烟雾主要在大气粒子的物质、大小、形状和浓度上有所不同。请参阅[2]了解更多详细信息。在本文中，我们不区分这些类似的现象，并使用 术语除雾为简单。 . 他和 X. Tang 在中国香港香港大学信息工程系。电子邮箱：hkm007， xtang@ie.cuhk.edu.hk。 . J.Sun 在微软亚洲研究院工作，地址：中国北京市海淀区知春路 49 号 5 楼。电子邮件：jiansun@microsoft.com。 2009 年 12 月 17 日收到的手稿；2010 年 6 月 24 日修订；2010 年 6 月 26 日接受；2010 年 8 月 31 日在线发布。 建议 S.B.Kang 验收。 有关获得本文转载的信息，请发送电子邮件至： tpami@computer.org，参考 IEEECS 日志号 tpamisi-2009-12-0832。 数字对象标识符编号：10.1109/tpami.2010.168。 编辑。雾或雾可以是一个有用的深度线索，以了解场景。一个不好的模糊图像可以很好地利用。 然而，由于雾霾依赖于未知深度，因此雾霾去除是一个具有挑战性的问题。如果输入只是一个模糊的图像，那么问题就 是欠约束。因此，利用多幅图像或附加信息提出了许多方法。基于偏振的方法[3]、[4]通过用不同偏振度拍摄的两个或多个 图像消除雾效应。在[5]、[6]、[7]中，在不同的天气条件下，从同一场景的多个图像中获得更多的约束。基于深度的方法[8]、 [9]需要一些来自用户输入或已知 3D 模型的深度信息。 近年来，单图像烟雾去除取得了显著进展[10]、[11]。这些方法的成功取决于使用更强有力的先验或假设。Tan[11]观察到， 与输入的模糊图像相比，无模糊图像必须具有更高的对比度，他通过最大化恢复图像的局部对比度来消除模糊。结果在视觉 上令人信服，但在物理上可能无效。Fattal[10]在假设透射和表面阴影局部不相关的情况下，估计了场景的反照率和介质透射。 这种方法在物理上是合理的，可以产生令人印象深刻的结果。然而，它不能很好地处理模糊的图像，并且在假设被打破的情 况下可能会失败。 在本文中，我们提出了一种新的先验暗通道先验来去除单图像的雾度。暗通道先验是基于室外无雾图像的统计。我们发 现，在大多数不覆盖天空的局部区域中，某些像素（称为暗像素）在至少一个颜色（RGB）通道中通常具有非常低的强度。 在模糊的图像中，通道中这些暗像素的强度主要是由飞机造成的。因此，这些暗像素可以直接提供雾度传输的精确估计。结 合雾度成像模型和软消光插值方法，可以恢复高质量的热影响区图像，生成良好的深度图。
    我们的方法在物理上是有效的，并且能够在严重模糊的图像中处理远处的物体。我们不依赖 0162-8828/11/$26.00 2011 IEEE 由 IEEE 计算机协会出版 图 1。使用单个图像去除薄雾。（a）输入模糊图像。（b）通过我们的方法去除雾后的图像。（c）我们恢复的深度图。 透射或表面阴影的显著变化。结果包含少量光环伪影。 与任何使用强假设的方法一样，我们的方法也有其自身的局限性。如果场景对象与大型局部区域上空的飞机（例如，雪 地或白墙）本质上相似，并且没有阴影投射在其上，则之前的暗通道可能无效。虽然我们的方法适用于大多数室外模糊图像， 但在某些极端情况下可能会失败。幸运的是，在这种情况下，消除雾霾并不重要，因为雾霾很少可见。我们认为，从不同的 方向发展小说先验，并将它们结合起来，将进一步促进艺术的发展。 2 背景 在计算机视觉和计算机图形学中，用来描述模糊图像形成的模型是[2]。 【5】、【10】、【11】： i_x_¼j_x_t_x_a_1 t_x_；_1_，其中 i 是观测强度，j 是场景辐射度，a 是全球大气光，t 是描述未散射并到达相 机的光部分的介质传输。去除模糊的目标是从 i 中恢复 j、a 和 t。对于 n 像素彩色图像 i，存在 3n 约束和 4n_3 未知。这使得 除雾问题本身就模糊不清。 在（1）中，右侧的第一个术语 j_x_t_x_称为直接衰减[11]，第二个术语 a_1 t_x_称为空运[1]，[11]。直接衰减描述了场景 的辐射及其在介质中的衰减，而空运是由先前的散射光引起的，并导致场景颜色的偏移。虽然直接衰减是场景辐射的乘性失 真，但空运是加性失真。 当大气均匀时，透射 t 可以表示为 T_x_¼ed_x_；_2_ 式中为大气散射系数，d 为景深。该方程表明场景辐射随深度呈指数衰减。如果我们能恢复传输，我们也能将深度恢复到一 个未知的尺度。 几何上，雾度成像方程（1）表示在 RGB 颜色空间中，向量 a、i_x_和 j_x_是共面的，它们的端点是共线的（见图 2a）。 传输 T 是两个线段的比率： Ka I_x_k 交流 IC_x_ T×x Ka J_x_k¼AC JC_x_；_3_
    其中，c 2 fr；g；bg 是颜色通道索引。 图 2。（a）雾度成像模型。（b）恒定反照率模型用于 法塔尔的作品[10]。 图 3。暗通道的计算。（a）任意图像 j.（b）对于每个像素，我们计算其（r，g，b）值的最小值。（c）在（b）上执行最小滤波器。这是 J 的暗通 道，图像大小为 800551，补丁大小为 1515。 基于该模型，谭的方法[11]着重于提高图像的可见性。对于具有均匀传输 t 的补丁，输入图像的可见性（梯度和）因 t<1 而被薄雾降低： x x x x kri_x_k¼t krj_x_k
    其中 jc 是 j 的颜色通道，x_是以 x 为中心的局部补丁。暗通道是两个颜色通道的结果。 最小运算符：对每个像素执行 mini（图 3b），mini 是最小过滤器（图 3c）。最小算子是交换的。C2FR；G；BG2 xγ 利用暗通道的概念，我们的观察表明，如果 j 是室外无雾图像，除了天空区域，j 暗通道的强度较低，并且趋向于零： 天哪！0：_6_ 我们称这一观测为“暗通道先验”。 暗通道中的低强度主要是由三个因素造成的：a）阴影，如城市景观图像中的汽车、建筑物和窗户内部的阴影，或景观图 像中的树叶、树木和岩石的阴影；b）彩色物体或表面，如任何颜色通道中的低反射物体（如绿草）。/树木/植物、红色或黄 色花/叶和蓝色水面）会导致深色通道中的数值较低；c）深色物体或表面，例如深色树干和石头。由于自然的户外图像通常 色彩丰富，充满阴影，这些图像的暗通道真的很暗！ 为了验证之前的黑暗通道有多好，我们从 flickr.com 和其他几个图像搜索引擎收集了一组室外图像，使用了由 flickr 用户 注释的 150 个最流行的标签。由于雾霾通常发生在室外景观和城市景观场景中，因此我们从数据集中手动选取无雾霾景观和 城市景观。此外，我们只关注白天的图像。其中，我们随机选取 5000 幅图像，手工切割出天空区域。调整图像的大小，使 其最大宽度和高度为 500 像素，并使用大小为 15 15 的补丁计算其暗通道。图 4 显示了一些室外图像和相应的暗通道。 图 4。（a）我们的无雾图像数据库中的示例图像。（b）相应的暗通道。（c）模糊的图像及其黑暗通道。 图 5a 是所有 5000 个暗通道的强度直方图，图 5b 是相应的累积分布。我们可以看到，暗通道中大约 75%的像素值为零， 90%的像素强度低于 25。这一统计数据为我们的暗通道先验提供了非常有力的支持。我们还计算了每个暗通道的平均强度， 并在图 5C 中绘制了相应的柱状图。同样，大多数暗通道的平均强度非常低，表明只有一小部分室外无雾图像偏离了之前的 图像。 由于加性的空运，模糊图像比其无雾版本更亮，在该版本中，传输 T 较低。因此，模糊图像的暗通道在雾度更大的区域 将具有更高的强度（参见图 4 的右侧）。从视觉上看，暗通道的强度是薄雾厚度的粗略近似值。在下一节中，我们将使用这 个属性来估计传输和大气光。 请注意，我们忽略了天空区域，因为无雾图像的暗通道在这里可能具有高强度。幸运的是，我们可以通过使用薄雾成像 模型（1）和之前的模型一起优雅地处理天空区域。没有必要明确地切除天空区域。我们将在第 4.1 节中讨论这个问题。
    图 5。暗通道的统计。（a）5000 个暗通道中像素强度的柱状图（每个 bin 代表 16 个强度级别）。（b）累积分布。（c）每个暗通道平均强度的柱 状图。 我们的暗通道先验部分灵感来自众所周知的暗物体减法技术[12]广泛应用于多光谱遥感系统。在[12]中，通过减去与场景 中最暗的对象相对应的常量值，可以去除空间均匀的薄雾。对这一观点进行了归纳，提出了一种新的自然图像去杂先验方法。 4 先用暗渠除雾 4.1 估计传输 我们假设大气光 a 是给定的。第 4.3 节提出了一种自动估算 a 的方法。我们首先通过以下公式将雾度成像方程（1）标准化： IC×X JC×x C¼T_X_ AC_1 T_x_：_7_ 一 请注意，我们独立地规范化每个颜色通道。 我们进一步假设局部补丁_x_中的传输是恒定的。我们将此传输表示为 T~ _x_。然后，我们计算（7）两边的暗通道。等 价地，我们在两边放置最小运算符： YMN2×X MIc Ica_y_¼t~ _x_min 最小值 江泽民 C Y2_x_c a_8_1 t~ _x_： 因为 t~240;x_是补丁中的常量，所以它可以放在 min 操作符的外部。 由于场景辐射度 j 是无雾图像，j 的暗通道由于之前的暗通道而接近于零： J_x_¼最小 MinJC_y_¼0：_9_黑暗的 Y2_x_c 由于交流总是积极的，这导致 闵敏 ¼0:_10_y2_x_c 交流 JCγYγ 将（10）代入（8）中，我们可以简单地消除乘法项，估计传输率 t ~。 Ic_y_t~ _x_¼1 分钟 C：_11_Y2_X_C A 集成电路 实际上，miny_minc_c 是标准化模糊图像的暗通道。它直接提供对传输的估计。2 xγ丙甲 我 一 Y γ C 正如我们前面提到的，暗通道先验对于天空区域来说不是一个好的先验。幸运的是，在朦胧的图像 i 中，天空的颜色通常 与大气光 a 非常相似。因此，在天空区域，我们有 闵敏 ！1；Y2×x C AC 我 CγYγ
    而（11）给出了 T~ _x_！0。因为天空是无限远的，它的传输确实接近于零（见（2）），（11）优雅地处理天空和非天空区 域。我们不需要事先分离天空区域。 在实践中，即使在晴朗的日子里，大气中也没有任何粒子。所以当我们看到远处的物体时，薄雾仍然存在。此外，薄雾 的存在是人类感知深度的基本线索[13]，[14]。这种现象被称为空中透视。如果我们彻底消除了雾霾，图像可能看起来不自 然，我们可能会失去深度感。因此，我们可以通过引入一个常量参数来选择为远处的物体保留非常小的雾度！（0）！1）进 （11）： 我 CγYγ T~γXγ1 ！Y 闽 2℃Xγ闽 C 一 C：12γ 这种修改的优点是我们可以自适应地为遥远的物体保持更多的模糊度。价值！是基于应用程序的。对于本文报告的所有结果， 我们将其固定为 0.95。 在（11）的推导中，暗通道先验是 对于消除薄雾成像模型（1）中的乘法项（直接传输）至关重要。只剩下附加术语（空运）。此策略与以前的单图像烟雾消 除方法[10]、[11]完全不同，后者严重依赖于乘法项。这些方法的驱动因素是乘法项改变了图像对比度[11]和颜色差异[10]。 相反，我们注意到 更改局部深色像素的强度。借助暗信道先验，放弃了乘法项，加性项足以估计传输。我们可以进一步概括（1） i_x_¼j_x_t_x_a_1 t_x_；_13_，其中，标准皮重不一定相同。利用推导（11）的方法，我们可以估计和分离加 法项。这个问题被简化成一个乘法形式（j_x_t），其他约束或先验可以用来进一步解开这个术语。在人类视觉研究文献[15] 中，附加术语被称为遮光亮度，并且（13）可用于描述通过遮光或高光眩光看到的场景。121 2 2 1 图 6b 显示了使用（12）估计的传输图。图 6d 显示了相应的恢复图像。如我们所见，暗通道优先是有效的恢复生动的色彩 和揭示低对比度物体。传输图是合理的。主要问题是一些光晕和块伪影。这是因为在一个补丁中传输并不总是恒定的。在下 一节中，我们提出了一种软铺垫方法来细化传输图。 4.2 软垫子 我们注意到，雾度成像方程（1）的形式与图像铺垫方程类似： i¼f_b_1_；_14_，其中 f 和 b 分别是前景和背景色，是前景不透明度。在雾霾成像方程中的透射图就是 一个阿尔法图。因此，我们可以应用 matting[16]的封闭式框架来改进传输。 用 t_x_表示精确的传输图。将 t_x_和 t_x_以向量形式重写为 t 和~t，我们将以下成本函数最小化： E_T_¼TTlt_T~T_T~T_：_15_T 这里，第一项是平滑项，第二项是带权重的数据项。矩阵 l 称为 matting-laplacian 矩阵[16]。其_i；j_元素定义为 图 6。去雾（a）输入模糊图像。（b）软垫前的估计传输图。（c）经过软垫处理后的精确传输图。 （d）、（e）分别使用（b）和（c）恢复图像。
    x 1 t“1！！ iJ 1 _i k_k_我 U3_I K_；KJ_I；J_2WK JWKJ JWKJJ 其中 i 和 i 是输入图像 i 的像素 i 和 j 的颜色，是克罗内克三角洲，是窗口 wk 中颜色的平均和协方差矩阵，u3 是一个 3 3 单 位矩阵，“是一个正则化参数，jwkj 是窗口 wk 中的像素数。我 JiJKK （16） 通过求解下列稀疏线性系统，可以得到最优的 T： _l_u_t 掑 t；_17_ 其中 u 是一个与 l 大小相同的单位矩阵。我们设置了一个小的（实验中为 104），使 t 被~t 柔和地约束。 [16]中 matting-laplacian 矩阵的推导基于颜色线假设：小局部补丁中的前景/背景色位于 RGB 颜色空间中的一条线上。颜色 线假设也适用于雾度去除问题。首先，场景辐射度 J 是一个自然图像。根据[16]、[17]，颜色线模型适用于自然图像。其次， 大气光 a 是一个常数，当然它满足假设。因此，将消光拉普拉斯矩阵作为消光雾问题的光滑项是有效的。 hsu 等人也应用了封闭式铺垫框架。[18]处理空间变异白平衡问题。在[16]，[18]中，约束在一些稀疏区域中是已知的，这 个框架主要用于将值外推到未知区域中。在我们的应用程序中，粗糙约束~t 已经填充了整个图像。我们将此约束视为软约束， 并使用 matting 框架来优化映射。 在解线性系统（17）后，我们在 T 上执行双边滤波器[19]以平滑其小尺度纹理。 图 6c 显示了以图 6b 为约束的优化结果。如我们所见，光晕和块伪影被抑制。精确的传输图能够捕捉锐利的边缘不连续点， 并勾勒出物体的轮廓。 4.3 估算大气光 我们一直假设大气光 a 是已知的。在本节中，我们提出了一种估算 a 的方法。在之前的工作中，将最模糊不透明区域的颜色 用作[11]或作为 a 的初始猜测[10]。然而，对于“最浑浊不透明”区域的检测却很少受到关注。 在谭的研究中[11]，模糊图像中最亮的像素被认为是最不透明的。只有当天气阴沉，阳光可以忽略的时候，这才是真的。 在这种情况下，大气光是场景的唯一照明源。因此，每个颜色通道的场景辐射度由 J_X_¼R_X_A；_18_ 其中，r 1 是场景点的反射比。雾度成像方程（1）可写为 i_x_¼r_x_a t_x__1 t_x_a:_19_ 当无限距离的像素（t 0）存在于图像中时，最亮的 i 是最不透明的，它大约等于 a。不幸的是，在实践中我们很少能忽视阳 光。考虑到阳光 S，我们修改（18） J_X_¼R_X_S_A_；_20_ （19） i_x_¼r_x_st_x_r_x_a t_x__1 t_x_a:_21_
    图 7。估算大气光。（a）输入图像。（b）黑暗通道和最模糊的不透明区域。（c）我们的方法自动获得大气光的补丁。（d）、（e）包含比大气光 亮的像素的两个补丁。 在这种情况下，整个图像中最亮的像素可能比大气光亮。它们可以在白色汽车或白色建筑物上（图 7d 和 7e）。 如第 3 节所述，模糊图像的暗通道近似于雾密度（见图 7b）。因此，我们可以利用暗通道来探测最模糊的不透明区域， 并改进大气光线的估计。我们首先选取暗通道中最亮的 0.1%像素。这些像素通常是最不透明的（由图 7b 中的黄线包围）。 在这些像素中，选择输入图像 i 中强度最高的像素作为大气光。这些像素位于图 7a 中的红色矩形中。请注意，这些像素可能 不是整个输入图像中最亮的像素。 即使图像中不存在无限距离的像素，这种方法也能很好地工作。在图 8b 中，我们的方法设法检测出最模糊的不透明区域。 然而，这里的 t 不接近零，因此这些区域的颜色可能不同于 a。幸运的是，在这些最模糊的不透明区域中，t 很小，因此阳光 的影响很弱（见（21））。因此，这些区域仍然可以提供 A 的良好近似值。该图像的雾度消除结果如图 8c 所示。 这种基于暗通道先验的简单方法比“最亮像素”方法更为稳健。我们用它来自动估计大气中所有图像的光。 图 8。（a）输入图像。（b）暗通道。红色像素是我们方法检测到的最模糊的不透明区域。（c）我们的除雾结果。（d）法塔尔除雾结果[10]。
    分享到：
    赞 收藏

    相关推荐

    资料库

    音视频

    共收录313份资料，累计4个分类，关注成员有19位，主要包括：图像识别,直播技术,编解码,图像处理

    热门标签

    图像识别 直播技术 编解码 图像处理

    最新资料