logo资料库

论文研究-基于颜色校正和多尺度融合的水下图像 增强 .pdf

第1页 / 共7页
第2页 / 共7页
第3页 / 共7页
第4页 / 共7页
第5页 / 共7页
第6页 / 共7页
第7页 / 共7页
资料共7页,全文预览结束
中国科技论文在线 http://www.paper.edu.cn 基于颜色校正和多尺度融合的水下图像 增强 # 郭京,陶志勇** (辽宁工程技术大学电子与信息工程学院,葫芦岛 125105) 摘要:针对水下图像颜色失真、对比度低、以及非均匀光照等问题,提出一种有效的水下图 像增强算法。首先,基于白平衡算法对水下退化图像进行处理,并通过伽玛校正解决增强后 部分图像区域过亮或过暗的问题,得到颜色校正后的图像;再对白平衡处理后的图像进行自 适应对比度拉伸,并通过引导滤波去噪得到高对比度的水下清晰图像;最后将这两幅图像作 为融合过程的输入,进行多尺度融合。实验结果表明,本文算法能有效提高水下图像对比度, 解决水下图像模糊和光照不均问题,且在无需任何先验信息的条件下,广泛适用于多种水下 退化图像,有效提高图像视觉质量。 关键词:图像处理;水下图像增强;多尺度融合;白平衡;伽玛校正;引导滤波 中图分类号:TN919.81 Underwater image enhancement based on color correction and multi-scale fusion GUO Jing, TAO Zhiyong (College of Electronic and Information Engineering, Liaoning University of Engineering and Technology, Huludao 125105) Abstract: An effective underwater image enhancement algorithm was proposed to solve the problems of color distortion, low contrast and uneven illumination. Firstly, the original image is processed based on the white balance algorithm, and the problem of over-bright or over-dark parts of the enhanced image area is solved by gamma correction, and the color-corrected image is obtained. Next, adaptive contrast stretch was carried out for the image after the white balance processing, and the high contrast underwater image was obtained by guided filtering and denoising. Lastly, these two images are used as the input of the fusion process for multi-scale fusion. Experimental results show that the proposed algorithm can effectively improve the contrast of underwater images, solve the problem of underwater image blurring and uneven illumination, and is widely applicable to a variety of underwater degraded images without any prior information, effectively improving the image visual quality. Key words: Image processing; Underwater image enhancement; Multiscale fusion; The white balance; Gamma correction; Guide the filtering 5 10 15 20 25 30 35 0 引言 由于光在水下的传输衰减特性和光照条件的限制,导致获取到的图像普遍存在表面雾 化、对比度低、纹理模糊、颜色失真等不利因素。图像可视质量的下降对后续的处理和检测, 如特征点提取、目标检测和跟踪、图像匹配和重建、目标物体位姿检测等产生很大影响,给 40 实际应用和科学研究带来了极大困难。因此,采用图像处理技术还原出清晰的水下图像具有 重要意义。 基金项目:辽宁省自然基金(2015020100) 作者简介:郭京(1995-),女,研究生,主要研究方向:图像处理 通信联系人:陶志勇(1978-),男,副教授,硕士生导师,主要研究方向:图像处理. E-mail: taozhiyong@lntu.edu.cn - 1 -
中国科技论文在线 http://www.paper.edu.cn 水下图像清晰化技术主要分为水下图像复原算法和水下图像增强算法,前者对水下图像 的退化过程进行建模,并通过相关先验信息对模型参数进行估计,还原出水下环境本来面貌; 45 后者则通过消除图像的畸变和噪声,加强感兴趣的目标物体特征,削弱不相关的背景特征来 获取清晰的水下图像。目前,常被应用于水下图像的增强算法大致分为以下四类:1)基于对 比度增强的水下图像处理方法:直方图均衡化[1]和限制对比度直方图均衡化[2]。2010 年,Iqbal 等人[3]提出了一种结合颜色模型和无监督颜色校正的方法,用于改善水下图像的对比度和颜 色。该方法是在 RGB 颜色空间中扩展红(R)、绿(G)和蓝(B)三通道的动态范围,然后在 HSV 50 颜色空间中扩展饱和度(S)和强度(I)的动态范围。尽管图像整体对比度有所增强并且颜色投 射被减少,但是图像中的部分局部区域被弱化且引入大量噪声。2015 年,Ghani 和 Isa 等人 [4][5]提出了一种基于瑞利拉伸对比度限制自适应直方图的方法,改善了水下图像的可视性。 然而,这种方法往往会增加噪声,并且增强后的图像中往往存在一些欠增强和过增强的区域。 2)颜色修正方法:灰度世界假设[6]和白平衡[7]等。2013 年,Henke 等人[8]提出一种基于特征 55 的水下图像颜色校正算法。该方法通过分析颜色恒常性算法在处理水下图像时存在的局限 性,进而提高水下图像的视觉效果,但算法普适性较差。3)变换域增强图像:如小波变换域 [9-11],在降噪方面效果较好,但针对水下图像的雾化现象、颜色失真等综合性问题并未取得 良好的效果。4)图像融合方法:2012 年,Ancuti 等人[12]首先利用白平衡算法对水下图像进 行颜色校正,其次采用局部自适应直方图均衡化算法进一步增强图像对比度,最后通过多尺 60 度融合算法对处理后的两幅图像进行融合,结果表明增强的图像具有较小的噪声水平、提高 的全局对比度以及增强细节和边缘等优点,但这种方法受人工光源的影响。2018 年,Li 等 人[13]结合 HSV 空间色彩增强理论,提出一种基于 Retinex 和暗通道先验的融合方法,实验 结果表明,该方法可以解决伪影、颜色失真、噪声放大等问题,且不需要任何先验知识就可 以得到较高质量的彩色图像,但算法处理时间长,实时性不高。 65 本文针对水下图像颜色失真和纹理模糊问题,提出一种高效、鲁棒的水下图像融合算法。 该算法能有效平滑噪声,增强图像细节信息,融合后的水下图像与原水下退化图像相比,颜 色更加鲜明,对比度得到增强,视觉效果良好。 1 算法原理 本文利用多尺度融合框架,提出了一种水下图像增强方法。图像融合在多个应用中具有 70 实用价值,本文目标是采用一种简单和快速的方法,能够有效提高图像的可见性,通过混合 特定输入和权重,以克服水下环境的限制。图 1 为基于融合增强水下图像的基本算法流程图。 本文算法的增强方法包括三个主要步骤:(1)对水下退化图像进行红通道补偿,然后 通过白平衡算法减少颜色投射;(2)对白平衡后的图像进行相应处理,获取融合过程的输 入图像;(3)定义多尺度融合的权重,并进行水下图像融合。其中单一水下图像融合过程 75 的两个输入来自同一原始退化图像,第一个输入对图像进行颜色校正;第二个输入增强水下 图像的对比度并进行降噪处理。 - 2 -
中国科技论文在线 1.1 基于白平衡的水下图像颜色校正 http://www.paper.edu.cn 首先对图像进行白平衡,白平衡旨在改善图像颜色。不同波长的光穿过水面时,水体会 选择性地吸收光辐射,导致水下图像的红色光分量较低,从而造成水下图像通常为蓝色。实 80 际上,水体的颜色失真与景深也有很大关系。 多数白平衡方法都采用特定的假设来估计光源的颜色,然后将每个颜色通道除以其对应 的归一化光源强度,实现颜色的恒常性。通过独立地平均每个通道,简单地估计光源颜色分 布。然而,由于水下图像红色通道通常具有较小的平均值,导致图像部分区域的红色通道过 度补偿,处理后的图像往往存在严重的红色伪影。针对这一问题,本文对水下退化图像进行 85 红通道补偿,然后采用经典的灰度世界算法来校正水下图像中失真的颜色。 图 1 基于融合增强水下图像基本算法流程图 Fig. 1 Fundamental algorithm flowchart of fusion-based underwater image enhancement 数学上,在每个像素位置(x)处补偿的红色通道灰度值如下: 90 (1) 其中, 、 代表图像的红色和绿色通道; 和 表示 和 的平均值。a 表示常数参数。 实验表明,a=1 的值适合于各种照明条件和采集设置[14]。 当蓝光被强烈衰减且红色通道的补偿不足时,需要对蓝色通道进一步补偿。补偿的蓝色 通道 为: 95 (2) 其中, 和 代表图像的蓝色和绿色颜色通道,a 同样设置为 1。 在补偿了红色通道衰减之后,采用传统的灰度世界假设来估计和补偿光源色偏。这不仅 能够减少因灰度拉伸引入的量化伪影,同时也能去除水下图像的颜色投射。 - 3 - 水下退化图像伽玛校正权重图W1权重图W2多尺度融合融合后图像白平衡引导滤波对比度限制自适应直方图均衡化1rcrgrrgIxIxaIIIxIxrIgIrIgIrIgIbcI1bcbgbbgIxIxaIIIxIxbIgI
中国科技论文在线 1.2 融合算法输入图像获取 http://www.paper.edu.cn 100 本文首先对上述白平衡算法处理后的图像进行伽玛校正,解决增强后部分图像区域过亮 或过暗的问题,获得颜色校正后的第一幅输入图像。然后,在白平衡的基础上进行对比度限 制自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE),增强图 像对比度,使边缘细节更加明显。其次,由于引导滤波在去噪、边缘保持、平滑细节等方面 处理效果较好,采用引导滤波对增强对比度后的图像进行去噪,得到第二幅输入图像。最后 105 将得到的两幅输入图像进行多尺度融合。 具体算法流程如下: 1)对白平衡处理后的图像进行伽玛校正,得到第一个输入图像。伽玛校正就是对图像进 行非线性色调拉伸的方法,通过加大图像中的较深和较浅的比例,进而提高图像对比度。对 像素进行校正执行如下步骤: 110 ①对图像像素进行归一化处理: 115 ②预补偿:求出像素归一化后数据的指数对应值 I: (3) (4) ③反归一化:将上面得到的数据进行反归一化处理(转化回 0-255 之间),具体计算方 法为: 在图像照度不均匀的情况下,可以通过伽玛校正,将图像整体亮度提高或降低。 2)对白平衡处理后的图像通过 CLAHE 算法增强对比度,其次进行引导滤波处理,用于 (5) 降噪并保持边缘,得到第二幅输入图像。 120 1.3 多尺度融合 给定归一化权重图[12],重构图像 通常可以由定义的输入与每个像素位置 上的 权重融合来获得: (6) 其中, 表示由标准化权重 加权的输入(文中将两幅图像进行融合,即 K=2)。 125 多尺度融合过程中,首先是把每幅输入图像基于拉普拉斯算子进行分解,得到多尺度的 拉普拉斯金字塔,其次,把与各输入图像相对应的权重图基于高斯滤波算子进行分解,得到 多尺度的高斯金字塔。金字塔的 N 级拉普拉斯算子定义如下: (7) 在式(7)中, 和 分别代表拉普拉斯和高斯金字塔的第 l 层。 130 最后,在各尺度上对拉普拉斯和高斯金字塔进行融合。按照传统的多尺度融合方法,每 - 4 - (0.5)/256Ki1/Igamma2560.5Lfxx1KkkkxWxIxkIkW111111221221NllIxIxGIxGIxLIxGIxIxLIxGIxGIxGIxIxLIxLIxGIxIxLIx@KlLlG
中国科技论文在线 http://www.paper.edu.cn 个输入图像被分解为拉普拉斯金字塔,而归一化的权重图则使用高斯金字塔进行分解。两种 金字塔具有相同的层数,并在每一层独立地进行拉普拉斯输入与高斯归一化权值的混合: (8) 其中,l 为金字塔层数, ,K 为输入图像个数。实际上,总层数 N 的数量取决 135 于图像的大小,并直接影响到融合图像的视觉质量。最后通过适当的上采样,求出各层的融 合贡献之和,得到最终的输出图像。 2 实验结果对比与分析 本文首先通过白平衡算法对水下退化图像进行颜色校正,并采用伽玛校正解决增强后图 像局部区域过亮或过暗的问题,获得融合的第一幅输入图像。然后,在白平衡的基础上进行 140 CLAHE,增强图像对比度,使边缘细节更加明显,其次运用引导滤波进行去噪处理,得到 融合的第二幅输入图像。最后将得到的两幅输入图像进行多尺度融合,实验结果如图 2 所示。 从左到右分别为:(a)水下原图像,(b)白平衡处理后的水下图像,(c)在白平衡的基础上 进行伽玛校正处理后的水下图像,(d)在白平衡的基础上进行 CLAHE 处理后的水下图像,(e) 在白平衡和 CLAHE 的基础上进行引导滤波处理后的水下图像,(f)融合后的水下图像。 145 (a) (b) (c) (d) (f) (e) 图 2 多尺度融合后的水下图像 Fig. 2 Multi-scale fusion of underwater images 150 从图 2 中可以看出,水下原始退化图像存在细节模糊、颜色失真和对比度低等退化问题。 经白平衡算法处理后,能有效校正图像颜色,图像视觉质量得到明显提高。但白平衡处理后 的水下图像局部区域亮度过高,因此采用伽玛校正对水下图像进一步处理,使得水下图像的 亮度分布更加均匀,如图 2(c)所示;此外,对白平衡处理后的图像进行 CLAHE 处理,得到 高对比度的水下图像,如图 2(d)所示,然后经引导滤波对图像进一步处理,如图 2(e)所示, 155 能有效消除噪声,锐化边缘;最终融合后的水下图像与原水下图像相比,对比度及颜色信息 均显著提升,视觉质量得到有效提高。 此外,为进一步评价所提算法的有效性。将本文的水下图像融合方法与传统图像增强方 法中的单尺度 Retinex(SSR)算法和引导滤波算法进行对比及分析,如图 3 所示。SSR 算法是 一种基于颜色恒常性的经典颜色校正算法,将其作为对比算法可有效验证所提算法的鲁棒 160 性。引导滤波算法是一种边缘保持算法,可用于降噪、平滑细节等方面。在本文的算法中同 样用到了引导滤波,将其作为对比算法可验证本文算法的有效性。在图 3 中,从左到右分别 为:(a)原水下图像,(b)SSR 处理后的水下图像,(c)引导滤波处理后的水下图像,(d)多尺度 融合后的图像。 - 5 - 1KllklkkxGWxLIx1,2{,},lN
中国科技论文在线 http://www.paper.edu.cn 从图 3 中可以看出,SSR 算法处理后的水下图像,在颜色信息及图像对比度方面都得到 165 有效提升,图像视觉质量得到明显改善。引导滤波算法通常用于平滑图像细节、降低噪声, 在颜色校正方面并没有明显效果。而本文提出的融合算法相比于对比算法,在图像细节、颜 色信息、对比度方面都有显著提升,图像视觉质量大幅度提高。因此,本文算法具有良好的 有效性及鲁棒性。 170 (a) (b) (c) (d) 图 3 实验结果对比图 Fig. 3 Comparison figure of experimental results 175 3 结论 本文利用多尺度融合的原理,提出了一种水下图像增强算法。能有效解决水下图像颜色 失真和纹理模糊等问题,在水下图像颜色校正、提高对比度的同时,有效平滑噪声、增强图 像细节信息,实现水下图像清晰化,提高图像视觉质量。 [参考文献] (References) 180 185 190 195 200 [1] Hummel R. Image enhancement by histogram transformation[J]. Computer Graphics and Image Processing, 1977, 6(2): 184-195. [2] Zuiderveld K. Contrast Limited Adaptive Histogram Equalization[M]. Academic Press Professional, Inc. 1994. [3] Iqbal K, Odetayo M, James A, et al. Enhancing the low quality images using unsupervised colour correction method[C]. Proceedings of 2010 IEEE International Conference on Systems Man and Cybernetics. Istanbul: IEEE 2010:1703-1709. [4] Ghani A S A. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]. Applied Soft Computing, 2014, 27:219-230. [5] Abdul Ghani A S, Mat Isa N A. Enhancement of low quality underwater image through integrated global and local contrast correction[J]. Applied Soft Computing, 2015, 37. [6] M. Masood, J. Wood, J. Staudinger, et al. Behavioral Modeling of Ebner M. Color Constancy[M]. New York: John Wiley & Sons, 2007. [7] Liu Y C, Chan W H, Chen Y Q. Automatic white balance for digital still camera[J]. IEEE Transactions on Consumer Electronics, 2004, 41(3): 460-466. [8] Henke B, Vahl M, Zhou Z L. Removing color cast of underwater images through non-constant color constancy hypothesis[C]International Symposium on Image and Signal Processing and Analysis. Trieste: IEEE, 2013: 20-24. [9] 蓝国宁,李建,籍芳. 基于小波的水下图像后向散射噪声去除[J]. 海洋技术,2010,29(2):43-47. [10] 刘红莉. 基于小波变换的水下图像阈值去噪方法的研究[D]. 青岛:中国海洋大学,2012. [11] Singh G, Jaggi N, Vasamsetti S, et al. Underwater image/video enhancement using waveletbased color correction (WBCC) method[C]. Proceedings of 2015 IEEE UnderwaterTechnology, 2015. [12] Ancuti C, Ancuti C O, Haber T, et al. Enhancing Underwater Images and Videos by Fusion[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012. - 6 -
中国科技论文在线 http://www.paper.edu.cn [13] Li Z B, Li G Y, Niu B S, et al. Sea Cucumber image dehazing method by fusion of Retinex and dark channel[J]. IFAC-PapersOnLine, 2018, 51(17): 796-801. [14] Ancuti C O, Ancuti C, Vleeschouwer C D, et al. Color Balance and Fusion for Underwater Image Enhancement[J]. IEEE Transactions on Image Processing, 2017, PP(99):1-1. 205 - 7 -
分享到:
收藏