2 2 基于梯度的结构相似度的图像质量评价方法 杨春玲 　旷开智 　陈冠豪 　谢胜利 (华南理工大学 电子与信息学院 , 广东 广州 510640) 2 2 3 　 第 34卷 第 9期 2006年 9月 2 2 2 华 南 理 工 大 学 学 报 ( 自 然 科 学 版 ) Journal of South China University of Technology (Natural Science Edition) Vol. 34　No. 9 Sep tember　2006 565X (2006) 09 0022 04 文章编号 : 1000 摘 　要 : 虽然基于结构信息的图像质量评价方法 ———结构相似度 ( SSIM )模型结构简单 、 评价性能优于峰值信噪比 ( PSNR )或均方误差 (MSE)模型 ,但 SSIM 模型不能较好地评价 严重模糊的降质图像.文中提出了一种基于梯度的结构相似度 ( GSSIM )图像质量评价方 法 ,该方法将梯度作为图像的主要结构信息. 实验结果表明 , GSSIM 模型比 SSIM 和 PSNR (MSE)模型更符合人眼视觉系统特性 ,能较好地评价模糊图像的质量. 关键词 : 图像质量 ; 评价 ; 结构相似度 ; 基于梯度的结构相似度 ; 人眼视觉系统 中图分类号 : TN 911 73　　　　文献标识码 : A 　　图像质量评价方法分为两种 :主观评价方法和 客观评价方法. 人眼视觉系统 ( HVS)是图像处理的 终端 ,所以最合理的图像质量评价方法是主观评价 方法. 然而 ,主观评价需要组织观察者对失真图像进 行评分 ,从而使劳动强度增加 ,费时费力 ,且不能直 接应用于图像处理系统中 ,以便随时改善图像处理 算法. 客观评价方法采用数学模型计算失真图像和 原始图像的相似度 (或失真度 ) ,得到评价结果 ,因 而具有简单 、便于内置于图像处理系统中的优点. 峰 值信噪比 ( PSNR )和均方误差 (MSE)是多年来应用 最广泛的客观评价标准 [ 1 2 ] ,原因在于其计算复杂 度低 ,物理意义清晰. 但在 20世纪 70年代 ,人们就 已发现均方误差不能很好地和视觉质量相吻合 [ 3 ] , 因为它没有充分地考虑人眼的视觉特性 ,这对图像 这种最终信宿为人眼的信号而言是非常不合理的. 近几十年来 ,许多研究者致力于寻找符合人眼 视觉系统特性的数学模型 ,并提出了一些有效的算 法 ,如 D. J. Sakrison的多通道图像感知尺度 [ 4 ] , Lu bin提出的视觉差分图 (VDM )模型 [ 5 ]等. 但这些方 法大多是基于人眼视觉系统的视觉误差理论 ,即图 像的视觉失真是和图像的误差信号的可见性相关 　收稿日期 : 2005 11 21 基金项目 : 国家自然科学基金资助项目 (60402015) ;国家 杰出青年自然科学基金资助项目 (60325310) 　作者简介 : 杨春玲 ( 1970 视频处理方面的研究. E ) ,女 ,副教授 ,主要从事图像和 mail: eechlyang@scut. edu. cn 的. 虽然视觉误差理论在国际上已被广泛接受 ,但其 发展受到了很大的限制 ,原因在于 : ( 1)人眼视觉系 统的复杂性 ; ( 2)人眼视觉实验都是基于较简单的 图像 ,而实际的自然图像相对要复杂得多 ,因此这些 实验结论对于自然图像的描述往往显得力不从心 ; (3)人眼视觉系统模型相对较复杂 ,作为图像质量 评价标准不实用. 因此 ,这些基于视觉误差理论的图 像和视频质量评价方法并不能取代目前被广泛采用 的最简单的图像质量评价标准 ———均方误差 [ 6 ]. 最近几年 ,人们对人眼视觉系统的研究有了新 的突破 ,W ang等认为人眼视觉系统的主要功能是提 取图像和视频中的结构信息 [ 7 8 ] ,并在文献 [ 8 ]中提 出了结构相似度 ( SSIM )的图像质量评价方法 ,通过 仿真证明了它优于 PSNR 方法. 虽然 SSIM 算法简 单 、评价性能较好 ,但是 , SSIM 算法不能较好地评价 严重模糊图像的质量 [ 9 10 ]. 有鉴于此 ,文中提出了一 种基于梯度的结构相似度 ( GSSIM )的图像质量评价 方法. 1　结构相似度 文献 [ 8 ]中提出的 SSIM 包括亮度 、对比度和结 构 3个方面 ,其模型定义为 SS IM ( x , y) = l ( x , y) c ( x , y) s ( x , y) l ( x , y) = c ( x , y) = 2μxμy + C1 x +μ2 μ2 y + C1 2σxσy + C2 x +σ2 σ2 y + C2 ( 1) ( 2) ( 3) ' 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

9 9 9 9 9 9 2 　第 9期 杨春玲 等 : 基于梯度的结构相似度的图像质量评价方法 32 s ( x , y) = σx y + C3 σxσy + C3 (4) g (x, y) = 2 j i Gx ( i, j) Gy ( i, j) +C3 [Gx ( i, j) ]2 + [Gy ( i, j) ]2 +C3 j i j i 式中 : x 和 y分别为原图像块和降质图像块 ; l ( x , y) , c ( x , y) , s ( x , y)分别为 x 和 y的亮度函数 、对比 度函数和结构函数 ;μx 和 μy 分别为 x 和 y的均值 ; σx 和 σy 分别为 x 和 y的标准差 ;σx y为 x 和 y的协 方差 ; C1 , C2 , C3 是为了避免分母为零而设的小常 数 , C1 = ( K1L ) 2 , C2 = ( K2L ) 2 , C3 = C2 /2; K1 , K2 << 1; L 是像素值的动态范围 (若是 8 位灰度图像则 L = 255) . 结构相似度的值越高 ,图像块 x 和 y越相似. 对所有图像块的 SSIM 求均值 , 得到整幅图像 的结构相似度 : M SS IM ( X , Y) = 1 M M j = 1 式中 :M 为图像块的数量. SS IM ( x j, yj ) (5) 2　基于梯度的结构相似度 文献 [ 7 8 ]中的实验结果表明 , SSIM 比 PSNR 或 MSE更符合人眼视觉系统特性. 但对于严重模糊 的降质图像 , SSIM 的评价结果很不合理 [ 7 ]. 另外 ,式 (4)中 σxy的取值范围为 (- ∞, + ∞) ,会造成某些情 况下 SSIM < 0. 而两个图像块的结构相似度为负值 的现象很难解释. 由于人眼对图像的边缘非常敏感 , 而梯度可以 很好地反映出图像中微小的细节反差和纹理特征变 化 ,可以用来评价图像的清晰程度 ,因此文中提出将 梯度作为图像的主要结构信息 , 进而提出基于梯度 的结构相似度的图像质量评价方法. 　　文中的梯度计算采用 Sobel算子 ,包括垂直边 缘算子 V 和水平边缘算子 H (见图 1) . 图 1　Sobel算子 Fig. 1　Sobel operator 　　梯度幅值 : Gx ( i, j) = j) x ( i, i + j) x ( i, j (6) 式中 : x ( i, i j) , j) x ( i, j 分别为用水平边缘算子 H 和垂直边缘算子 V 计算得到的梯度分量. 图像块 x 和 y的梯度相似度 g ( x , y)为 ( 7) j)分别为原图像块 x 和降质图 j) , Gy ( i, j)处的梯度幅值. 式中 : Gx ( i, 像块 y在 ( i, 　　将式 ( 1)中的 s ( x , y)用梯度相似度 g ( x , y)代 替 ,得到基于梯度的结构相似度 : GSS IM ( x, y) = α 　　[ l ( x , y) ] β [ c ( x, y) ] γ [ g ( x, y) ] ( 8) 式中 :α,β和 γ为常数 , 用于调整各分量的重要程 度. 文中 ,简单地取 α =β =γ = 1. 由式 ( 6) ～ ( 8)可 知 , Gx ( i, j)都是不小于 0的实数 ,因此所 有的 GSSIM ≥0. 整幅图像基于梯度的结构相似度可 由各子图像块的 GSSIM 的均值得到 : j)和 Gy ( i, 　　M GSS IM ( X , Y) = 1 M M j = 1 3　实验结果及分析 GSS IM ( x j, yi ) ( 9) 用美国 TEXAS大学图像和视频工程实验室提 供的图像质量估计数据库进行仿真实验 , 并从非线 性回归条件下的绝对误差均值 (MAE) 、均方差的平 方根 (RMS)和离散率 (OR ) 3个方面比较了 GSSIM , SSIM 和 PSNR 的性能. 非线性回归函数采用文献 [ 6 ]中的 Logistic函数. MAE和 RMS值越小 ,说明该 客观评价模型越好. OR 表示客观评分对主观评分 的估计值和主观评分一致性的参量 ,其值越小表示 客观评价模型越好. 实验中用到的两个子图像库分 别为不 同 误 码 率 条 件 下 的 JPEG2000 压 缩 图 像 ( Fastfading)库和高斯模糊图像 ( Gblur)库. 每个图 像库中有 145幅不同质量的降质图像及其平均主观 评分差值 (DMOS). DMOS是主观评分均值 (MOS) 和满分 ( 100 )的差值 (DMOS = 100 - MOS) ,因此 , DMOS值越大表示图像质量越差 , DMOS值越小表 示图像质量越好 ,且 DMOS的取值范围为 [ 0, 100 ]. 　　图 2为 PSNR , SSIM 和 GSSIM 模型对 Fastfading 图像评价的 DMOS散点图. 从图 2可知 ,无论是从数 据样本的分散度还是从主客观评分的相关性来分 析 , GSSIM 模型均优于 SSIM 模型 ,而 SSIM 模型优 于 PSNR模型. 　　表 1为 PSNR , SSIM 和 GSSIM 模型评价 Fastfa ding和 Gblur图像的性能比较. 由表 1 可见 , GSSIM 模型对 Fastfading和 Gblur图像的评价性能均优于 SSIM 模型 ,而 SSIM 模型优于 PSNR模型. © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

42 华 南 理 工 大 学 学 报 (自 然 科 学 版 ) 第 34卷 图 2 　 PSNR, SSIM 和 GSSIM 模 型 评 价 Fastfading 图 像 的 DMOS散点图 Fig. 2　Scatter p lots of DMOS for PSNR, SSIM and GSSIM mo dels assessing Fastfading images 表 1　PSNR, SSIM 和 GSSIM 模型评价 Fastfading和 Gblur图 像的性能比较 Table1　Comparison of performance for PSNR, SSIM and GSSIM models assessing Fastfading and Gblure images 评价模型 PSNR SSIM Fastfading图像 Gblur图像 MAE RMS OR / % MAE RMS OR / % 7. 756 1 9. 776 5 4. 830 5. 831 5 7. 530 8 5. 553 4. 101 4 5. 176 1 4. 830 4. 941 3 6. 365 7 6. 210 GSSIM 3. 883 4 4. 904 2 4. 140 4. 711 6 5. 963 7 4. 830 　　为更直观地比较这 3个客观评价模型 ( PSNR, SSIM 和 GSSIM ) ,从两个图像库中各选一幅降质图 像 ,相应的原图 、主观评分及 GSSIM 和 SSIM 的客观 评分值见图 3. 从图 3 可知 , GSSIM 的评分比 SSIM 更加符合主观评分. GSSIM 对模糊图像能取得更好 的评价效果 ,原因在于 GSSIM以梯度作为图像的主 图 3　仿真实验结果比较 Fig. 3　Comparison of simulation results 要结构信息 ,能更好地反映图像的边缘和纹理变化 情况 ,符合人眼视觉系统对灰度跃变较敏感的性能. 对于严重模糊失真图像 ,其纹理特性已经受到了严 重的破坏 , SSIM 中的结构函数 s ( x , y)不能很好地 反映这种变化 ,而梯度却能如实地反应图像中这种 纹理特征的变化. 实验中还发现 , GSSIM 对非模糊降 质图像质量的评价性能和 SSIM的评价性能差不多. © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

2 　第 9期 杨春玲 等 : 基于梯度的结构相似度的图像质量评价方法 52 4　结论 本文在 SSIM 基础上 ,提出了一种新的图像质 量评价方法 GSSIM. GSSIM 在理论上克服了 SSIM 算 法中出现负值的现象 ;由于利用梯度作为结构信息 , 与人眼视觉系统的高层次感知理论比较符合 ,能较 好地估计模糊图像的质量 ,对其他类型降质图像的 评价性能和 SSIM 差不多. 仿真实验也证明了 GSSIM 模型优于 SSIM 和 PSNR模型. GSSIM 模型中只用到 了梯度的幅值 ,而梯度方向对图像质量的评价结果 也有影响 ,因此如何更全面地利用梯度以更好地评 价图像质量是下一步的研究目标. 参考文献 : [ 1 ] 　许志良 ,谢胜利. 一种基于 MRF的自适应块效应去除 算法 [ J ]. 华南理工大学学报 : 自然科学版 , 2005, 33 (7) : 15 Xu Zhi li. An adap tive deblocking algo rithm based on MRF [ J ]. Journal of South China Univer sity of Technology: Natural Science Edition, 2005, 33 (7) : 15 19. liang, Xie Sheng 19. [ 2 ] 　梁亚玲 ,杨春玲 ,余英林 ,等. 基于人眼视觉特性的任 意形状 RO I编码 [ J ]. 华南理工大学学报 :自然科学 版 , 2005, 33 (3) : 44 lin, et al. A rbi L iang Ya trary shaped RO I image coding based on HVS [ J ]. Jour nal of South China University of Technology: Natural Sci ence Edition, 2005, 33 (3) : 44 ling, Yang Chun ling, Yu Ying 49. 49. [ 3 ] 　Mannos J L, Sakrison D J. The effects of a visual fidelity IEEE Trans on criterion on the encoding of images [ J ]. Information Theory, 1974, 20 (4) : 525 536. [ 4 ] 　Sakrison D J. On the role of the observer and a distortion IEEE Trans on COM , measure image transm ission [ J ]. 1977, 25 (11) : 1 251 1 267. [ 5 ] 　Lubin J. A visual discrim ination model for imaging system design and evaluation [M ] ∥Pelied E. V ision Models for Target Detection and Recognition. New York: World Sci entific Publishing Co Pte L td, 1995. [ 6 ] 　VQEG. Final report from the video quality experts group on the validation of objective models of video quality assess 05). http: ∥www. vqeg. org/. ment [ EB /OL ]. (2000 03 [ 7 ] 　W ang Zhou, Bovik A C, Lu L i gang. W hy is image quality assessment so difficult? [ C ] ∥Proc of IEEE Int Conf on Acoustics, Speech, and Signal Processing.O rlando: [ s. n. ], 2002: IV 3 316. 3 313 IV [ 8 ] 　W ang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural sim ilarity [ J ]. IEEE Trans on Image Processing, 2004, 13 (4) : 600 612. [ 9 ] 　 Pan Xiao ling, Xie Sheng zhou, Yang Chun li. An im p roved structural sim ilarity for image quality assessment [ C ] ∥ Proc of SP IE. W uhan: [ s. n. ] , 2005: 60441 I 1 6044 l I 9. [ 10 ] 　Cadik M , Slavik P. Evaluation of two p rincipal app roa ches to objective image quality assessment [ C ] ∥Proc of the 8 th International Conference on Information V isuali sation. London: IEEE Computer Society, 2004: 513 518. Gradient Based Structural Sim ilarity for Image Qua lity Assessment Yang Chun ling　Kuang Ka i zh i　Chen Guan hao　X ie S heng li ( School of Electronic and Information Engineering, South China Univ. of Tech. , Guangzhou 510640, Guangdong, China) this paper p roposes a gradient there still remain some deficiencies in assessing badly blurred images. Abstract: A lthough the SSIM ( Structural Sim ilarity) model, an assessment model of image quality based on the structural information, has been p roved to be better than the PSNR ( Peak Signal to Noise Ratio) or the MSE (Mean Square Error) model, In order to solve this p rob based structural sim ilarity (GSSIM) model that takes the gradient as the main struc lem , tural information of an image. Experimental results show that the p roposed GSSIM model is more consistent with human visual system and can assess the quality of blurred images more p recisely than the SSIM and PSNR (MSE) models. Key words: system based structural sim ilarity; human visual structural sim ilarity; gradient image quality; assessment; © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 责任编辑 : 许花桃