logo资料库

论文研究-通用型无参考图像质量评价算法综述.pdf

发布时间：2022-05-29 发布人：admin 分类：说明书 资料大小：0.82M 资料格式：pdf 举报 版权申诉
第1页 / 共11页
第2页 / 共11页
第3页 / 共11页
第4页 / 共11页
第5页 / 共11页
第6页 / 共11页
第7页 / 共11页
第8页 / 共11页
资料共11页，剩余部分请下载后查看
    Computer Engineering and Applications 计算机工程与应用 2015，51（19） 13 通用型无参考图像质量评价算法综述 张淑芳，张 聪，张 涛，雷志春 ZHANG Shufang, ZHANG Cong, ZHANG Tao, LEI Zhichun 天津大学 电子信息工程学院，天津 300072 School of Electronic Information Engineering, Tianjin University, Tianjin 300072, China ZHANG Shufang, ZHANG Cong, ZHANG Tao, et al. Review on universal no-reference image quality assessment algorithm. Computer Engineering and Applications, 2015, 51（19）：13-23. Abstract：Image quality assessment can effectively evaluate distortion or degradation caused by image acquisition and transmission process, which has a broad application prospect in the field of digital multimedia. And because of no need any pristine knowledge of reference images, no-reference image quality assessment has become an advanced research hot- spot in the field of image quality assessment. On the basis of extensive research of literatures at home and abroad, in both of algorithm principle and performance comparison, this paper systematically introduces several state-of-the-art no-refer- ence IQA algorithms, such as BIQI, DIIVINE, BLIINDS, BLIINDS-II, BRISQUE, NIQE and GRNN. Firstly, the methods of feature extraction and the principle of quality assessment of each algorithm are introduced. Secondly, the algorithms above are simulated and evaluated on the LIVE image database, and the performance and execution speed of the algo- rithms are analyzed and compared. At last, the further research trends of no-reference image quality assessment are pro- posed. Although these no-reference image quality assessments reviewed in this paper have satisfactory performance, their processes of evaluating image quality heavily depend on opinion data of image quality in the image database, and there still exist some deficiencies in evaluation performance and algorithm complexity. Therefore, it is necessary to make fur- ther study in this field. Key words：image quality assessment; no reference; universal; feature extraction 摘 要：图像质量评价可有效评估图像采集和传输过程引起的失真或退化，在数字多媒体领域具有广阔的应用前景， 无参考图像质量评价算法由于不需要参考图像先验知识，近年来成为图像质量评价领域研究的热点。在对国内外文 献进行广泛调研的基础上，从评价算法原理和性能比较两个方面，系统综述了 BIQI、DIIVINE、BLIINDS、BLIINDS-II、 BRISQUE、NIQE 和 GRNN 等当前性能较优的几种无参考图像质量评价算法。介绍了各种算法的特征提取和质量 评价原理，在 LIVE 数据库上对上述评价方法进行仿真评估，并分析和比较了各种算法的评价性能和执行速度，提出 了无参考评价方法的进一步研究方向。综述的几种无参考图像质量评价算法虽然已具有很好的效果，但在评价时 严重依赖数据库中的主观评价数据，并且在评价精度和算法复杂度方面还存在一些不足，需要进行深入研究。 关键词：图像质量评价；无参考；通用型；特征提取 文献标志码：A 中图分类号：TP391 doi：10.3778/j.issn.1002-8331.1507-0044 1 引言 图像质量评价能有效评估图像采集和处理过程所 引起的失真或退化，具有很好的理论价值和应用前景。 目前研究较多地全参考（Full-Reference，FR）和部分参 考（Reduced-Reference，RR）评价算法，由于要用到参考 图像的先验信息，因此在实际应用中受到限制。无参考 基金项目：国家自然科学基金青年基金（No.61101226）。 作者简介：张淑芳（1979—），女，博士，副教授，主要研究方向为图像质量评价和数字视频压缩；张聪（1991—），男，硕士研究生，主 要研究方向为图像和视频质量评价算法；张涛，博士，副教授，主要研究方向为数字音频处理和 DSP 应用；雷志春，博 士，教授，主要研究方向为多媒体技术和工业图像处理。E-mail：shufangzhang@tju.edu.cn 收稿日期：2015-07-03 修回日期：2015-08-22 文章编号：1002-8331（2015）19-0013-11 CNKI 网络优先出版：2015-08-26, http://www.cnki.net/kcms/detail/11.2127.TP.20150826.1554.015.html
    14 2015，51（19） Computer Engineering and Applications 计算机工程与应用 （No-Reference，NR）评价算法不依赖原始图像信息，具 有实际的应用前景。 无参考图像质量评价算法按照其适用范围可分为专 用型方法和通用型方法两种 [1]，如图 1 所示。专用型无 参考评价算法针对特定失真类型图像进行评价，如文献 [2-5]提出了针对图像 JPEG 压缩编码失真的评价算法， 文献[2-3]通过测量块边缘强度及其他特征对图像进行 评价，Zhou 等人提出了基于边缘平均误差和图像活跃 性的特征学习方法 [4]；文献[6-10]是针对图像 JPEG2000 压缩编码的算法，该类算法通常采用边缘检测和建立边 缘分布模型来衡量图像的振铃效应和模糊程度；文献 [11-16]是针对图像模糊的评价算法，Caviedes 等人通过 计算轮廓上图像块 DCT 的峰度（Kurtosis）平均值反映图 像模糊程度[11]，Ferzli 等人利用恰可察觉模糊（Just Notice Blur，JNB）的方法来评价图像质量 [12]，桑庆宾等人通过 构造模糊副本来计算结构相似性 [14]。实际应用中图像 失真类型具有多样性和相互叠加性，因此，针对特定失 真类型的无参考质量评价算法的应用受到严重限制。 专用型评 价算法 JPEG 编码失真的评价算法 JP2K 编码失真的评价算法 针对模糊的评价算法 针对快衰落的评价算法 无参考质量 评价算法 通用型评 价算法 小波域特征 的评价算法 DCT 域特征 的评价算法 空域特征的 评价算法 图像熵的 评价算法 BIQI DIIVINE BLIINDS BLIINDS-II BRISQUE NIQE GRNN 图 1 无参考图像质量评价算法分类 当前通用型无参考图像质量评价算法是本领域的 研究热点，Moorthy 等人于 2010 年提出了一种基于两级 框架的无参考图像质量评价模型（Blind Image Quality Index，BIQI）[17]，在失真图像的小波域提取统计特征和 利用支持向量机（Support Vector Machine，SVM）进行 图像失真类型分类的基础上，融合专用型无参考质量评 价方法，计算图像客观质量分数。Moorthy 等人在 BIQI 模型的基础上提出基于失真类型识别的图像真实性和 完整性评价模型（Distortion Identification-based Image Verity and INtegrity Evaluation，DIIVINE）[18]，利用可控 金字塔[19]在方向和尺度上进行小波分解，提取归一化小 波系数[20]统计特征，然后利用支持向量机建立特征模型。 有别于两级框架的无参考图像质量评价算法，以下几 种评价方法不需要对图像进行失真类型分类。Saad 等人 提出了 BLIINDS（BLind Image Integrity Notator using DCT Statistics）算法[21]，并提出了 BLIINDS-II改进算法[22]， 其通过在图像 DCT域提取 DCT系数的统计特征建立支持 向量回归（Support Vector Regression，SVR）模型。Mittal 等人提出了 BRISQUE（Blind/Referenceless Image Spatial Quality Evaluator）算法 [23]，通过对图像的空域归一化 [24] 系数提取统计特征建立回归模型。在 BRISQUE 方法的 基 础 上 ，Mittal 等 人 又 提 出 了 完 全 无 参 考 算 法 NIQE （Natural Image Quality Evaluator）[25]，该算法通过计算 失 真 图 像 与 无 失 真 图 像 的 多 元 高 斯 模 型（Multivariate Gaussian Model，MVG）距离来衡量图像质量。Li 等人 提出了基于广义高斯模型的 GRNN（General Regression Neural Network）算法[26]，通过提取图像的相位一致性模 型熵、相位一致性模型均值、失真图像的梯度均值以及 失真图像熵等特征，运用广义高斯模型进行特征建模。 贾惠珍等人 [27]为了弥补文献[23]统计特征的缺点，通过 引入文献[26]中提出的相位一致性等视觉特性，有效提 高了评价性能；李朝峰等人提出了利用灰度-梯度共生 矩阵计算图像相位一致性模型熵的图像统计特征[28]，以 及结合 NSS 和小波变换的无参考图像质量评价[29]。 本文将对几种典型的通用型无参考图像质量评价 算法进行讨论，首先介绍通用型算法特征提取和质量评 价的原理；然后在 LIVE 数据库 [30]上对上述评价方法进 行仿真评估，并分析和比较了各种算法的评价性能和执 行速度；最后对无参考图像质量评价算法的进一步研究 方向做简要概括。 2 评价方法介绍 2.1 基于小波域特征的评价方法 2.1.1 BIQI 算法 Moorthy 等人提出了一种基于小波域的自然图像统 计特性算法（BIQI）[17]，认为失真会影响图像小波域自然 统计特性[31]，并且这种影响是有规律且可量化的。BIQI 算 法 提 出 两 级 框 架 的 模 型 ，第 一 步 利 用 支 持 向 量 机 （SVM）识别图像中存在每一种失真类型的可能性；第 二 步 利 用 专 用 型 无 参 考 方 法 或 者 利 用 支 持 向 量 回 归 （SVR）计算图像在每一种单一失真类型下对应的图像 质量；最后利用第一步得到的失真类型可能性对第二步 的结果进行加权平均得到图像质量。 对于一幅输入图像，利用 Daubechies 9/7 小波基， 经过 3 级尺度和 3 个方向的小波变换之后得到子带系 数 ，然 后 用 一 种 广 义 高 斯 分 布（Generalized Gaussian Distribution，GGD）进行拟合： f x (x; μσ 2γ) = ae-[b|x - μ|] （1） (μσ 2γ) 分别是GGD分布的均值、方差和形状参数。其中， b = (1/σ) Γ (3/γ)/Γ (1/γ) ，a = βγ/2Γ (1/γ) ，Γ (x) =  t x - 1e-tdt   ¥ 0
    张淑芳，张 聪，张 涛，等：通用型无参考图像质量评价算法综述 2015，51（19） 15 (x > 0) 。由于小波基可看成是一种特殊的带通滤波器， 故其响应满足零均值分布 μ = 0 ，(σ 2γ) 可以利用最大 似然估计[32]计算。在经过 3 级尺度和 3 个方向小波变换 的 9 个小波子带上各提取两个特征参数 (σ 2γ) ，这些特   (Î R1 ´ 18) 。由于图像视觉效应是 征参数可以表示为 f i 多尺度的，故本文在图像的两个尺度上共提取了 36 个 特征。 利 用 多 分 类 支 持 向 量 机（Multiclass-SVM）对 训 练  集中 5 种失真图像提取上述的特征向量 f   进行训练。 i SVM 预测出失真图像中存在每一种失真类型的可能性 {i = 125} 。 针 对 5 种 失 真 类 型 ，利 用 特 征 向 量 p i ，分别进行 SVR 训练得到特征向量与图像主观质量之 {i = 125} 。然后计算图像的客观 i f i 间的映射关系 q 评价质量： BIQI  =  å 5 i = 1 p i × q i = 125 i （2） 在 进 行 SVM 分 类 时 ，采 用 的 是 径 向 基 函 数 方 法 （Radial Basis Function，RBF），以 5 重交叉验证的方式 确定 SVM 参数；采用 v-SVM 进行回归训练，(Cγν) 参 数采取与 SVM 同样的交叉验证方式进行确定，其中 ν 取确定值 0.5。 BIQI 算法测试图像质量时，由于在多尺度多方向 小波变换子带上提取特征，并利用支持向量机进行回归 预测，因此客观评价分数与主观评价分数之间的一致性 较好。 2.1.2 DIIVINE 算法 Moorthy 等人在 BIQI 算法基础上进行了改进，提出 了基于失真类型识别的图像真实性和完整性评价算法 （DIIVINE）[18]，不同于 BIQI 只提取一些简单的边际描述 的特征，该算法提取了与视觉一致性的统计特征。文献 [33]证明了图像的尺度空间方向分解小波变换与大脑 初级视觉皮层的空间分解相对应。该算法对于分离归 一化[20]的小波系数进行特征提取，并利用与 BIQI 相似的 方法计算图像质量。 （1）小波系数归一化 该过程分两步进行：第一步，利用可控金字塔 [33]在 两级尺度、6 个方向执行小波分解。小波分解系数用 sθ α 表示，θ Î{0°30°60°90°120°150°} ，α Î{12} 。第 二步，执行重要的视觉分离归一化变换（Divisive Nor- malization Transform）过程 [19]。定义一个归一化邻域向 量 Y ，其包含了 15 个系数（9 个来自子带中间系数 y 的 3 ´ 3 邻域，1 个自来小波母带，5 个来自同一尺度上的相 邻 子 带）。 用 高 斯 尺 度 混 合（Gaussian Scale Mixture， GSM）模型 [34]对 Y 建模。对于一个满足 GSM 模型的 N 维随机向量 Y ，令 Y º z × U（ º 表示概率分布相等），z c 是随机变量，U 是零均值高斯随机向量（方差为 C Y 的概率密度可以表示为： U ）， (y) =  p Y 1 (2π)N 2 z2C 1 2 U exp( -Y TC -1 Y U z2 ) p z (z)dz （3） 在已知向量 Y 的情况下，归一化参数 p 可以表示为： p = Y TC -1 U Y/N ，分离归一化变换之后的系数 ŷ = y/p ， 得到了分离归一化变换之后的子带系数 d θ α 化过程使得自然图像的子带统计特性分布特征更接近 于高斯分布。 。分离归一 （2）小波系数统计特征 小波系数统计特征包括：子带分布特征、方向相关 性、尺度间相关性、空间自相关性和空间互相关性。 子带分布特征：12 个子带上的子带系数用公式（1） 进行表示，由于 μ = 0 ，采用快速匹配法[35]估计分布参数 (σ 2γ) 作为子带分布特征。 方向相关性特征：对于分离归一化之后的系数 d θ α ， |"αθ} 进行拟合， 同样采用 GGD 对 {(d θ 1 估计的 γ 作为方向相关性特征。 d θ 2 )|"θ} 与 {d θ α 尺度相关性特征：每一个带通（BP）子带用窗函数 方 法 [10] 比 较 其 高 通 残 余 带 。 采 用 标 准 差 σ = 1.5 的 15 ´ 15 高斯窗函数对 BP 和 HP 带进行滤波。结构相关 性计算公式为： + C 2 + C p = （4） 2σ xy + σ 2 y σ 2 x 2 σ 2 、σ 2 y 分别是 BP 与 表示 BP 与 HP 窗口区域内协方差，σ 2 x 空间自相关性：对于 {d θ 1 xy HP 窗口区域方差，C 为一个常数，对子带内所有的局 部区域相关性求平均值 pˉ ，将其作为尺度相关性特征。 |"θ} ，计算 (ij) 处小波系 数与 N τ(τ Î{1225}) 的联合经验分布，N τ 表示棋 盘距离为 τ 的空间坐标系集合。对于值为 τ 的联合分 布 可 以 理 解 为 两 个 随 机 变 量 X 与 Y 的 联 合 分 布 (xy) 。估计两个变量之间的相关性，如式（5）所示： p XY E (xy) P XY [(X - E P X ρ(τ) = [X ])T(Y - E σ Y (x) σ X [Y ])] (y) P Y （5） 其中 E [X ] 表示边际分布为 P (x) 的 X 的数学期望。 X X (x) P "θ} 分别计算 ρ(τ) ，然后利用 3阶多项式对 (τρ(τ)) 对 {d θ 1 进 行 曲 线 拟 合 ，每 一 个 3 阶 曲 线 拟 合 得 到 4 个 拟 合 参 数。将拟合参数、预测值与实际值的差等作为空间自相 关性统计特征。 空间互相关性特征：将 θ Î{0°,30°,60°,90°,120°,150°} = 15 组。采用与计算尺度相关 6 个方向的子带，分为 C 2 6 性特征的窗函数方法 [10]，计算每组子带中的区域相关 性，并取最低的 5%的区域相关性数值，作为空间互相关
    16 2015，51（19） Computer Engineering and Applications 计算机工程与应用 提取 var(E[R θ ]) 与 max(E[R θ ]) 作为图像各向异性特征。 （2）图像质量计算 向量 X ={ f i i i |i Î 128} 表示第 i 幅图像上提取 的特征向量，DMOS 表示第 i 幅图像主观质量分数。算 法用多元高斯分布（Multivariate Gaussian Distribution， MGD）模型或者多元拉普拉斯分布（Multivariate Lapla- cian Distribution，MLD）模型对图像特征进行拟合，因 为这两种模型仅仅需要估计均值和方差两个参数。通 过在 LIVE 数据中选取部分图像作为训练样本提取图像 特征 X ，训练得到概率模型 P(XDMOS) 。对于输入图 像，提取特征向量 X ) 即为图像 质量。 ，计算 max  P(DMOS /X i i i BLIINDS 算法的模型训练不需要知道训练样本的 失真类型，并且特征训练过程简单，算法复杂度低于基 于两级框架的算法。 2.2.2 BLIINDS-II 算法 BLIINDS-II 算法[22]在 BLIINDS 算法的基础上，对特 征选取和特征拟合形式进行了一些改变，使得客观评价 结果更符合主观评价。BLIINDS-II 在图像的 DCT 域提 取 的 特 征 包 括 ：广 义 高 斯 分 布（Generalized Gaussian Distribution，GGD）形状参数特征、频率变化系数、能量 子带比例和方向特征等。 GGD 模型形状参数特征：与 BLIINDS 算法一样，将 图像分为 B ´ B 的图像块进行二维 DCT 变换，用公式 （1）广义高斯模型拟合 DCT 的交流系数，(μσ 2γ) 分别 是该模型的参数。并将整幅图像中最小的 10%个 γ 值 求平均作为特征 f ，对全部图像块的 γ 值求平均作为高 1 斯形状参数特征。 频率变化系数特征：对图像中所有的块计算频率变 化系数 ζ = σ/μ ，对最大的 10%图像块和全部图像块求均 值，记为 E [ζ ] 和 E[ζ ] ，将其作为频率变化系数特征。 m 能量子带比例特征：图像失真通常会使图像局部的 光谱特征（Spectral Signatures）发生改变。局部 DCT 的能 量子带比例能够反映图像失真。如图 2（b）将 DCT 的 AC (n = 123) 代表从低到高 系数分为 3 个频率子带，令 Ω ， 的频率信息子带。定义子带 n 的平均能量为：E 为广义高斯分布（1）的方差拟合参数，然后计算能量 = σ 2 n n n σ 2 n 子带比例： DC C C C 21 31 41 C 12 C C C 22 32 42 C 13 C C C 23 33 43 C 14 C C C 24 34 44 C 15 C C C 25 35 45 C C C C 51 52 53 55 （a）DCT 方向信息子带 54 C DC C C C 21 31 41 C 51 C 12 C C C 22 32 42 C 52 C 13 C C C 23 33 43 C 53 C 14 C C C 24 34 44 C 54 C 15 C C C 25 35 45 C 55 （b）DCT 频率信息子带 图像 θ 方向的平均雷尼熵用 E(R 雷尼熵方差为 var(E[R ) 表示，4 个方向上平均 θ ]) ，最大平均雷尼熵为 max(E[R ])。 θ 图 2 DCT 系数的子带分区 性特征。 （3）计算图像质量 对提取的归一化小波系数统计特征，分别利用多分 类支持向量机（SVM）和支持向量回归（SVR）进行失真 类型分类和回归预测客观图像质量，具体方法与 BIQI 相似。 与 BIQI 算法相比，DIIVINE 算法由于提取了全面、 复杂的图像小波域统计特征，因此 DIIVINE 算法与主观 图像质量评价方法取得了更好的一致性。但是该算法 需要进行小波变换，并且提取特征数量较多，机器学习 的难度也比较大。 2.2 基于 DCT 域特征的评价方法 2.2.1 BLIINDS 算法 由于自然图像具有高度结构化特性[24]，人类视觉特 性（Human Visual System，HVS）倾向于从视觉图像中 提取结构信息，并且对图像的对比度高度敏感。Saad 等 人提出了一种基于 DCT 域统计特性的图像完整性评价 方法（BLIINDS）[21]。BLIINDS 提取 DCT 系数的统计特 征，利用机器学习的方法来评价图像质量。 （1）DCT 域的特征提取 DCT 域的特征包括对比度特征、结构特征以及各向 异性。 对比度特征：对比度是图像的一个基本视觉属性， 将图像分为 B ´ B 的图像块进行二维 DCT 变换，局部 DCT 对比度定义为交流 AC 系数与直流 DC 系数幅值 的平均。整幅图像的全局对比度为图像块局部对比度 的均值，计算公式为： C local = mean( |AC| i |DC| )C = global åC N local （6） 结构特征：DCT 域 AC 系数直方图统计特性，首先 需要计算峰度（kurtosis），峰度是用来反映频数分布曲 线顶端尖峭或扁平程度的指标，其计算公式为：k(x) = E(x - μ)4 σ 4 ，μ 表示 x 的均值，σ 表示标准差。对最小 的 10%局部峰度 k b 计算均值，将其作为结构特征。 θ 各项异性特征：按照 {0°45°90°135°} 4 个方向将 图像分为互不重叠的 B ´ 1 图像块，计算图像块的一维 [nk] 代 表 图 像 块 的 DCT 变 换 AC 系 DCT 变 换 ，用 P 数，1 < k  B 代表该图像块 DCT 系数序号，n 代表该图 像块在图像中的空间序号，θ 表示方向。将图像块的 DCT 变换系数进行归一化，利用归一化系数计算出图像 块的雷尼（Renyi）熵： å P͂ [nk]3 R （7） [n] = - 1 2 θ lgæ è k ö ø θ θ
    张淑芳，张 聪，张 涛，等：通用型无参考图像质量评价算法综述 2015，51（19） 17 = R n | || E E n n n - 1å - 1 n - 1å + 1 E E j j j < n j < n | || n = 23 邻系数相关性。 （8） 广义高斯分布特征：模型公式可表示为： 同样，对最大的 10%图像块求均值和全部图像块求 均值，记为 E [R n m ] 和 E[R n ] ，作为频率变化系数特征。 方向特征：按照图 2（a）的方式将图像块 DCT 域的 AC 系数分为 3 个方向信息子带。对每一个子带采用广 (n = 123) ，然 义高斯模型进行拟合，得到模型参数 ζ 后计算每一个子带内 ζ 的方差 var(ζ ) 。分别对最大的 10% 图 像 块 求 均 值 以 及 全 部 图 像 块 求 均 值 ，记 为 E )] ，将其作为方向特征。 )] 和 E[var(ζ [var(ζ n n m n n BLIINDS-II 最后图像质量计算方法与 BLIINDS 相 同，BLIINDS-II 的贡献在于选取了 DCT 域更加符合人 眼视觉效应的特征，因此在图像质量评价性能上得到了 很大提高。 2.3 基于空域特征的评价方法 由于空域的失真是影响图像视觉质量的直接原因， 有 效 的 空 域 特 征 提 取 可 取 得 与 主 观 评 价 较 好 的 一 致 性。并且相比于变换域（小波域、DCT 域等）特征提取， 空域特征提取算法具有复杂度低和执行速度快的优点， 适合应用到实时系统。 2.3.1 BRISQUE 算法 Ruderman 等[24]发现自然图像归一化的亮度值趋向于 单元正态高斯特性，他认为图像中的失真会改变归一化系 数的统计特征，通过测量这种统计特征的改变，可以预 测失真类型并以此评价图像视觉质量。在此理论的基 础上，Mittal 等人提出了基于空域统计特征的 BRISQUE 算法[23]。 （1）图像像素归一化 对于一幅图像，通过分离归一化 [33]（Divisive Nor- malization）的 方 法 计 算 归 一 化 亮 度 。 假 定 亮 度 图 像 I(ij) ，分离归一化计算公式为： Î(ij) = I(ij) - μ(ij) σ(ij) + C σ(ij) = ååw μ(ij) = ååw kl I (I kl (ij) - μ(ij))2 （9） （10） kl kl （11） i Î 12Mj Î 12N 是空域的系数，M、N 分别 是图像的高度和宽度，C 是常数。其中，圆形对称的高 |k = -33l = -33} 。称归一化 斯权重函数 w ={w 后的亮度值 Î(ij) 为 MSCN（Mean Subtracted Contrast Normalized）系数。 Î(ij) 与 I(ij) 相比，减少了相邻像 素之间的相关性。 kl （2）空域特征提取 失真的存在会破坏相邻 MSCN 系数之间存在的规 律性。归一化系数的特征包括广义高斯分布特征和相 f (x; aσ 2) = a 2βΓ (1/a) exp æ çç è a -æ èç |x| β ö ø÷ ö ÷÷ ø （12） 其中 β = σ Γ (1/a) Γ (3/a) ，Γ (×) 是 gamma 函数；形状参数 a 控 制着广义高斯模型部分的形状，σ 2 是方差。采用文献 [35]快速匹配法估计 (aσ 2) 作为广义高斯分布特征。 相邻系数相关性：从水平、垂直、主对角线和次对角线 4 个方向得到相关性图像 [34]，采用非对称广义高斯分布 （Asymmetric Generalized Gaussian Distribution，AGGD）[21] 进行拟合，每个方向的估计参数 (ηvσ ) 利用快速 匹配法 [36]进行估计。4 个方向估计的 16 个参数作为相 邻系数相关性特征。 σ l r 然而由于自然图像统计特性的多尺度性，作者通过实 验发现在 2 个尺度下分别提取 2 个广义分布特征和 16 个 相邻系数相关性特征较合理，故一共提取 (2 + 16) ´ 2 = 36 个特征。 （3）图像质量计算 利用支持向量回归得到回归模型，训练出图像特征 与主观图像质量分数之间的映射关系。对于待测图像， 提取其特征向量代入到训练好的 SVR 回归模型来计算 图像质量。 2.3.2 NIQE 算法 NIQE 算法提取了与 BRISQUE 类似的图像特征，但 算法的主要贡献在于训练回归模型时，不再需要图像的 主观评价分数，而是在原始图像库 [37]上提取图像特征， 然后利用多元高斯（MVG）模型进行建模。另一个贡献 是，NIQE 算法基于人眼对图像中对比度较高区域更敏 感的特征，提出在图像中选取显著区域建立特征模型的 方法。 （1）显著区域图像子块图像特征选取 利用公式（10）中的局部方差 σ(ij) 可以衡量图像 局部锐度。将图像分为 P ´ P 尺寸的图像块，计算图像 块 b 局部的平均方差： δ(b) = åå σ(ij) (ij)Î b （13） δ 表示局部图像块的平均方差，选取 δ > T 的图像块作 为特征显著图像块，T 通常取最大局部平均方差的 0.6~ 0.9 倍。 在提取的图像显著块上，对归一化系数利用广义高 斯分布模型（GGD）进行拟合，采用快速匹配法[35]估计归 一化后的广义高斯分布参数 (aσ 2) 。然后再采用非对 称高斯模型（AGGD）对 4 个相邻系数乘积进行拟合，采 用快速匹配法 [36]得到 16 个相邻系数参数。同样由于图 像视觉特性是多尺度的，故本文在两个尺度下提取图像 统计特征，一共具有 (2 + 16) ´ 2 = 36 个特征。
    18 2015，51（19） Computer Engineering and Applications 计算机工程与应用 （2）图像质量计算 对提取的 36 个特征，通过拟合多元高斯（MVG）模 型计算模型参数 v 和 Σ ，v 和 Σ 分别代表 MVG 模型的 均值和方差矩阵。MVG 模型公式为： f X x (x 1 x 2 k ) = 1 expæ è - 1 2 (x - v)T Σ -1(x - v) ö ø （14） (2π)k 2|Σ|1 2 x 2 k x 其中 (x 1 大似然估计方法[38]进行计算得到。 ) 是提取的图像特征，v 和 Σ 可利用最 然后提取失真图像统计特征，进行 MVG 模型拟合 得到 (v′Σ ′) ，计算失真图像与自然图像拟合参数之间 的距离来衡量图像质量： v D(v 1 Σ Σ 1 2 ) = (v 1 2 - v )Tæ ç è 2 Σ 1 -1 + Σ 2 2 ö ÷ ø (v 1 - v 2 ) （15） 上 式 v ，v 1 MVG 模型均值和方差矩阵。 ，Σ ，Σ 1 2 2 分 别 代 表 自 然 图 像 与 失 真 图 像 的 NIQE 算法的模型训练不依赖于任何主观评价分 数，且图像质量计算的算法复杂度较低，因此可以应用 到实时系统。 2.4 基于图像熵特征评价方法 图像熵可反映图像的边缘和纹理等细节，文献[39] 利用图像熵识别图像的各向异性，文献[40]计算图像熵 用于评价图像质量。利用相位一致性作为图像特征可 很好地表示图像质量。图像中大量的视觉信息都存在 于频域相位中，而非频域幅度 [41-42]。梯度也是构成图像 边缘或者轮廓的重要因素，梯度的变化反映图像细节、 纹理的变化。Li 等人 [26]利用相位一致性和图像梯度等 图像特征，提出了一种基于广义神经网络的无参考图像 质量评价算法（GRNN）。 （1）相位一致性计算 相位一致性的潜在规律是，图像中的重要视觉特征存 在于其傅里叶分量（谐波分量）具有一致性的像素里[43]。 相位一致性函数为信号 I 在 x 处的傅里叶系数展开[44]： PC I (x) = max ϕˉ(x)Î[02π] å A n n cos[ϕ å n (x) - ϕˉ(x)] n A n （16） n 表示 I 的第 n 次谐波分布的幅度，ϕ(x) 表示 x 其中 A 处谐波分量的局部相位，ϕˉ(x) 是 x 处的平均相位。公式 （16）取得最大值对应的 ϕˉ(x) ，记为 PC (x) 。利用文献 [43]或者文献[44]中的方法计算相位一致性。 I （2）图像质量计算 首先计算图像的相位一致性图像，然后计算相位一 致性图像均值、相位一致性图像熵、失真图像熵和失真 图像梯度等 4 个特征。GRNN 算法利用广义回归神经 网络对特征参数进行拟合[45]。对于输入向量 X ，图像质 量预测值 Ŷ ，广义回归神经网络模型公式为： n å Y i = 1 n å i = 1 = (X - X exp(-D2 i /2σ 2) Ŷ (X ) = exp(-D2 i i /2σ 2) （17） )T(X - X 其中 D2 i i 分别是训练样本图像的特征向量和图像主观质量评分； σ 值的范围在 0.01~0.10 之间。 ) ，n 表示训练样本数，X 和 Y i i i GRNN 算法是一种非机器学习的无参考图像质量 评价算法，采用与人类视觉相关的图像一致性进行特征 提取，并且该算法的计算复杂较低。 3 实验结果与分析 3.1 测试图像库的选取 用于图像质量评价算法性能测试的标准图像库主要 有 LIVE 图像质量评价数据库[46]、TID2008[47]和 TID2013[48] 等。TID2008 以及 TID2013 数据库包含的图像多，且将 图像失真类型分的更细，适合于全参考图像质量算法的 性能评价。目前无参考质量评价算法主要将图像失真 类型分为 5 类，即 JPEG、JP2K、白噪声（WN）、高斯模糊 （Blur）和快衰落（FF）。LIVE 数据库中包含 29 幅未失真 图像以及与其对应的 5 类失真图像，并且每一类失真图 像有 5 级失真程度，有利于评价无参考质量评价算法的 性能。因此，本文选用 LIVE 标准图像库进行算法性能 评估。 3.2 评价指标 客观图像质量评价算法的性能评价主要测量客观 评价数据与主观评价数据的一致性。视频质量专家组 （Video Quality Experts Group，VQEG）[49]提出了 4 种评 价指标：斯皮尔曼等级次序相关系数（Spearman Rank Order Correlation Coefficient，SROCC）、肯德尔等级次序 相关系数（Kendall Rank Order Correlation Coefficient， KROCC）、皮尔森线性相关系数（Pearson Linear Correla- tion Coefficient，PLCC）和均方根误差 RMSE 。 SROCC 公式为： SROCC = 1 - n d 2 i 6å n(n2 - 1) i = 1 （18） 表示第 i 图像在主观评价分数中的排序与客观 其中 d 评价分数中排序的差值。 KROCC 公式为： i KROCC = n c - n d 0.5n(n - 1) （19） 式中，n 目，n 一对观测数据 (x d 表示主观数据与客观数据一致的数据对的数 c 表示不一致的数据对的数目。例如，对于任意的 y i ，或者满足 x i < y i i y j 和 x j j < y ) 和 (x ) ，如果同时满足 x > y i i 和 ，则称该“数据对”是一 j x > y j j 致的。
    张淑芳，张 聪，张 涛，等：通用型无参考图像质量评价算法综述 2015，51（19） 19 对于 PLCC 的计算，首先要对主观数据与客观数据 进行非线性拟合，文献[50]给出了一种 Logistic 函数对 数据进行拟合： q(x) = β 1 1 2 æ ç è - 1 1 + e β 2 ( x - β ) 3 ö ÷ ø + β 4 x + β 5 （20） 是需要拟合的参数，本文借助于 1stopt 优化软 其中，β 件进行参数拟合。 PLCC 计算公式为： i PLCC = n å i = 1 (s i - sˉ)(q i - qˉ) n å i = 1 (s i n - sˉ)2 å i = 1 - qˉ) (q i （21） sˉ 表示主观数据及其均值，q 上式中，s i 合数据及其均值。 RMSE 计算公式为： qˉ 是非线性拟 i RMSE = 1 n n å n = 1 (s i - q )2 i （22） 4 种评价指标中，SROCC 与 KROCC 两个的评价 都是计算数据对的一致性，故具有相似的结果；PLCC 与 RMSE 在计算客观与主观数据一致性过程中，需要使 用拟合算法得到拟合曲线，拟合曲线的优劣直接导致影 响主客观数据的评价结果。本文选取 SROCC 指标作 为图像质量评价算法性能的指标，同时绘制拟合曲线定 性地评价无参考评价算法的性能。 3.3 实验结果及分析 为了更直观体现无参考图像质量评价算法的性能， 本文在 LIVE 数据库 [46]上对 PSNR 和 SS-SSIM 两种经典 的全参考图像质量评价算法，以及本文介绍的无参考图 像质量评价算法进行了性能测试。 ® 本文所有程序采用 Matlab 源代码，支持向量机采用 Libsvm 工 具 包 ，运 行 环 境 为 Intel CoreTM i3，主 频 为 3.40 GHz 的处理器。其中，BIQI 与 DIIVINE 两种算法 是基于两级框架算法，在进行 SVM 分类时，采用的是径 向基函数方法（Radial Basis Function，RBF），以 5 重交 叉验证的方式确定 SVM 参数；采用 v-SVM 进行回归训 练，(cγν) 参数采取与 SVM 同样的交叉验证方式进行 确定，其中 ν 取确定值 0.5（实验表明，ν 值对算法性能 影响较小）。BRISQUE 算法训练回归模型同样采用的 是径向基函数，(cγν) 3 个参数中，γ 设为 0.05，(cν) 参数为 libsvm 工具箱的默认值。对于 GRNN 算法，采用 MATLAB 工具箱中的 newgrnn 函数，参数 T 设为经验值 0.03。 同时，本文还引入了两种广泛使用的全参考图像质量 评价算法与文中的无参考算法进行对比，分别是峰值信噪 比（Peak Signal to Noise Ratio，PSNR，PSNR）与 结 构 相似度（Structural Similarity Index，SSIM）[10]，文献[10] 中的 SSIM 算法没有考虑图像多尺度特性，一般称之为单 尺度图像结构相似度（Single Scale SSIM，SS-SSIM）。 峰值信噪比 PSNR 计算公式为， PSNR(xy) = 10 × lg æ ç ççç è (2M - 1)2 n | | x(ij) - y(ij) 2 1 mnå m å i = 1 j = 1 （23） ö ÷ ÷÷÷ ø 式中的 M 表示图像像素的比特数（一般图像均为 8 bit）， x 与 y 分别表示参考图像与失真图像，m 与 n 表示图像 的高度与宽度。SS-SSIM 算法的计算公式为， SSIM (xy) = (2μ μ x y + μ2 y + C )(2σ 1 + C )(σ 2 x 1 (μ2 x + C ) 2 + C σ x y + σ 2 y 与 σ 2 x （24） ) 表示图像的方 y 与 μ 表示图像的均值，σ 式中的 μ y x = K = K 差，C L，C 1 1 2 = 0.01 ，K 本文取 K 1 2 2 L，L 表示图像动态范围 (L = 255) ， = 0.03 。 表 1 为两种经典全参考图像质量评价算法（PSNR/ SSIM）与本文介绍的无参考图像质量评价算法的 SROCC 性能指标对比和对于不同失真类型的平均运行时间对 比，加粗的数字表示各种失真情况下评价算法最优的 SROCC 值。 为了更直观地评价几种无参考评价算法的性能，本 文在 LIVE 数据库上，将表 1 所示的几种评价算法针对 5 种失真的客观评价结果与数据库中的主观数据——平 均主观评分（Mean Opinion Scores，MOS）进行了一致 性比较，如图 3 所示。图（a）~（h）表示各种算法针对 5 种 失真的一致性图，图中的每一个离散点的横坐标表示测 试图像客观质量，纵坐标表示主观质量。利用公式（20） 的 logistic 函数对图中所有的离散点进行非线性拟合， 图中红色的曲线是用拟合结果绘制的曲线。 表 1 SROCC 和程序平均运行时间对比结果 不同失真类型的 SROCC JPG2K 0.889 8 0.931 7 0.799 5 0.913 0 0.938 6 0.922 9 0.897 6 0.815 6 JPEG 0.840 9 0.902 8 0.891 4 0.920 8 0.942 6 0.973 4 0.866 7 0.872 1 WN 0.985 3 0.962 6 0.951 0 0.987 8 0.963 5 0.985 1 0.965 8 0.979 4 BLUR 0.781 6 0.894 2 0.846 3 0.958 4 0.899 4 0.950 6 0.932 7 0.833 1 FF 0.890 3 0.941 1 0.706 7 0.859 2 0.879 0 0.903 0 0.864 3 0.735 4 ALL 0.819 7 0.851 0 0.819 5 0.925 7 0.916 4 0.942 4 0.905 4 0.847 1 评价算法 PSNR SS-SSIM BIQI DIIVINE BLIINDS-II BRISQUE NIQE GRNN 平均运行时间/s 0.028 7 0.101 5 0.507 5 12.212 5 47.002 9 0.152 3 0.404 8 1.433 8
    20 2015，51（19） Computer Engineering and Applications 计算机工程与应用 实验结果分析如下： （1）SROCC 性能分析 由表 1 可以看出，BRISQUE 与 DIIVINE 两种算法的 SROCC 性能最好，分别为 0.942 4 和 0.925 7；BLIINDS-II 和 NIQE 算 法 的 SROCC 性 能 较 好 ，SROCC 性 能 最 差 的 是 GRNN 和 BIQI 算法，分别为 0.847 1 和 0.819 5，其 SROCC 低于全参考质量评价算法 SS-SSIM。 如图 3 所示，从离散点与拟合曲线的聚合程度可以看 出，BIQI 算法对白噪声的评价性能最优，但对其他 4 种失 真类型评价性能较差；DIIVINE 算法对白噪声与模糊评 价性能最优，对快衰落失真评价性能最差；BLIINDS-II 算法对 JPEG 与 JPEG2000 评价性能较优；BRISQUE 算 法对 JPEG2000、白噪声、模糊等 3 种失真类型评价性能 最优；NIQE 算法对白噪声的评价性能较优，总体性能与 PSNR 相当；GRNN 算法对于所有失真类型评价性能均较 差。综合图 3 分析可知，BRISQUE、DIIVINE、BLIINDS-II （a1）PSNR-JP2K （b1）SSIM-JP2K （c1）BIQI-JP2K （d1）DIIVINE-JP2K （a2）PSNR-JPEG （b2）SSIM-JPEG （c2）BIQI-JPEG （d2）DIIVINE-JPEG （a3）PSNR-WN （b3）SSIM-WN （c3）BIQI-WN （d3）DIIVINE-WN （a4）PSNR-BLUR （b4）SSIM-BLUR （c4）BIQI-BLUR （d4）DIIVINE-BLUR （a5）PSNR-FF （b5）SSIM-FF （c5）BIQI-FF （d5）DIIVINE-FF
    分享到：
    赞 收藏

    相关推荐

    资料库

    开发技术

    共收录19306份资料，累计14个分类，关注成员有19位，主要包括：Actionscript,Javascript,PHP,VB,Perl,Delphi,Python,C#,C,Java,C++,Web开发,硬件开发,其它

    热门标签

    Actionscript Javascript PHP VB Perl Delphi Python C# C Java C++ Web开发 硬件开发 其它

    最新资料