136 2013，49（12） Computer Engineering and Applications 计算机工程与应用 改进的自然图像鲁棒抠图算法 黄 睿，王 翔 HUANG Rui, WANG Xiang 上海大学 通信与信息工程学院，上海 200072 School of Communication & Information Engineering, Shanghai University, Shanghai 200072, China HUANG Rui, WANG Xiang. Improved robust matting algorithm for nature image. Computer Engineering and Applica- tions, 2013, 49（12）：136-139. Abstract：Alpha matting, aiming at extraction of foreground elements from a natural image by means of opacity（alpha）estimation, is one of the key techniques for image editing and film production. However, matting is inherently an ill-posed problem. Many mat- ting approaches perform poorly with the complex natural images. An improved robust matting algorithm is proposed. The proposed method involves labeling some unknown pixels according to the known regions of trimap, selection of foreground and background pairs for unknown pixels to determine of the initial alpha and its confidence, optimization of the initial alpha by minimizing the qua- dratic object function based on matte Laplacian. The experiments on the benchmark images are carried out and the results show that the proposed method performs better in the qualitative and quantitative comparison with some popular matting algorithms. Key words：natural matting; alpha estimation; robust matting; matte Laplacian 摘 要：自然抠图从背景复杂的彩色图像中根据已知像素进行未知像素的透明度估计以实现前景的准确提取，是图像处理 和影视制作的关键技术之一。由于自然图像透明度值的求解具有高度不确定性，目前对颜色和结构复杂的图像抠图效果并 不理想。提出一种改进的鲁棒抠图算法。该方法根据 trimap 的已知前景和背景区域减少未知像素个数；计算前景-背景对的 可靠性，选择可信赖的样本对获得透明度的初始值和信心值；优化基于图拉普拉斯的二次目标函数并确定未知像素最终透 明度值。自然抠图实验结果表明，与几种主要抠图算法相比，所提方法能提取到具有更好视觉效果和均方误差的前景。 关键词：自然抠图；透明度估计；鲁棒抠图；图拉普拉斯 文献标志码：A 中图分类号：TP391 doi：10.3778/j.issn.1002-8331.1110-0420 1 引言 抠图技术的关键是如何精确、柔和地从一幅图像中提 取出所需要的前景像素。该技术在图像处理和电影制作 方面发挥着重要的作用。一幅图像 C 可表达为前景图像 F 和背景图像 B 的线性合成： C i F i i )B = α + (1 - α （1） 式 中 i（x，y）代 表 图 像 的 像 素 坐 标 ，α 代 表 像 素 i 的 透 明 度。由于自然图像的 F，B 和 α 未知，式（1）的解具有高度不 确定性，因此自然图像抠图具有相当的难度。 i i i 鉴于此，许多自然抠图算法都从分析图像相邻像素间 的相关性和图像统计量入手，可分为基于采样、基于传播 以及采样与传播相结合三类。基于采样的方法假设未知 像素的前景和背景颜色可以用附近给定的前景-背景样本 对精确地估计出来，这些给定的样本像素将用来直接计算 α 。文献[1]首先提出这个观点。在此基础上，KnockOut2[2]， Bayesian matting[3-4]，Belief Propagation matting[5] 和 Easy matting[6]等算法相继提出。但是，大量不确定的前景和背 景样本像素会导致最终估计结果差强人意；基于传播的方 法不再精确估计前景和背景颜色，而是假设未知像素邻域局 部平滑，在闭合空间中求解 α 。Poisson matting[7]，Random Walk matting[8]和 Closed-form matting[9]等都属于基于传播 的抠图方法；文献[10]结合采样与传播，提出 Robust matting， 取得较好实验结果。此外，还有一些方法使用附加信息 改进 α 的精度，例如使用多背景图像 [11]，闪光-非闪光图像 对[12]等。 然而对于复杂图像，α 的精确估计仍是困难的，是需要 进一步研究的问题。本文在文献[10]算法的基础上，提出一 种改进的抠图方法。该方法主要包括以下 3 个步骤：（1）根 据 trimap 的已知前景和背景区域减少未知像素个数，降低 α 基金项目：国家自然科学基金（No.61001162，No.11176016）。 作者简介：黄睿，女，博士，讲师，主要研究方向：图像处理，模式识别；王翔，男，硕士，主要研究方向：图像处理，模式识别。 E-mail：huangr@shu.edu.cn 收稿日期：2011-10-21 修回日期：2011-12-06 文章编号：1002-8331（2013）12-0136-04 CNKI 出版日期：2012-03-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120321.1734.024.html 

黄 睿，王 翔：改进的自然图像鲁棒抠图算法 2013，49（12） 137 具有高可信度的样本对往往更能代表当前像素的类 ) 最高的前景、背 别。对于未知像素 C，选取可信度 f (F  B i j 景样本对 (F * i (C = α* i 定义 α* i f (α* i ) 估计未知像素的值，如下式所示： )(F * i - B* i ) i - B* i  2 、B* i - B* i  F * i 作为未知像素 C i )} (F 透明度值的可信度为： （6） ) = exp{-λM （7） 式中，λ = 10 为常量，Mi代表了估计值和实际值的误差，按 下式计算：  B i i i ) = C M (F  B i i i i 最终得到像素 C α̂ i = f (α* i )α* i + (1 - f (α* i )) - (α* i i ) F )B + (1 - α* i  的透明度估计值 α̂ i (i j)α* ] j α i i å [Z å j Î ψ i j Î ψ i Z (i j) α 为： （8） （9） 式中，第二项对可信度低的透明度值进行校正，使结果趋 (i j) 可以通 于实际值。 ψ 过下式计算得到： (i j) = f (α* j 周围的邻域。 Z 为未知像素 C )G(D image （10） Z α α i i (i j)) + δ( j Ï T (i j) 与像素 j 的可信度 f (α* j ) u 其中，G 是高斯函数。 Z 比而与图像空间中 i 和 j 之间的距离成反比。 α ) 成正 至此，未知区域所有像素的初始透明度值和相应的可 信度都可以计算得到。 2.3 二次目标函数优化 为进一步改善抠图效果，对上一节透明度初始值构建 二次目标函数进行优化。 首先建立图像像素间的邻接矩阵 W Î R( n + 2 （n 为 图像未知像素总数）。定义未知像素 i 和 j 的邻接权值为： n + 2 ´ ( ) ) W ij (i j)Î w = å k k 1 9 (1 + (C - μ k i )(å + ε 9 k I )-1(C - μ )) k j （11） 这里，Wk为包含像素 i 和 j 的 3×3 窗口集合；μ k 的均值和方差；ε 为归一化系数，设定为 10－5。 和 Σ 为窗口 k 在此基础上，构建图拉普拉斯阵 L，有： 估计的计算量；（2）计算前景-背景对的可靠度，选择可信赖 的样本对进行 α 初始值和信心值估计；（3）建立基于图拉普 拉斯的二次优化目标函数确定 α 最终值。与 Robust mat- ting 相比，算法利用邻近像素的空间相关性缩小了未知像素 区域，并且对 α 初始值通过基于图的目标函数进行优化。 在自然图像抠图实验中，比较了所提算法与多种主要抠图 算法的性能，结果表明该算法能更精确地进行 α 值估计。 2 算法流程 2.1 减少未知像素 一幅图像或者视频帧可以被 trimap 分割为已知前景区 域（Tf）、已知背景区域（Tb）和未知像素区域（Tu）3 个互不重 叠的部分。令 Dimage（i，j）和 Dcolor（i，j）分别为像素 i 和 j 在欧 几里德空间和颜色空间的距离。对于未知像素 i Î Tu和已 知像素 j Î Tknown，如果同时满足下列 3 个条件： （1）Dimage（i，j） mi，mi 取决于未知像素区域的规模，本 文考虑到 trimap 的结构，定义 mi=3~5。 （2）Dcolor（i，j） mc，mc=5/256。 （3）Dimage（i，j）对于像素 i 来说最小。 则未知像素 i 与已知像素 j 属于同一类别，本文实验均 按上述参数设定，图 1 为处理前后 trimap 的对比。可以看 到，预处理缩小了图像中灰色的未知像素范围，降低了后 续 α 估值计算量。 （a）原始 trimap （b）处理后的 trimap 图 1 处理前后 trimap 对比 2.2 α 初始值估计与可信度计算 经过以上处理后，对于未知像素 C，仍然存在许多可用 来估计其前景和背景颜色的前景背景对。如何选择好的 样本对至关重要。 对于未知像素 C，定义已知前景 Fi 和已知背景 Bj 的样 本对可信度[10]： f (F  B i j ) = exp{- R d )2 j (F  B i σ 2 } × w(F )× w(B ) j i 式中，σ 为常量，Rd（Fi，Bj）为距离比率，有： (F R d  B i j ) =  C - (α′F  i F + (1 - α′)B  - B j i  ) j （3） 其中，α′ 是根据 C 在 Fi和 Bj所在颜色空间直线上的投影计 算得出的估计值。权值 w（Fi）和 w（Bj）分别表示为：  F i ) = exp{-  B j ) = exp{- w(F w(B i j  - C 2 D2 F  - C 2 D2 B } } （4） （5） 这里，DF和 DB是前景、背景样本与当前像素间的最小距离。 = L ij ,i j相邻  ,i = j ij W ì ii ï -W í ï 0,其他 î = å W j ij （2） 这里，W ii 。则二次目标优化函数为： （12） i = n + 2 α = arg min αT Lα + λ(α - α̂ )T D(α - α̂ ) + γ(α - α̂ )T F(α - α̂ ) （13） 其中，α = { }α 像初始透明度值矩阵；平衡参数λ=100，γ=10－1；F 和 D 为对 角阵，有： 为图像透明度值矩阵，α̂ = { }α̂ 为图 i = n + 2 i = 1 i = 1 i i （14）  f  f F = diag( f ì 1 i í  d  d D = diag(d î i 1 其中： ) n + 2 ) n + 2 = f i = d i 0 i Î(T ì í  i Î T f î i 1 i Î(T ì í 0 i Î T î b u b u  T ) f  T ) f 

138 2013，49（12） Computer Engineering and Applications 计算机工程与应用 3 实验及结果 实验对 Bayesian matting，Robust matting、Closed form matting、Poisson matting 以及所提算法的抠图性能进行比 较。5 组测试图像来自文献[13]的 benchmark 图像库，每组 都包括原图、trimap 和 ground-truth，如图 2 所示。除主观视 觉评估外，以抠图算法获得的 α 图像与相应 ground-truth 图 像的均方误差作为算法性能评估的量化指标。 图 3 和表 1 分别展示了五种算法对于 5 组实验图像的 透明度估计和均方误差值。显然，本文提出的方法不管是 在视觉角度还是均方误差值角度都优势明显。而其他四 种算法中，Robust matting 最好；Closed form matting 次之， 但对前景背景边界的处理较差；Bayesian matting 和 Poisson （a）实验原图 （b）Trimap 图 （c）ground-truth 图 图 2 实验用图 （a）所提方法 （b）Bayesian matting （c）Robust matting （d）Closed form matting （e）Poisson matting 图 3 五种算法的视觉效果 

黄 睿，王 翔：改进的自然图像鲁棒抠图算法 2013，49（12） 139 matting 性能接近。前者能较好地处理简单的自然图像，但 对于比较复杂的图像，抠图质量下降明显；后者的抠图结 果生硬，对细节的把握较差。 出来的前景部分柔和且精确。注意，其中一些图片的背景 非常复杂且与前景相似。 表 1 均方误差 4 结论 图像 1 2 3 4 5 平均 Bayesian 19.766 6 3.914 4 0.462 8 0.224 0 1.431 5 5.159 9 Closed Form 6.888 7 3.932 0 1.389 9 5.369 3 5.234 0 4.562 8 Poisson 11.821 0 3.628 5 3.186 5 2.768 3 5.821 0 5.445 1 Robust 7.868 3 1.771 3 1.255 3 0.660 8 0.842 5 2.479 6 This paper 5.691 7 0.573 7 0.447 8 0.201 6 0.475 3 1.478 0 图 4 展示了更多本文算法的实验结果，可以看到，提取 本文在 Robust matting 的基础上，提出一种改进的抠 图算法。该算法主要由减少未知像素、计算透明度初始值 和 信 心 值 以 及 基 于 图 拉 普 拉 斯 的 二 次 目 标 函 数 优 化 构 成。自然图像抠图实验表明，所提算法在视觉效果和均方 误差方面均优于四种主要抠图算法。 参考文献： [1] Mishima Y.Soft edge chroma-key generation based upon hexoctahedral color space：US，5355174[P].1994-10-11. [2] Arie B，Arpag D，Paul V.Method for removing from an im- age the background surrounding a selected object：USA， 6134346[P].2000-10-17. （a）实验原图 [3] Ruzon M，Tomasi C.Alpha estimation in natural images[C]// （b）所提方法 （c）Bayesian matting （d）Robust matting （e）Closed form matting （f）Poisson matting 图 4 更多实验结果 Proceedings of IEEE CVPR，2000：18-25. [4] Chuang Y，Curless B，Salesin D H，et al.A bayesian approach IEEE CVPR，2001： to digital matting[C]//Proceedings of 264-271. [5] Wang J，Cohen M.An iterative optimization approach for unified image segmentation and matting[C]//Proceedings of ICCV 2005，2005：936-943. [6] Guan Y，Chen W，Liang X，et al.Easy matting[C]//Proceedings of Eurographics，2006：567-576. [7] Sun J，Jia J，Shum H Y.Poisson matting[C]//Proceedings of ACM SIGGRAPH，2004：315-321. [8] Grady L，Schiwietz T，Aharon S.Random walks for interac- tive alpha-matting[C]//VIIP，2005. [9] Levin A，Lischinski D，Weiss Y.A closed form solution to image matting[C]//Proceedings of IEEE CVPR，2006： natural 228-242. [10] Wang J，Cohen M F.Optimized color sampling for robust matting[C]//Proceedings of IEEE CVPR，2007：1-8. [11] Smith A，Blinn J.Blue screen matting[C]//Proceedings of ACM SIGGRAPH，1996：259-268. [12] Sun J，Li Y，Kang S B，et al.Flash matting[J].ACM Trans on Graphics，2006，25（3）：599-604. [13] Rhemann C，Rother C，Wang J，et al.A perceptually motivated online benchmark for image matting[C]//Proceedings of IEEE CVPR，2009：1826-1833. [14] Rhemann C，Rother C，Gelautz M.Improving color modeling for alpha matting[C]//BMVC，2008：1155-1164.