第 37 卷 第 5 期 西 安 科 技 大 学 学 报 Vol． 37 No. 5 2017 年 09 月 JOURNAL OF XI’AN UNIVERSITY OF SCIENCE AND TECHNOLOGY Sep. 2017 DOI: 10． 13800 / j． cnki． xakjdxxb． 2017． 0520 文章编号: 1672 － 9315( 2017) 05 － 0731 － 05 基于超像素特征表示的图像前景背景分割算法 薛 萍 ( 西安科技大学 计算机科学与技术学院，陕西 西安 710054) 摘 要: 图像前景背景分割是图像处理中的关键技术，文中提出了基于超像素分类的二值分割算 法。对于输入图像，首先采用超像素分割算法，将图像分割成多个保留边缘的封闭区域，即超像 素; 对每一块超像素，考虑颜色和纹理，构造一种对光照和颜色较为鲁棒的特征，来消除同种物体 在光照和颜色差异下的影响; 用所得特征训练分类器，判断每块超像素属于前景或背景; 最后将 超像素分类结果作为初值用图分割的方法进行修正，得到最终的二值分割结果。实验结果显示 算法能较好的完成前景背景分割的任务。此外，本算法易于和现有的分类算法相结合，具有较强 的可移植性。 关键词: 图像分割算法; 超像素提取; 线性分类器; 特征表示 中图分类号: TN 911． 73 文献标志码: A Foreground and background segmentation based on superpiexel-level feature representation XUE Ping ( College of Computer Science and Engineering，Xi’an University of Science and Technology，Xi’an 710054，China) Abstract: The foreground and background segmentation is an important technique in image processing． In this paper，a binary segmentation method is proposed based on the classification of superpixel． The in- put image is firstly divided into several superpixel to protect the edge of objects． For each superpixel，the color and texture are considered to extract the feature with robust for illumination and color，which can e- liminate the influence of light and color． The feature vectors are further used to train a classification to classify the superpixel into foreground or background． Finally，the graph cut method is used to modify the class label of each pixel with the initialization of superpixel． The experiment result shows that the method can successfully extract the objects from the background． Moreover，this method is easy to be implemen- ted since it can be combined with the classification technique directly． Key words: image segmentation; superpixel extraction; linear classifier; feature representation 0 引 言 图像前景背景分割是一种特殊的图像分割算 法，其目的是根据内容，把图像中特定物体找出作 为前景，其他区域作为背景的技术，这种技术又称 为亚像素级图像分割技术。作为图像语义分析的 关键步骤，图像前景背景分割在计算机视觉中有 广泛的应用。朱远清等［1］提取图像的前景作为主 收稿日期: 2016 － 12 － 26 责任编辑: 高 佳 作者简介: 薛 萍( 1963 － ) ，女，山东青岛人，高级工程师，E-mail: xuep@ xust． edu． cn 中国煤炭期刊网 www.chinacaj.net

237 西 安 科 技 大 学 学 报 2017 年 体，然后用颜色和纹理特征进行相似度匹配，从而 进行图像区域的检索; 牛杰等［2］用深度( RGB － D) 图像进行前背景分割，并根据前景比配的方法进 行目标实时监测; 戴雪峰等［3］则对监控场景进行 前景分割，开 发 了 一 个 数 字 图 像 监 控 系 统; 刘 铭 等［4］通过 SURF 算法和小波变换，将图像分割成前 景和背景，融 合 出 全 背 景 图 像，用 于 视 频 修 复 技 术; 而 Liu 等［5］则利用前背景分割技术，对高分辨 率图像中的飞行器进行识别。 近年来，国内外学者对前景背景分割算法进 行了研究，提出并改善这项技术。楚瀛等［6］检测 封闭的图像前景、背景边缘，用以得到抗噪声的图 像前景和背景区域; 张巧荣等［7］利用视觉显著性， 对图像进行阈值分割从而分离出前景和背景; 翟 玲等［8］通过提取超像素的颜色和纹理特征，代入 条件随 机 场 分 割 方 法 得 到 前 景 和 背 景。陈 鹏 翔 等［9］根据背景去除模型的思想，结合区域拟合方 法，提出一种新的图像分割模型; Cordes 等［10］利用 目标的结构进行恢复，在有遮挡的情况下提取物 体的前景和背景。 据像素的取值，可以将图像细分为多个具有共同 特征的的子区域，即超像素。文中采用 Simple Lin- ear Iterative Clustering( SLIC) 算法提取超像素［11］。 设图像像素坐标为( x，y) ，像素的取值是三维 LAB 颜色空间( l，a，b) 。与常用的 RGB 空间类似，LAB 是定义在亮度和颜色空间上的另一种表示方式。 因此每个像素点可以由一个五维向量［x，y，l，a，b］ 表示。SLIC 算法预先设定图像中有 K 个超像素， 然后用聚类算法将像素分成 K 类，则每类都是一 个超像素。聚类算法主要分为 2 步，像素点分配和 超像素中心更新。算法迭代更新以上 2 个步骤，计 算出对图像的最优分块。 1) 像素点分配: 在超像素中心确定时，更新每 个超像素点包含的像素点。对于包含 N 个像素的 图像，每个像素块大约包括 N / K 个像素点，若把超 像素近似成正方形，则其边长约为 S = 槡N / K． 设 第 k 个超像素的中心为 Ck = ［xk，yk，lk，ak，bk ］，则 可在中心点( Xk，Yk) 的 2S × 2S 邻域内搜索像素点 是否属于该超像素。搜索时计算超像素中心和每 相对于上述研究，文中提出一种基于超像素 个像素点的距离 Ds，再根据所选像素更新中心点 分类算法，实现图像的前景背景分割。图像的二 值分割可以看作对每个像素点分类的标定过程。 Ck． 计算距离时采用欧几里得距离，在颜色空间内 小距离有重要意义，即颜色距离很小而空间距离 为保留物体的完整边界，算法首先对图像进行超 较大，也可认为属于同一块超像素。因此算法分 像素分割，对每块超像素，提取颜色和纹理特征。 开计算颜色和空间的距离，用加权作为距离最终 与文献［7］不同，文中用分类器，对特征进行分类， 的度量。 判断每块超像素属于前景或背景。以超像素判断 结果作为初值，再通过图分割进行修正，得到最终 的分割结果。由于二分类是机器学习领域中很成 熟的技术，因此文中的算法简单且高效，并且易于 结合不同分类算法改善性能。 1 基于超像素分类的图像前景背景分割算法 图像的二值分割可以看作是对图像中每个像 素值点进行二值分类，前景为一类，背景为一类。 按照该思路，文中设计简单的分类模型来完成对 物体的前景 － 背景分割。对于一幅输入图像，首 先依照物体边缘和纹理等特征，将图像分成若干 超像素。对每个超像素块，根据颜色和纹理构造 出对应的特征，用分类器对超像素的特征粗分类 dlab = dxy = ( lk － li ) 2 + ( ak － ai ) 2 + ( bk － bi ) 槡 ( xk － xi ) 2 + ( yk － yi ) 槡 2 ， 2 ， ( 1) Ds = dlab + m S dxy． 其中 dlab和 dxy分别为颜色和空间距离; m 为用来 控制超像素紧密程度的变量，通常取值在［1，20］ 间。对每个超像素，通过计算 2S × 2S 邻域内像素 点到超像素中心的距离，来判断每个像素点属于 哪个超像素，实现的像素点分配; 2) 超像素中心点更新: 在像素点分配完成之 后，取每个超像素块中所有像素值的均值作为新 的中心点。为避免中心刚好在图像中物体的边界 上，计算整幅图像的梯度，然后将中心坐标移动到该 出前背 景。最 后 用 图 分 割 的 方 法 对 图 像 进 行 修 超像素块中梯度最小的地方而颜色值保持不变。 正，提高分割精度。 1． 1 超像素提取 一幅数字图像是由二维像素阵列组成的，根 算法给定超像素的个数 K，计算出边长 S，并 初始化 K 个超像素的中心 Ck． 然后交替执行 1) 和 2) ，最终算出图像的超像素。 中国煤炭期刊网 www.chinacaj.net

第 5 期 薛 萍: 基于超像素特征表示的图像前景背景分割算法 337 1． 2 特征提取 的 8 个点可产生 8 bit 的无符号数，即得到该窗口 文中提 出 了 一 种 基 于 超 像 素 的 特 征 表 示 方 的 LBP 值，并用这个值来反映该区域的纹理信息。 法。对于图像，通常根据颜色和纹理来区分不同 如式( 2) 所示，P = 8，计算公式为 的物体。因此以超像素为单位，分别提取每块超 像素的颜色和纹理特征，作为判断前景和背景的 依据。下面分别介绍文中使用的 2 种特征。 1． 2． 1 HSV 量化特征 与 RGB 空 间 类 似，HSV 作 为 经 典 的 颜 色 模 型，参数分别是: 色调( H) ，饱和度( S) ，亮度( V) 。 P －1 LBPP，R( xc，yc) = Σ p = 0 s( gp － gc) 2 p． ( 2) 其中 gc 为中心像素点; gp 为邻域像素点; s( i) 为 符号函数; i 为( xc，yc ) 点处的像素值，当 i≥0 时 s ( i) = 1，其他情况 s( i) = 0． LBP 纹理特征向量，一 般以图像的分块 LBP 直方图表示，具体计算步骤 其中，色调 H 用角度度量，取值范围为 0° ～ 360°， 如下 从红色开始按逆时针方向计算，红色为 0°，绿色为 120°，蓝色为 240°． 饱和度 S 表示颜色接近光谱色 的程度，其中光谱色所占的比例愈大，颜色的饱和 度也就愈高。通常取值范围为［0，1］，值越大，颜 色越饱和。亮度表示颜色明亮的程度，对于光源 色，明度值与发光体的光亮度有关; 对于物体色， 此值和物体的透射比或反射比有关。通常取值范 围为 0( 黑) 到 1( 白) 。 由于 HSV 是一种比较直观的颜色模型，相比 于常用的 RGB 模型，它对光照的影响更加鲁棒，因 此在实验中，对 HSV 模型进行量化，并在每个超像 素上统计量化后的直方图，作为超像素的颜色特 征。量化过程如下 1) 将图像转换成 HSV 形式，将 H，S，V 分量分 别等分成 16，4，4 份，像素量化后的灰度值计算公 式为 L = 16H + 4S + V; 2) 对每个超像素中的像素统计 L 值，得到统 计直方图。L 的取值范围是 0 ～ 255 的整数，因此 直方图是 256 维的向量; 3) 对 256 维向量进行归一化，使其模值为 1． 这样可得到每个超像素的颜色特征。 1． 2． 2 纹理特征 虽然颜色特征是物体最主要的特征，但如果 仅用颜色特征会有不鲁棒的缺点，尤其是物体本 身颜色也并不统一。因此，除颜色特征外还加入 了纹理特征，增加特征的稳定性。 局部二值模式( LBP) 是一种用来描述图像局 部纹理特征的算子它的作用是进行特征提取，提 取图像的局部纹理特征［12］。 原始的 LBP 算子定义在 3 × 3 的窗口内，以窗 口中心像素为阈值，将相邻的 8 个像素的灰度值与 其进行比较，若周围像素值大于中心像素值，则该 像素点的位置被标记为 1，否则为 0． 3 × 3 领域内 1) 将图像划分为 N × N 的图像子块，计算每个 子块中每个像素的 LBP 值; 2) 对每个子块进行直方图统计，得 N × N 图像 子块的直方图，并归一化; 3) 利用 N × N 个子块的直方图，描述该图像的 纹理特征。 因为 LBP 是 8 位二进制码，每个像素的 LBP 值也是 0 ～ 255 之间的整数，所以得到的特征同样 是 256 维的。将颜色和纹理特征结合成 512 维的 向量作为超像素最终的特征，然后利用分类器即 可对超像素进行分类，判断其属于前景还是背景。 1． 3 基于线性分类器的图像前景背景分割 从超像素中提取特征之后，训练合适的分类 器对每个 特 征 进 行 预 测，判 断 是 前 景 还 是 背 景。 分类器是在已有数据的基础上训练一个分类函数 或模型。设训练图像中每个超像素的特征为 x，对 应标签为 c，其中 c = 1 为超像素属于前景; c = － 1 为超像素属于背景。可定义分类器 ‖c － f( x) ‖2 ． f: argmin f ( 3) 对于给定的数据库，首先对已知前背景的图 像分割超像素并提取特征，然后用特征及标签训 练分类器。对于测试图片，用训练好的分类器进 行预测，判断每块超像素的标签。实验中同时考 虑分类的准确率和时间复杂度，算法采用常用的 线性支持向量机( SVM) ［13］作为分类器。 超像素通常包含很多像素点，因此标定一个 超像素中所有像素点为前景或背景，尤其在超像 素边界和图像前背景边界不一致时会产生较大误 差。算法用超像素标定好的结果作为初值，再通 过图分割( graph cut) 的方法，对每个像素进行微 调，减小像素级的标定误差。算法采用最大流最 小割( max flow min cut) ［14］算法对超像素分割结果 做进一步调整，得到最终的分割结果。 中国煤炭期刊网 www.chinacaj.net

437 西 安 科 技 大 学 学 报 2017 年 2 结果与分析 像，其中训练图像 200 幅，给定 RGB 图像和每个像 素点的标签。测试图像 100 幅( 每类 10 幅) ，已知 实验中，数据集包括鸟、汽车、飞机等 10 类图 RGB 图像而前背景未知。数据集如图 1 所示。 图 1 训练集实例 Fig. 1 The training set examples ( a) 不同类别物体的 RGB 图像 ( b) 对应前背景标签图像 像素级精度是分割任务的主要客观评价指标 要求，取 K = 200，即每幅图像分成 200 个超像素 之一，对于前背景二值分割问题，分割精度的定义 块。每块超像素提取 512 维特征训练分类器。最 如下 后用图分割的方法进行调整。图 2 展示了部分主 acc = TF + TB F + B ． 观分割结果。 表 1 各类别的图像测试结果 其中 TF 和 TB 分别为分割正确的前景和背景的 Tab． 1 Test results of various images 像素点个数; F 和 B 为真实结果中的前景和背景 类别 最高精度 / % 平均精度 / % 精度在 85% 数目 的像素点个数; F + B 为图像的总像素点数。 由于不同类别的图像特征差距较大，因此实 验中对不同类图像分别进行分类器训练，测试时， 对图像统 一 进 行 超 像 素 分 割、像 素 块 特 征 提 取。 之后对每一类图像，用对应的分类器进行分类，得 到的结果再通过图分割进行调整。各类物体的分 割精度见表 1． 对训练集，文中在 RGB 图和前背景标签图上 采 用同样的超像素分割，考虑到精确程度和时间 动物 房屋 飞机 牛 人脸 汽车 羊 鸟 狗 猫 100 92． 08 93． 34 93． 20 88． 75 93． 31 96． 37 97． 45 96． 63 96． 68 89． 23 84． 29 85． 95 83． 77 79． 97 77． 16 92． 85 80． 56 87． 66 78． 86 7 5 7 7 5 1 9 7 7 4 图 2 测试结果 Fig． 2 Test results ( a) 测试 RGB 图像 ( b) 分割结果 中国煤炭期刊网 www.chinacaj.net

第 5 期 薛 萍: 基于超像素特征表示的图像前景背景分割算法 537 其中精度是预测准确的像素占图像全部像素 communications，2015( 7) : 117 － 118． 的百分比。由结果可以看出，对于动物类如牛、羊 等分割精度较高。由于人脸、汽车等形状较为复 杂，颜色和纹理区别较大，因此识别率稍低，如何 根据不同种类物体设计合理的特征是未来需要进 一步开展的研究工作。 3 结 论 提出了一种对给定 RGB 图像分割前背景的算 ［5］ Liu G，Sun X，Fu K，et al． Aircraft recognition in high- resolution satellite images using coarse-to-fine shape pri- or［J］． IEEE Geoscience and Remote Sensing Letters， 2013，10( 3) : 573 － 577． ［6］ 楚 瀛，田 淞，张桂林，等． 基于图像边缘特征的前 景背景分割方法［J］． 华中科技 大 学 学 报，2008，36 ( 5) : 20 － 23． CHU Ying，TIAN Song，ZHANG Gui-lin，et al． Video foreground and background segmentations based edge 法。对于给定图像，先用高效的超像素分割方法 features［J］． Journal of Huazhong University of Science ( SLIC) 进行预处理，然后采用 HSV 颜色和 LBP 纹 and Technology，2008，36( 5) : 20 － 23． 理 2 种特征表示每块超像素，用训练好的线性支持 ［7］ 张巧荣，景 丽，肖会敏，等． 利用视觉显著性的图像 向量机作分类器，对每块超像素内的所有像素点 作预测。最后基于图分割算法对结果进行修正。 实验结果中，主观结果表明算法可以大致区分出 物体的轮廓和形状，客观结果显示分类精度约为 84% ． 上述结果表明文中的算法能较好的分辨出图 像中的前景物体，这为进一步的视觉问题研究，如物 分割方法［J］． 中国图象图形学报，2011，16( 5) : 767 － 772． ZHANG Qiao-rong，JING Li，XIAO Hui-min，et al． Im- age segmentation based on visual saliency［J］． Journal of Image and Graphic，2011，16( 5) : 767 － 772． ［8］ 翟 玲，朱 敏，戴李君． 基于超像素与特征改进的 Grab cut 前景分割［J］． 微型电脑应用，2015，31( 11) : 体识别、标识检测等提供了理论依据。 48 － 50． 参考文献 References ZHAI Ling，ZHU Min，DAI Li-jun． Foreground cut based on superpixel and feature-improved grab cut［J］． Micro- ［1］ 朱远清，李才伟． 一种基于前景与背景划分的区域图 computer Applications，2015，31( 11) : 48 － 50． 像检索方法及实现［J］． 中国图像图形学报，2007，12 ［9］ 陈鹏翔，杨晟院． 区域拟合的背景去除图像分割模型 ( 2) : 234 － 238． ［J］． 中国图像图形学报，2016，21( 6) : 683 － 690． ZHU Yuan-qing，LI Cai-wei． A method and implementa- CHEN Peng-xiang，YANG Sheng-yuan． Fast image seg- tion for region-based image retrieval using partition of mentation based on region-scalable fitting background foreground and background［J］． Journal of Image and removal model ［J］． Journal of Image and Graphics， Graphics，2007，12( 2) : 234 － 238． 2016，21( 6) : 683 － 690． ［2］ 牛 杰，卜雄洙，钱 堃． 基于前景分割的目标实时 ［10］ Cordes K，Scheuermann B，Rosenhahn B，et al． Fore- 监测方 法［J］． 计 算 机 应 用，2014，34 ( 5 ) : 1 463 － ground segmentation from occlusions using structure and 1 466． motion recovery［C］/ / Computer Vision，Imaging and NIU Jie，BU Xiong-zhu，QIAN Kun． Real-time object de- Computer Graphics． Theory and Application． Springer tection method based on foreground segmentation［J］． Berlin Heidelberg，2013: 340 － 353． Journal of Computer Application，2014，34( 5) : 1 463 － ［11］ Achanta R，Shaji A，Smith K，et al． SLIC Superpixels 1 466． ［R］． EPFL: Technical Report，2010． ［3］ 戴雪峰，金连文，熊 波． 基于图像前景分割的嵌入 ［12］ Ojala T，Pietik inen T，Harwood D． A comparative study 式智能监控系统［J］． 计算机工程，2007，33( 20) : 233 of texture measures with classification based on feature － 235． distributions［J］． Pattern Recognition，1996 ( 29 ) : 51 － DAI Xue-feng，JIN Lian-wen，XIONG Bo． Embedded in- 59． telligent surveillance systems based on foreground seg- ［13］ Cortes C，Vapnik V． Support-vector networks［J］． Ma- mentation technology［J］． Computer Engineering，2007， chine Learning，1995，20( 3) : 273． 33( 20) : 233 － 235． ［14］ Boykov Y，Kolmogorov V． An experimental comparison ［4］ 刘 铭，刘雅楠，李靖宇． 基于分割和全背景图像的 视频修复算法［J］． 中国新通信，2015( 7) : 117 － 118． LIU Ming，LIU Ya-nan，LI Jing-yu． Video completion based cut and background image［J］． China New Tele- of min-cut / max-flow algorithms for energy minimization in vision［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26( 9) : 1 124 － 1 137． 中国煤炭期刊网 www.chinacaj.net