3 第 8卷第 3期 2007年 6月 空 　军 　工 　程 　大 　学 　学 　报 (自然科学版 ) JOURNAL OF A IR FORCE ENGINEER ING UN IVERSITY(NATURAL SC IENCE ED ITION) Vol. 8 No. 3 Jun. 2007 一种保持图像边缘的插值方法 张 　雄 , 　毕笃彦 , 　杨宝强 (空军工程大学 工程学院 , 陕西 西安 　710038) 摘 　要 :在图像超分辨率重建中 ,需要对低分辨率图像进行插值 。在对图像提取边缘的基础上 , 考虑边缘的方向 ,先对边缘像素插值 ,然后对其余零填充像素用双三次插值赋值 。最后给出了 实验结果 ,并与最近邻插值 、双线性插值及传统的双三次插值进行了比较 。结果表明该方法较 好地保持了图像的边缘信息 。 关键词 :超分辨率重建 ;插值 ;边缘保持 ;高分辨率 中图分类号 : TN911 73　　文献标识码 : A　　文章编号 : 1009 - 3516 (2007) 03 - 0078 - 03 在单帧图像或序列图像的超分辨率重建中 ,都需要对低分辨率 (Low Resolution, LR )图像进行插值 ,并结 合其他手段 ,重建高分辨率 (H igh Resolution, HR )图像 ,从而提高图像的空域分辨率 ,丰富图像的细节信息 。 线性插值是常用的图像插值方法 [ 1 ] ,其理论已经非常成熟 ,在信号 、图像处理等许多领域都有着广泛的应 用 ,但是插值的结果过于平滑 ,使图像的边缘信息受到损失 。近些年来利用变换域进行插值的方法也有很 多 ,如文献 [ 2 ]、[ 3 ]等是基于小波变换进行的插值 ,插值效果比较好 ,但是需要先进行插值 ,然后再进行小波 变换及其逆变换 ,计算量比较大 。本文对单帧图像插值中保持图像边缘进行研究 ,结合经典而有效的双三次 插值方法 ,并与常用的插值方法即最近邻插值 、双线性插值和传统的双三次插值结果进行了比较 。 1　图像降质模型 设 g ( i, j) (1≤i≤M , 1≤j≤N )为观测到的 LR图像 , f ( i, j) ( 1≤i≤rM , 1≤j≤rN , r > 1) 为理想的未降质 r > 1表示由 HR 图 HR图像 ,是从假设为限带的连续场景中按等于或高于 Nyquist率的采样率采样得到的 , 像 f 到 LR图像 g 的下行采样因子 (简便起见 ,设二维相同 ) 。除了模型允许的运动和退化之外 ,可以认为 f 在获取多幅 LR图像的过程中保持不变 ,因此 ,在一幅 HR图像 f 上进行形变 、模糊 、二次采样操作 ,便产生了 多幅 LR观察图像 。假定每幅低分辨率图像被加性噪声污染 ,则由 HR图像得到 p帧 LR 图像序列的空域数 学模型可表示为 [ 4 - 5 ] gk =D Ck F k f + nk ( 1≤k≤p) 。式中 : gk、f和 nk 分别表示按行或按列重新堆砌而成的 MN ×1 LR图像 、r2MN ×1 HR图像和 MN ×1 噪声 。 F k是一个大小为 rMN ×rMN 的形变矩阵 , Ck代表一个大小 为 rMN ×rMN 的模糊矩阵 , D 是一个大小为 rMN ×rMN 的二次采样矩阵 。图像超分辨率重建的目标是从观 测到的 LR图像 g 估计 HR图像 f 。本文讨论由单帧 LR图像 g 插值重建 HR图像 f 。 2　保持边缘的插值重建 比较常用的插值方法有最近邻插值 、双线形插值和双三次插值 。双三次插值用双三次多项式局部表面 近似灰度函数来改善插值模型 ,用 16个相邻点作为插值计算像素 。一维的插值核 (墨西哥草帽 )如图 1所 示 ,由 h ( x) = | x | 3 - 2 | x | 2 + 1, 0≤ | x | ≤1; h ( x) = - | x3 + 5 | x | 2 | - 8 | x | + 4, 1≤ | x | ≤2; h ( x) = 0, | x | ≥2给 出 [ 6 - 7 ] 。 收稿日期 : 2006 - 11 - 28 　基金项目 :国家“863”计划资助项目 (2006AA701121) 　作者简介 :张 　雄 (1978 - ) ,男 ,湖北钟祥人 ,博士生 ,主要从事图像处理与模式识别等研究 ; 毕笃彦 (1962 - ) ,男 ,陕西扶风人 ,教授 ,博士生导师 ,主要从事智能图像处理 ,模式识别等研究. © 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

第 3期 张 　雄等 :一种保持图像边缘的插值方法 97 　　双三次插值对最近邻插值中的锯齿边界问题和双线性插值中的模糊问题都有很好的解决 ,较好的保持 了图像的细节 ,但是在对边缘像素的处理中 ,因为非边缘像素的参与计算 ,并没有单独考虑边缘像素 ,而是将 其与其它像素同等考虑的 ,使得边缘像素插值效果受到影响 。 　　边缘方向插值算法通常假设自然图像具有理想的阶梯形边缘即几何正则性 ,图像的强度场沿着边缘方 向的变化比垂直于边缘方向的变化慢 ,即边缘方向上的光滑性和垂直方向上的锐利性 。几何正则性决定自 然图像的视觉质量 。好的插值方法应当对图像的边缘特殊考虑 ,才能避免或减轻边缘模糊和产生锯齿 ,很好 地保持边缘的光滑性和锐利性 。基于这种考虑 ,我们提出一种保持图像边缘的插值算法 。 在图像中 ,除边缘外 ,其它区域都是像素灰度值较为平坦的区域 ,这时用双线性插值或者双三次插值 ,效 果都已足够好 ,甚至在有些平坦区域用最近邻插值 ,视觉效果也不会太差 。在这种情况下 ,采用小波插值或 者其它较为复杂的插值方法 ,运算复杂度和运算量都会大大增加 ,而效果却不会有太明显的改善 。所以插值 中最需要考虑的是边缘像素的插值 。 在前述降质模型中 ,设二维下采样率相同 ,即 r = 2 。图 2为边缘插值示意图 ,黑白点阵构成高分辨率图 像像素阵列 。黑点为低分辨率图像像素点的复制 , 如像素点 ( 2k - 1, 2 l - 1 ) 对应低分辨率图像中的像素点 ( k, l) ,白点为零填充插值像素点 ,实线段 A、B、C、D 所连接的黑点为低分辨率图像中检测出的边缘像素 。 在对零填充像素进行赋值时 ,首先对边缘像素点赋值 。在图示中 ,以边缘像素点连接线段 B 中的零填 充点 ( 2k, 2 l) 为例 ,对该点进行插值时 ,由于 (2k - 1, 2 l - 1) 与 ( 2k + 1, 2 l + 1) 均为低分辨率图像中的边缘 像素 ,根据边缘的连续性 ,我们认为 (2k, 2 l) 亦为边缘像素 ,所以 ,我们用两点的均值对点 ( 2k, 2 l)赋值 ,即 f ( 2k, 2 l) = 1 2 [ f ( 2k - 1, 2 l - 1) + f ( 2k + 1, 2 l + 1) ] = 1 2 [ g ( k, l) + g ( k + 1, l + 1) ] 其余边缘像素点以此类推 。在对边缘像素的插值过程中 ,低分辨率图像中的每个边缘像素点 ,在 8个方 向可能有相邻点属于同一边缘 。我们对边缘像素点搜索的同时对中间插值的高分辨率图像零填充像素点进 行赋值 。如果我们采取从图像的左上角开始 ,从上至下 、从左至右逐列搜索边缘像素点 ,那么只需要考虑每 个边缘像素的四个方向即 :下 、右下 、右及右上四个像素是否为边缘像素即可 ,如图 3所示 。图中中心像素为 当前处理像素点 ,实线方向所指的四个像素即为搜索像素点 ,虚线表示前面已搜索过 ,所以在当前处理中只 需要考虑四个方向 。对边缘像素插值完成后 ,再对剩余零填充像素用双三次插值重建 。 图 1　一维双三次插值核 图 2　边缘插值示意图 ( r = 2) 图 3　边缘像素搜索示意图 3　实验结果 对 House图像和 Lena图像进行了仿真实验 , Lena实验结果如图 4所示 。 　　 ( a) lena原图 (256 ×256)　　 ( b)降采样图像 (128 ×128)　　 ( c)边缘图像 (128 ×128) 　　( d)最近邻插值重建图像 (256 ×256) © 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

­ 08 空军工程大学学报 (自然科学版 ) 2 2 2007年 1 ( e)双线性插值重建图像 (256 ×256) ( f)双三次插值重建图像 (256 ×256) ( g)边缘保持重建图像 (256 ×256) 对实验结果 ,本文采用均方误差 MSE、峰值信噪比 PSNR 和图像的互相关系数 CC 来对比分析各个方法 图 4　Lena实验图像插值重建结果 的结果 。 PSNR的计算公式为 PSNR = 10 lg2552 / ( 1 M N M N ∑ i = 1 ∧ ∑ ( f j =1 ∧ ( i, j) - f ( i, j) ) 2 ) 。其中 f ( i, j) 和 f ( i, j) 分别为 重建图像和清晰图像的 ( i, j) 像素的灰度值 ,下同 。互相关系数定义为 M N CC = ∑ ∑ ∧ f i = 1 j = 1 ( i, j) f ( i, j) ∧ - M N f avr favr / M N [ ∑ ∑ i j ∧ ( f ∧ ( i, j) 2 - M N ( f avr ) 2 ] [ ∑ ∑ i j M N ( f ( i, j) ) 2 - M N ( favr ) 2 ] 表 1　Lena实验结果对比 ∧ avr与 favr分别表示两幅图像的灰度平均 f 值 ,从上式可以看出 , CC 是 0 - 1之间的 参数 。CC 值越接近 1, 说明重建图像与 清晰图像更接近 。MSE、PSNR 及 CC 对 比结果如表 1所示 。 　　由表 1可见 ,本文的边缘保持插值方法取得的实验结果较好 ,峰值信噪比及互相关系数都略有提高 ,从 图 4也可看出 ,图像边缘得到了较好保持 。 最近邻插值 双线性插值 双三次插值 保持边缘插值 96. 918 7　 94. 463 8　 77. 951 4　 28. 266 7　 28. 378 1　 29. 212 6　 0. 978 2　 0. 979 1　 0. 982 6　 77. 919 3　 29. 214 4　 0. 983 1　 MSE PSNR CC 4　结论 基于双三次插值方法 ,考虑图像边缘 ,首先对其进行重建 ,有效地保持了图像的边缘信息 ,避免了其他插 值方法的较大平滑效应 。在后续研究中 ,应当考虑图像边缘邻域内的插值重建 ,因为邻域范围为次边缘信 息 ,对图像的光滑性及视觉效果有一定的影响 。 参考文献 : [ 1 ] 　Ke ys R G. Cubic Convolution Interpolation for D igital Image Processing [ J ]. IEEE Transactions on Acoustics Speech Signal Processing, 1981, 29 (6) : 1153 - 1160. [ 2 ] 　Lu Yu. Research of Image Interpolation Based on W avelet[ J ]. J of W uhan University of Technology, 2003, 25 (1) : 81 - 83. [ 3 ] 　马社祥 ,刘铁根 ,江俊峰. 基于二进小波变换的边缘保持图像插值算法 [ J ]. 光电子 ·激光 , 2005, 16 (7) : 871 - 875. [ 4 ] 　Elad M , Feuer A. Restoration of a Single Superresolution Image From Several B lurred, noisy, and Undersamp led Measured Ima ges[ J ]. IEEE Transactions on Image Processing, 1997, 6 (12) : 1646 - 1658. [ 5 ] 　Nguyen N ,M ilanfar P, Golub G. Efficient Generalized Cross - Validation W ith App lications Toparametric Image Restoration and Resolution Enhancement[ J ]. IEEE Transactions on Image Processing, 2001, 10: 1299 - 1308. [ 6 ] 　Thomas L M , G nner C, Sp itzer K. Survey: ical Imaging, 1999, 18 (11) : 1049 - 1075. Interpolation M ethods in Medical Image Processing [ J ] IEEE Transactions on M ed [ 7 ] 　M ilan Sonka, Vaclav H lavac, Roger Boyle. 图像处理 、分析与机器视觉 (第二版 ) [M ]. 北京 : 人民邮电出版社 , 2003. . (编辑 :姚树峰 ) (下转第 83页 ) © 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 

2 2 第 3期 蔡 　勇等 :透射型亚波长二元闪耀光栅的数值模拟与分析 38 3　结束语 采用 Op tiFDTD和 FFT方法模拟分析了光栅周期 ,等分数 I,以及深度 d对透射型亚波长二元衍射光栅 衍射效率的影响 。结果表明 ,透射型二元闪耀光栅可将正入射的 TE波闪耀到 + 1级 ,一级衍射效率最高为 67. 9% ,且等分数对衍射角影响很小 ,给定波长 ,其设计主要由光栅周期 、光栅材料折射率和等分数这 3个 参数决定 。我们并没有讨论这种光栅的角色散 、线色散以及分辨率等重要参数性能 ,也没有考虑光栅放置在 材料折射率为 的介质中的情况 。但是这对于理解二元闪耀光栅原理有借鉴作用 。 参考文献 : [ 1 ] 　Philippe Lalanne, Dom inique Lemercier - Lalanne On the Effective Medium Theory of Subwavelength Periodic Structures [ J ] Journal of Morden Op tics, 1996, 43 (10) : 2063 - 2085 [ 2 ] 　CharlesW , Haggans, L ifeng L i, et al Effective - Medium Theory of Zeroth - order Lamellar Gratings in ConicalMountings[ J ] J Op t Soc, 1993, 10: 2217 - 2225 [ 3 ] 　R ichter I, Ryzi Z, Fiala P Analysis of B inary D iffraction Gratings: Comparison of D ifferent App roaches[ J ] Journal of Morden Op tics, 1998, 45 (7) : 1335 - 1355 [ 4 ] 　周慧君 ,王取泉 ,闪耀光栅的二元近似结构 [ J ] 光学与光电技术 , 2005, 3 (3) : 61 - 64 (编辑 :门向生 ) Num er ica l S im ula tion and Ana lysis of Tran sm ission Sub - wavelength B inary Gra tings CA I Yong1 , ZHU J ing - p ing2 , MA Zhi - qiang1 , Q IAN Yuan1 ( 1. The Telecommunication Engineering Institute, A ir Force Engineering University, Xi′an 710077, China; 2. School of Electronic & Information Engineering, Xi′an J iaotong University, Xi′an 710049, China ) Abstract:Op tiFDTD and Fast Fourier Transform method are used to simulate and analyze the diffracted field of transm ission sub - wavelength binary gratings ( TSBG). And the influence of grating parameters on the diffraction the normal incident TE mode efficiency is numerically analyzed. The analysis result demonstrates that, for TSBG, beam can be diffracted to the + 1 st order, the perform ance of a TSBG is determ ined by the grating period, material index and interval number for a given wavelength. Key words: transm ission sub - wavelength binary gratings; Op tiFDTD; FFT the interval number has few influence on diffracted angle, (上接第 80页 ) An Edge Preserved Image In terpola tion M ethod ZHANG Xiong, B IDu - yan, YANG Bao - qiang ( The Engineering Institute, A ir Force Engineering University, Xi′an 710038, China) Abstract: In the p rocess of image super - resolution reconstruction, there is a need for interpolating p ixels in the resolution image. On the basis of detecting the edge of low - resolution image and in consideration of its di low - the p ixels belong to edges in the reconstructing high - resolution image are interpolated at first. Then, oth rection, er zero - padding p ixels are interpolated by using the bi - cubic method. By comparison with the results of nearest - neighborhood interpolation, bi - linear interpolation and the traditional bi - cubic interpolation, the result of this experiment on Lena image shows that the image edges are better persevered. Key words: super - resolution reconstruction; interpolation; edge p reserved; high resolution © 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net