第 37 2018 卷第 年 10 10 期 月 煤 炭 技 术 Coal Technology Vol.37No.10 Oct. 2018 LBP 、 ， 。 ， 提出 首先构建尺度金字塔并用 最后利用最近邻距离比 并且速度约为 ， ， doi:10.13301/j.cnki.ct.2018.10.108 尺度 FAST 结合改进 的特征匹配方法 * LBP 许 超 中国矿业大学 信息与控制工程学院 李 岩 程德强 ， ， ， （ ， 算法运算复杂 赵广源 江苏 徐州 计算量大导致匹配速度慢的问题 221116） 摘 要 针对图像拼接中 ： SIFT、SURF 了一种基于尺度 与质心标定改进 描述符的特征匹配方法 FAST LBP 算法确定特征点位置 然后使用质心标定的圆形 来描述特征点 FAST 结合 SIFT ， 进行快速匹配 。 的 倍以上 ； 尺度金字塔 5 14 RANSAC 的 倍 关键词 中图分类号 、SURF ： FAST； 实验结果表明 提出的方法有着较好的匹配表现 ： 同时结合渐入渐出方法 能实现快速且高质量的图像拼接效果 。 ； LBP； 文献标志码 圆形质心 ； 图像拼接 文章编号 ： 1008 － 8725（2018）10 － 0297 － 04 Feature Matching Method Based on Scaled FAST and Improved LBP ： TP391.4 ： A CHENG De-qiang， LI Yan，XU Chao， ZHAO Guang-yuan （School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China） Abstract： Aiming at the problem that the SIFT and SURF algorithms in image splicing are computationally complex and the calculation speed is large, the matching speed is slow. Propose a feature matching method based on scaled FAST and improved centroid calibration LBP descriptors. Firstly, the scale pyramid is constructed and the feature point position is determined by FAST algorithm. Then the circle point LBP is used to describe the feature points. Finally, the nearest neighbor distance ratio is used to quickly match with RANSAC. The experimental results show that the proposed method has a better matching performance, and the speed is about 14 times that of SIFT and more than 5 times that of SURF. At the same time, the combination of fade-in and fade-out methods can achieve fast and high-quality image mosaic effects. 则认定该像素点是角点 。 0 ， t， Key words: FAST; scale pyramid; LBP; round center of mass; image mosaic 前言 图像拼接是将多张图片拼接成一张视野更宽广 视 特征匹配是 匹配的效果好坏直接决定 算法 但是运 随着对实时性要求的 图片的技术 被广泛应用于全景拍摄 、 频监控及无人机全景拍摄等领域错误 图像拼接中关键的一步 了最后的拼接效果 与 算复杂导致了速度慢的问题 提 高 斯尺度金字塔方法 行迭代的卷积 个自上而下 字塔 如图 ， 层 和 由 原 图 像 算 法 应 运 而 生 并 成 为 新 的 研 究 热 点 是广泛应用的特征匹配方法 特征点提取算法中 Intra-octave 三维重建 ，SIFT SURF img 2 FAST 为使 算法 1 、 。 ， ， ， 。 ， 。 ， 。 以此类推 是视觉领域的热门 ， ， 。 近 倍降采样 2 ， 是由原图像 ，FAST 作为一种纹理描述算子 LBP 年来大量应用到特征描述上 。 算法具有尺度不变性 ， 采用构造高 首先使用高斯卷积核对图像进 从而形成一 图像尺寸逐渐缩小的金 ， 并重复进行降采样处理 ， 尺度逐渐增加 所示 ， 。 倍 降 采 样 得 到 尺度空间金字塔由若干个 的第 层交替组成 层 的第 第 ；Intra-octave 倍降采样得到 ，Octave 1 层 第 2 ， C2 层 1 Octave 层 由 C1 C1 则 D1 由 ， D1 特 征 点 不 仅 要 在 每 层 中 满 足 层中相应位置 还要在上 D2 下 2 、 2 img 1.5 倍 降 采 样 得 到 1.5 。 角点判定条件 FAST ， 的点比较中为极大值 。 随着图像拼接的实时性要求越来越高 传统 提 出了一种快速特征匹配算法的构想 SIFT、SURF ， 匹配算法速度慢造成的问题 为解决 本文 使 用 尺 度 可以实现图像 ， ， 算法结合质心标定的圆形 LBP， FAST 的快速匹配 。 尺度 1 FAST 金字塔 FAST 算法主要思想 选取中心像素并取一圆 将圆上像素点分别与中心像素比较灰度值 ， 个像素点的差都超过了阈值范围 形邻域 若其与圆上超过 ， ： n virtual D0 img C0 Intra-octave D1 Octave C1 Intra-octave D2 Octave C2 国 家 自 然 科 学 基 金 资 助 项 目 * 发项目 (KC16GZ013) (51774281)； 徐 州 市 科 技 创 新 重 点 研 297 σ 图 1 金字塔构建示意图 中国煤炭期刊网 www.chinacaj.net

Vol.37No.10 尺度 FAST 结合改进 LBP 的特征匹配方法 ， LBP 方向上再进行 性 。 LBP 2 改进的质心 LBP 传统的旋转不变 描述符 LBP， ， 对之后的特征匹配带来较多错误 方向 形 出一种基于质心标定的改进方法 描述符的基础上加强了对旋转的不变性 LBP 。 无法正确标定特征点的主 本文在圆 提 通 过 求 取 圆 形 将特征点邻域旋转至主 以此达到旋转不变 ， ： ， 的质心 计算出主方向 的编码描述 ， LBP 算法通过将圆形邻域周围像素的灰度值与 为圆 个像 比较大小 假设以像素点 在圆周上等间隔的采样 个点的灰度值通过与中心点 K P 。 ， K 值为半径作圆 这 中心像素比较大小来编码 心 ，r 素点 来进行编码 个像素点的灰度值分别为 表示 中心点 K P ， 。 的灰度值为 其邻域圆上 gk， 则 的 LBP K P 特征 g0，g1...gp， （1） LBPp，r= P-1 i = 0 Σs（gi-gk）2P ≥ x≥0 1 式中 s（x）= 0 x＜ 点的灰度值 0 ； gi———i P——— 采样点数 。 以特征点为中心取半径 每个像素点的灰度值看成是质量 信息的圆根据积分学来求取圆形邻域的质心 ， Q R 圆形邻域上 把圆上 将这个具有质量 ， R R R R R R M0= Σ ΣI（x，y），M1= Σ ΣxI（x，y），M2= Σ ΣyI（x，y） x=-R y=-R x=-R y=-R x=-R y=-R 程德强 等 第 卷第 期 ——— 旋转角度 ， 根据质心的象限位置而不同 37 10 标轴位置 ， 顺时针 逆时针 θ θ=arctan |Y| |X| θ=arctan |Y| |X| Y＞0 Y＜0 特征点正方形邻域表示示意图如图 ： （4） （5） 质 所示 。 3 检测到的特 描述符生成步骤 设 的大小 Pi（x，y，σ） ： 为尺度 ， FAST 在高斯金字塔相应层上 左边所示 取 ， Pi 为中心的 7×7 3 以 Pi ， 方形 LBP 心标定的 步骤 1 根据 σ 如图 征点 ， 为中心 区域 ， ； 步骤 2 分别以每个像素点 , R 为半径取圆形邻域 中心 值的大小 水平坐标轴将图像旋转到参考方向 运用积分学知识取圆上质心 ， ， Pn（n=1，2…49） 为 通过圆上的像素点像素 为 以 Q， PQ ， ， 3 LBP 如图 3 根据 右边所示 步骤 个像素点 求取原理公式 素点的值与中心像素进行比较编码 的 个像素点均采用相同的操作 向量 特征描述符编码向量 LBP ， ， ； 在圆上等间隔的取 分别将 8 个像 ， 得到其质心标定 8 对特征点邻域内 49 。 得到每个像素点的编码 邻域点 与中心点 距离越远 Pn Pi 因此需要对 即为特征点 ， 对描 加权 的描 lbpn Pi 述中心点贡献的信息量越小 , 处理 维向量 述符 最后得到的 49 。 Ti 。 lbpn； 步骤 4 （2） （3） Pi 式中 ，QY= M2 M0 QX= M1 M0 所取邻域圆半径 ； 圆上像素点的坐标 像素点的灰度质量 点的灰度值 。 R——— （x，y）——— Mt——— I（x，y）——— 式 如图 （3） 通过矩的计算得到质心 所示 2 。 ； ，t＝0，1，2； 坐标位 3 Q（QX，QY） 置 ， 轴 。 K Q X K Q X X′ 对于 质心表示示意图 2 图 为 圆 上 质 心 将 视作是主方向 Q 求 得 了 将 KQ ， KQ ，X、Y 轴 为 水 平 坐 标 系 连线旋转至水平坐 298 Y Y 定的损失 因此文本采用最近 邻 与 次 近 邻 比 值 法 图 3 匹配策略 特征点正方形邻域表示示意图 在匹配策略的选择上 常用的基于 ， 虽然提高了匹配速度但是对正确匹配数目造成了一 k-d ， 树算法 （NNDR）， 和 图像 A B 。 该方法可以显著提高匹配效率 。 中提取出的特征点的集合为 假设 幅 2 和 中任意特征点描述子 PA 中搜索出与之距离最近的描述子 Ai， 从 PB 设其汉明距离分别为 Bn， 某一特定的阈值 dm，dn， 则认为 Td， Ai Bm PB， 使用最近邻搜索法 PA Bm 和次近的 如果二者比值小于 点是匹配的 点和 ， 中国煤炭期刊网 www.chinacaj.net

尺度 FAST 结合改进 LBP 的特征匹配方法 程德强 等 ， ——— 第 37 卷第 根据文献 期 10 验证当 时 匹配结果更优秀 Td=0.6 [9] 实验分析 本部分验证本文 提 出 方 法 对 加 快 特 征 匹 配 速 。 ， 4 实 验 图 片 如 图 度 以 及 在 拼 接场 景 下 的 有 效 性 所示 与图 图 。 。 4（a） 和 4（b） 均 来 自 于 手 工 拍 摄 编程 工 具 OpenCV2.4.9 环 境 为 Visual Studio 2013 主 频 系 统 Windows10 ，CPU 3.4 GHz， 4 使 用 运 行 内 存 ， ， 16 GB。 左图 （a） 图 右图 （b） 实验图片 4 特征点匹配实验 （1） 将本文算法与 上对特征点提取的数量 结果如图 4（b） 比 1 文算法匹配点对最多 所示 表 5、 ， 。 达到了 SIFT、SURF 时间 、 根据图 、 算法在图 4（a） 和图 匹配点对上作对 与表 本 性能表现好于 可知 1 ， 5 对 ， 速度上比 544 快 SIFT SIFT， 综合考虑到数量和速度 倍 比 14.10 、 SURF 本文算法的表 ， ， 和 SURF 倍 快 现最优秀 5.15 。 。 Vol.37No.10 所示 。 ， ， 2 2 其中 来看 SURF 算法在 结果如表 验采用得分数来认定算法的性能 根据表 ，SIFT 的情况下表现较好 产生波动 稳定 实验表明 地实现旋转不变性 各个旋转角度下都优于 和 90°、180°、270° 两者根据角度变化匹配率都会 而本文算法表现 通过 可以较好 ， 本文算法在 SURF 在不同的角度上 都有着优秀的匹配率 并且在对比实验中 本文质心标定的 算法更明显 ， 算法 描述符 LBP 和 ， 。 ， ， 。 ， ， SIFT SURF 各算法旋转不变性对比 。 表 2 240° 0.63 0.61 0.48 210° 0.83 0.72 0.51 180° 0.96 0.91 0.93 实验结果如图 270° 0.95 0.87 0.92 300° 0.64 0.60 0.51 图 330° 0.62 0.61 0.53 所 算法 ， 。 ， 2 第 本文算法 SIFT SURF 组实验中 90° 0.94 0.89 0.93 60° 0.83 0.72 0.51 30° 0.71 0.68 0.53 120° 0.60 0.57 0.51 组采用图 1 组中 150° 0.68 0.61 0.52 进行特殊场景下实验 第 示 倍 第 ； 匹配 ； 配 第 变换后匹配 表 在缩放 与 本文算法很好地实现了对缩放 不变性 。 可以看出 亮度 、 算法表现较为接近 3 组仿射变换中 表现的最稳定 提高图 SIFT 4 3 ， ； 、 ， ， 。 不变 将图 使用椒盐噪声处理图 4（a） ， 4（b） 4（a）， 亮度 与图 4（b） ， 改变图 视角 ， 各算法特征点匹配比较如表 4（a） ， 算法在噪声上表现最好 ，SIFT 仿射变化中却差强人意 ；SURF 6～ 9 进行缩小 1 与图 3 4（a） 所示 4（b） 匹 将原图和 从 ， 但是 算法 算法 而 仿射的 ， ； 、 略逊色于 噪声 、 、 SIFT 光照 算法 （b）SIFT 倍时各算法的匹配情况 （c）SURF 算法 本文算法 （a） 图 6 缩小 1 算法 (c)SURF 本文算法 (a) 图 算法 (b)SIFT 各算法匹配结果 5 不同图像特征匹配比较 表 图 1 特征点数量 图 特征 匹配 时间 本文算法 SIFT SURF 4（a） 866 1 667 1 348 4（b） 796 1 569 1 352 /s 0.48 6.77 2.47 旋转及其他特殊场景匹配实验 （1） 本文算法采用了质心标定来达到 ， 变性 实验模拟图像从 配点对与表 1 接下来验证本文算法在旋转下的性能表现 30°～330° 旋转情况 中匹配点对的比值记为成绩得分 LBP 。 旋转得到的匹 实 ， ， 本文算法 （a） 算法 （b）SIFT （c）SURF 算法 图 7 噪声图像的匹配结果 匹配数 544 493 431 旋转不 本文算法 （a） 算法 （b）SIFT （c）SURF 算法 图 8 改变亮度情况下的匹配 299 中国煤炭期刊网 www.chinacaj.net

Vol.37No.10 尺度 FAST 结合改进 LBP 的特征匹配方法 程德强 等 ， ——— 第 37 卷第 10 期 表 4 3 组场景下拼接时间对比 场景 ( 图像尺寸 ) 1(394×474,478×502) 2(552×436,669×446) 结语 本文算法 0.89 0.76 5 SIFT 12.36 12.01 SURF 4.32 5.98 算法 （b）SIFT 仿射变换下的匹配 （c）SURF 算法 各算法特征点匹配比较 本文提出了一种结合尺度 FAST 与改进 的 LBP 快速图像匹配算法 。 首先在构建的连续尺度空间中 本文算法 （a） 算法 本文算法 SIFT SURF 图 9 表 3 缩放 252 114 104 噪声 156 222 183 亮度 244 88 67 仿射 425 296 209 图像拼接场景应用 （3） 本部分验证本文算法 ， 所示 SURF 、SIFT 实验结果如图 和 实验的 和表 入渐出法之后的图像拼接效果 图 。 图 10 组图书馆其中包含了光照变化 在结合渐 组图片如 所示 第 12 。 视角变化等 可以 也很好地实现了 不过由于上部分匹配对略少问题出现了黑 ， 的表现最差 中间出现了明显的折痕 ，SIFT 11、 第 2 4 ， 、 ，SURF 1 看到本文算法表现最为出色 拼接效果 边 组为室内墙标 了较好的拼接效果 有对齐的分割线 。 到了很好的效果 达到了 而 SURF ， 综合结果 ， 略差 本文算法和 ，SURF 的 倍 ， ， SIFT 14 ，SURF 。 2 算法都很好地实现 SIFT 算法中间部分出现了没 本文算法和 都达 在速度上本文算法约 SIFT ， 的 倍 。 6 使用 FAST 特征点描述 ， 述符快速匹配 算法提取特征点 通过标定质心的 ， 对 LBP 然后 使用最近邻与次近邻比值法对描 ， 最后通过 ， RANSAC 剔除误匹配 该 。 方法在保证匹配精度的前提下 拥有极快的匹配速 ， 并且结合了渐入渐出拼接算法之后 度 。 可以实现很 ， 好的图像拼接效果 。 参考文献 ： 张懿 刘艺 . , ［1］ 基于 FAST 特征的快速图像拼接系统研究 计 算 ［J］. 机工程与应用 , 2016, 52(10):167-170. 王玮 , ［2］ 黄非非 李见为 等 . , , 使用多尺度 LBP 特征描述与识别人脸 光学精密工程 ［J］. , 2008(4):696-705. 赵小强 岳宗达 . , ［3］ 基于局部二进制模式和图变换的快速匹配算法 电子学报 ［J］. , 2017，45(9):2 156-2 161. 郑永斌 黄新生 , , ［4］ 丰松江 . SIFT 和旋转不变 LBP 相结合的图像匹 配算法 ［J］. 计算机辅助设计与图形学学报 , 2010, 22(2):286-292. 刘丹 , ［5］ 胡永健 刘琲贝 联合 . , SIFT 特征点和 CS-LBP 特征描述子 的复制粘贴篡改检测 合肥工业大学学报 自然科学版 : , 2012, ［J］. 35(3):325-330. 郭莉莎 李俊山 朱英宏 等 . , , , ［6］ 基于多尺度 FAST-9 的 图 像 快 速 匹 第 1 （a） 组图像 图 10 2 拼接实验测试图片组 （b） 第 组图像 配算法 ［J］. 计算机工程 , 2012, 38(12): 208- 210，217. 钱银玲 梁晓 , , ［7］ 张严辞 . 一种快速高质量 树 构 建 算 法 软 ［J］. k-d 件学报 , 2012. 庞兆峰 . ［8］ 基于特征的航拍图像拼接技术研究 ［D］. 北京 ： 北京理工 大学 , 2016. 周玉洁 . ［9］ 实时视频图像拼接技术研究与系统实现 ［D］. 武汉 华中 ： 本文算法 （a） 算法 （b）SIFT （c）SURF 算法 科技大学 ,2015. 图 11 第 1 组图像拼接效果 毛家好 . ［10］ 无人机遥感影像快速无缝拼接 ［D］. 成都 ： 电子 科 技 大 学 , 2010. 作者简介 ： 程德强 （1979- ）， 河南洛阳人 教授 ， ， 博士生导师 研究方向 士 ， ： 图 像 智 能 检 测 与 模 式 识 别 图 像 处 理 与 视 频 编 码 、 博 电 ， ， 子信箱 ：xzcumtcdq@sina.com； 通信作者 李岩 ： ， 电子信箱 ：2431819667@ 本文算法 （a） 算法 （b）SIFT （c）SURF 算法 qq.com. 图 12 第 2 组图像拼接效果 责任编辑 ： 王泽兰 收稿日期 ：2018－05－09 300 中国煤炭期刊网 www.chinacaj.net