中国科技论文在线 http://www.paper.edu.cn 多光谱人脸活体检测特征研究# 侯亚丽，郝晓莉，胡妙春* （北京交通大学电子信息工程学院，北京 100044） 10 5 摘要：人脸检测在人机交互及未来视频监控等应用中都有着非常重要的作用。传统的人脸检 测主要基于 RGB 图像或视频，极易受到类似人脸如照片、PVC 模特等其他物体的干扰。多光 谱图像中含有更丰富的场景信息，可以利用物体表面不同的反射率进行活体检测，降低系统 误检率。本文在窄带多光谱成像系统的基础上，研究了不同的反射率特征提取区域对检测性 能的影响，为后续人脸活体检测中多光谱特征提取提供了依据。实验结果表明，不同于传统 基于额头区域的特征提取方法，基于整个人脸区域进行特征提取的方法在所测样本集中达到 了最佳检测性能。 关键词：多光谱成像；活体检测；反射率 中图分类号：TP181 15 A study on multispectral face liveness detection HOU Yali, HAO Xiaoli, HU Miaochun 20 25 (School of Electronic and Information Engineering,Beijing Jiaotong University,Beijing 100044) Abstract: Face detection plays an important role in biometric recognition, human-computer interaction, and video surveillance systems. Most traditional human face detection methods are based on RGB images or videos, which can be easily fooled by human-like objects, such as photos, PVC mannequins, etc.. Due to different reflection properties of the object surfaces, techniques based on multispectral images have proved to be effective for liveness detection. In this paper, multispectral feature detection is studied based on a narrow-band multispectral imaging system. In most previous methods, reflectance features from the forehead area are usually used. The experimetal results in this paper show that reflectance features from the entire face area may achieve a better performance. Key words: multispectral imaging system; liveness detection; reflectance 0 引言 30 随着伪装技术的发展，迫切需要一种更加稳健的身份认证技术和方法。我们在识别人脸 之前往往需要进行活体检测，特别是对于进入一些敏感的涉及安全的领域，系统很容易受到 照片，录像回放，假人面具和人体模特等欺骗。图 1 展示了 RGB 相机采集到的真人与一些 类似人脸物品的图像。由于图像中假人与真人皮肤颜色和头发看上去都很相似，在一般光照 下很难区分真假人脸。 35 40 近年来，多光谱检测方法作为一种有效的活体检测方法，受到了人们的关注。在这类方 法中，通过多光谱成像系统采集来自不同波长的物体表面反射图。Angelopoulou 等人[1] 使 用先进的光谱仪测量了人体皮肤在可见光范围内的反射率曲线。测试结果发现，皮肤反射曲 线整体呈现上升趋势。由于皮肤黑色素等特殊物质的影响，反射曲线在 550nm 附近可以观 察到一个特别的‘W’形状。 在 Dowdall 等人的文献[2]中，考察了皮肤曲线在红外光谱范围内 的反射特性，结果显示，皮肤在 850nm 波段附近反射率较低而在 1400nm 附近反射率较高， 呈现出了与其他物体不同的反射特点。基于该特点，文章采用 850 及 1400nm 两个波段进行 基金项目：高等学校博士学科点专项科研基金新教师类资助课题（20130009120010）；国家自然科学基金 (60972093 和 61301184) 作者简介：侯亚丽（1982-），女，副教授，主要研究方向：多光谱目标检测、模式识别及视频监控等. E-mail: ylhou@bjtu.edu.cn - 1 - 

中国科技论文在线 http://www.paper.edu.cn 45 了乘客检测。Zhang 等人[3]基于以上两个波段，进一步提出了不同距离下活体检测的方案。 2009 年, Kim 等人[4]使用了 685nm 和 850nm 光谱图像，通过采集额头部位的反射率特征， 进行活体检测及人种分类。结果显示，850nm 波段更适于进行活体检测，而 685 那么波段对 于不同人种的分类很有帮助。2011 年，Vink 等人[5]使用常用的 LEDs 和 RGB 相机，设计了 一种低成本的多光谱成像系统。系统采集来自 8 个窄波段的光谱图像，并基于人体反射率特 性进行了活体检测分类。热红外图像也是进行活体检测的一种重要方法[6,7]。但是，红外辐 射可以穿透面具，使得带有面具的伪装者仍被误检为真实人脸，这对于人脸识别系统等应用 50 是不利的。除此之外，热红外波段上，图像容易收到环境温度等的影响。 在以上研究中，多采用图像中人脸额头部位的反射特征。本文将基于一个窄带多光谱成 像系统，研究图像中不同特征提取区域的检测性能，从而为后续多光谱活体检测方法的特征 提取提供依据。 55 a b c d 图 1 典型的人脸与类人脸图像展示。 a 为正常人脸，b 为人脸照片，c 为 PVC 人体模特，d 为硅胶人脸面具 1 方法 基于多光谱图像的活体检测系统总体流程如图 2 所示。首先，通过多光谱图像采集系统， 60 获取所选波段下的多光谱图像；接着，基于获取的多个光谱图像，提取感兴趣区域的反射率 特征；最后，采用 SVM 分类器，进行真实人脸与其他相似物品的划分。后续将分节对每一 个关键步骤进行详细介绍。 图 2 基于多光谱的活体检测流程 65 1.1 多光谱图像采集 图 3 为本研究中所使用多光谱人脸图像采集系统。系统主要由全光谱光源、窄带滤光片、 相机及参考白板组成。根据图像成像原理，第 i 个光谱图像中位置 P 点的灰度可由公式（1） 获得，其中 t 为相机的曝光时间，L 为所有光源的强度，R 为目标表面反射率，T 为滤光片 70 传输特性，C 为相机响应特性。 ~ 指定了第 i 个窄带滤光片接收光谱的范围。 （1） - 2 - 多光谱图像采集反射率特征提取特征分类minimaximaxmin()()()()iiPPPiiItLRTCd

中国科技论文在线 http://www.paper.edu.cn 图 3 多光谱人脸图像采集系统 75 文中采集了 420nm 和 800nm 两个波段下人脸，照片，PVC 人脸模型以及硅胶仿真人脸 面具的多光谱图像。图 4 展示了所拍摄的部分图像。 图 4 420n 和 800nm 下多光谱图像样本示例 1.2 反射率特征提取 80 基于反射率的特征提取方法流程如图 5 所示。为了研究反射率特征提取区域对检测性能 的影响，本文分别从以下四个感兴趣区域进行了反射率特征的提取：1、整个拍摄图像；2、 脸部皮肤区域；3、额头区域；4、脸颊区域。 图 5 基于多光谱图像的反射率特征提取算法流程 85 当光源均匀，窄带滤波篇的带宽足够窄的时候，（1）式可以近似为（2）。进一步地， 可由参考白板的灰度值估计待测物体表面的反射率如式(3)。其中， Iref ,Rref 分别表示 PTFE 参考板的灰度值和反射率， 表示第 i 个光谱图像在位置 P 处的灰度值， （2） 90 （3） 基于变换得到的反射率图，将从不同感兴趣区域进行反射率特征的提取。 1.2.1 基于整幅拍摄图像的特征提取 样本图像大小通过尺度变换统一为 64*64 像素大小。整个拍摄图像中，不仅包含人脸皮 95 肤区域，也包括头发等区域。使用整个拍摄图像进行反射率特征的提取，将不仅考虑人脸皮 肤的反射特性，也将对考虑头发部分的特点。为了保留皮肤及头发的空间位置的分布规律， 实验中将图分为 8*8 像素的图像块，提取每个块中反射率图最大值组成一组特征向量。来自 两个波段的反射率特征将构成最终样本的 128 维向量。 - 3 - 灰度图到反射率感兴趣区域设置特征向量提取PiI()()()PPiiItLRTC,PPirefirefIRRI

中国科技论文在线 1.2.2 基于脸部皮肤区域的特征提取 http://www.paper.edu.cn 100 基于脸部皮肤区域的特征提取将不再使用头发的反射特征，反射率特征向量全部来自人 脸图像的皮肤区域。实验中使用图 5 所示 36 点处两个波段的反射率值作为最终特征向量， 进入分类器进行活体检测判别。以 800nm 波段处样本图像为例，左图为样本原图，右图显 示了反射率值提取的样点位置。每个样本发型变化多样，为了尽可能确保每个样本都提取到 皮肤区域的反射特性，样点位置尽量居中，避开了可能的头发部位。这样，每个样本将形成 105 一个 72 维的反射率特征向量。 图 5 特征提取区域为整个面部 1.2.3 基于额头及脸颊区域的特征提取 110 基于额头及脸颊区域的特征提取，将特征提取范围集中在皮肤的局部范围。图 6，图 7 中，以 800nm 波段处样本图像为例，左图为样本原图，右图显示了反射率值提取的样点位 置。在图 6、图 7 所示黑色方形区域内，随机选取 36 个点的反射率值作为最终反射率特征 向量。每个样本将形成一个 72 维的反射率特征向量，进入分类器进行活体检测判别。 115 图 6 特征提取区域为额头 图 7 特征提取区域为脸颊 120 1.3 特征分类 依据以上特征提取，分别使用 SVM 分类器进行活体检测的二分类。 2 实验结果及分析 本文所采用的多光谱人脸数据库包含 70 个人脸（正样本）及 132 个类人脸仿真对象（负 样本，包括人像照片，人脸模型以及人脸面具）。实验中随机选取 70%的正负样本作为训 125 练样本，其余作为测试样本进行分类测试。 分类结果如表 1 所示。第一列为所设置的感兴趣区域，第二列为针对各区域进行活体检 测的准确率统计。从结果来看，效果最好的是从整个面部随机取点，准确率达到了 98.3607%， 接下来是脸颊和额头分别为 91.8033%和 90.1639%，效果最差的是整幅图进行检测分类，准 确率为 67.2131%。 - 4 - 

中国科技论文在线 http://www.paper.edu.cn 130 表 1 活体检测分类结果 感兴趣区域 整幅图像 脸部皮肤区域 额头区域 脸颊区域 准确率 67.2131% 98.3607% 90.1639% 91.8033% 基于整幅图像的特征提取方法效果较差，可能是不同发型导致了皮肤区域与头发区域空 间位置的多样性，从而引起类间差异的增大，影响了最终的检测准确率。基于额头和面颊区 域的方法结果相似，可见，基于局部小区域的特征提取方法对于提取位置的敏感度并不高。 135 达到最高准确率的是基于整个脸部皮肤区域的方法。该方法达到更高性能的原因，可能有两 个：一、从大范围提取特征，降低了因为样本本身或成像条件等因素导致的局部反射率不准 确对分类结果的影响；二、从整个皮肤区域抽取反射率特征，同时也能反映面部反射特性的 空间分布情况，增加了特征的分辨能力。 3 结论 140 本文基于窄带多光谱成像系统，研究了反射率特征提取区域对活体检测性能的影响，为 后续基于多光谱反射率特征的活体检测方法提供了依据。研究结果显示，针对整个面部随机 取特征点情况下检测结果准确率高达 98.3607%，说明对人脸具有较强的区分能力。 基于多光谱特征的活体检测方法具有以下优越性：1.不需要等待或者检测用户的生理行 为，比如眨眼、嘴唇的运动及表情变化；2.可以应付包括视频、照片、模型等伪造攻击。反 145 射率信息几乎无法伪造，因此鲁棒性更高；3.与多光谱人体检测的方法相结合，将进一步应 用于生活中监控、人体检测等更多领域，提供有力的安全保障。 致谢 在此，感谢实验室的各位同学及参与图像拍摄的各位志愿者，在图像采集方面给予了极 大的支持和帮助。 150 [参考文献] 155 160 165 [1] E. Angelopoulou. Understanding the color of human skin[A]. Bernice E. Rogowitz, Thrasyvoulos N. Pappas. Proc. SPIE 4299, Human Vision and Electronic Imaging VI[C]. San Jose, CA : SPIE, 2001. 243-251. [2] J. Dowdall, I. Pavlidis, and G. Bebis. Face Detection in the Near-IR Spectrum[J]. Image and Vision Computing, 2003, 21(7): 565-578. [3] Z. Zhang, Y. Dong, L. Zhen, and S. Z. Li. Face liveness detection by learning multispectral reflectance distributions[A]. IEEE International Conference on Automatic Face & Gesture Recognition and Workshops (FG 2011)[C]. Santa Barbara, CA : IEEE, 2011. 436-441. [4] Y. Kim, J. Na, S. Yoon, and J. Yi. Masked fake face detection using radiance measurements[J]. Journal of the Optical Society of America A, 2009, 26(4): 760-766. [5] J. P. Vink, T. Gritti, Y. Hu, and G. de Haan. Robust skin detection using multi-spectral illumination[A]. IEEE International Conference on Automatic Face & Gesture Recognition and Workshops (FG 2011)[C]. Santa Barbara, CA : IEEE, 2011. pp. 448-455. [6] D. A. Socolinsky, A. Selinger, and J. D. Neuheisel. Face Recognition with Visible and Thermal Infrared Imagery[J]. CVIU, 2003, 91(1-2): 72-114. [7] Szeremley D, Brinkmann R P, Mussenbrock T, et al. Liveness Detection Using Thermal Image – A Case Study[J]. Ijetae Com, 2011, 47(23):104-112. - 5 -