Computer Engineering and Applications 计算机工程与应用 2015，51（18） 199 基于视频的心率测量算法研究 刘 蕾 1，董洪伟 1，童 晶 2 LIU Lei1, DONG Hongwei1, TONG Jing2 1.江南大学 物联网工程学院，江苏 无锡 214122 2.河海大学 物联网工程学院，江苏 常州 213022 1.College of The Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China 2.College of The Internet of Things Engineering, Hohai University, Changzhou, Jiangsu 213022, China LIU Lei, DONG Hongwei, TONG Jing. Video-based heart rate measuring method. Computer Engineering and Ap- plications, 2015, 51（18）：199-203. Abstract：The content of oxyhemoglobin in human facial capillaries changes with the contraction and relaxation of the heart. With oxyhemoglobin absorption of light, skin color will also vary slightly, which cannot be observed by naked eyes. Using an effective video enhancement algorithm, a video-based heart rate measuring method is proposed. The face in the input video is located and feature points are tracked. Then the regions of the feature points are transformed into time-domain signals. The signals are enlarged and filtered to obtain the heart rate. In order to improve the accuracy and robustness of the detection algorithm, the green channel and multi-feature points are utilized. Compared with the traditional contact heart rate measurement equipment, the algorithm does not require contact with the body and has the advantages of a small degree of human bondage. Meanwhile, the heart rate measurement algorithm can be performed in real time and meets the applicable requirement with an average error of only 3.46 time/minute. Key words：video enhancement; heart rate measurement; face detection; feature points tracking; real-time 摘 要：随着心脏的收缩舒张，人脸部毛细血管中氧合血红蛋白的含量会发生变化。由于氧合血红蛋白对光线有一 定的吸收作用，皮肤颜色也会随之发生轻微变化，这种变化裸眼无法识别。利用一种有效的视频增强方法，提出了 一种基于视频的心率测量算法。该算法对输入视频进行人脸定位与特征点跟踪，将特征点区域转换为时域信号，对 信号进行放大滤波处理，得到心率值。为了提高算法的测量精度和鲁棒性，提出了利用绿色通道、多特征点同时处 理。同传统的接触式心率测量设备相比，该算法无需接触人体，有着对人体束缚度小、方便使用的优点。同时，该心 率测量算法可实时运行，平均误差仅为 3.46 次/min，达到实际应用需求。 关键词：视频增强；心率测量；人脸定位；特征点跟踪；实时 文献标志码：A 中图分类号：TP391.41 doi：10.3778/j.issn.1002-8331.1309-0041 1 引言 随着经济的发展，生活节奏的不断加快，导致人们 各方面压力不断增加，个人健康问题也随之而来。其中， 心血管疾病问题越来越突出，我国每年死于心血管疾病 人数达 300 万人，发病率持续上升。 心率是检测心血管疾病的一个重要参数。心率异 常是多种心血管疾病的高危因素，通过测量心率，可以 预知很多心血管疾病的发生 [1-3]。同时心率也是指导体 育锻炼的重要指标，运动科学研究表明，心率是生理变 化较为灵敏的参数之一[4]。在刑侦手段如测谎中心率也 有重要应用。 心率是指人体心脏每分钟跳动次数（beat per min- ute，beat/min）。正常成年人心率平均在 75 beat/min，波 动范围 60~150 beat/min。心率可因年龄、性别及其他生 基金项目：中央高校基本科研业务费专项资金资助（No.JUSRP211A35）；国家自然科学基金（No.61202284）。 作者简介：刘蕾（1987—），男，硕士研究生，研究方向为计算机图形学、计算机视觉、人工智能与模式识别；董洪伟（1967—），男，博士， 副教授，研究方向为计算机图形学、计算机视觉、高性能计算机、数控计算等；童晶（1981—），男，博士，讲师，研究方向 为计算机图形学、计算机视觉。 收稿日期：2013-09-04 修回日期：2013-10-22 文章编号：1002-8331（2015）18-0199-05 CNKI 网络优先出版：2014-02-13, http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1309-0041.html 

200 2015，51（18） Computer Engineering and Applications 计算机工程与应用 理和心理情况而不同。 传统的心率测量设备都需要直接接触人体才能运 行。一种是使用压阻传感器对脉搏信号进行检测，或者 通过心率感应器采集人体的心动电流波动幅度，如电子 血压计、心率脉搏仪等。这种类型的设备测量精确但成 本高，有些还需要专业的安装和使用步骤，不适合个人家 庭使用[5]。还有一种是心率手表，原理是动脉血以“脉冲” 方式流动时，会导致皮下红外反射率的些微差别。这种 设备需要主动发射红外光，并紧贴皮肤才能检测[6-7]。传 统的这些心率测量设备因为必须接触人体而不方便使用。 目前，基于视觉设备的非接触感知在诸如机器视 觉、视频监控 [8]、车辆或人脸的识别与跟踪、体感游戏等 许多领域的应用越来越广泛，因此，如何基于非接触式 的视觉相机对心率进行测量将为心率测量提供一种更 为有效、灵活的技术手段。 由于氧合血红蛋白对光线有一定的吸收，人脸部毛 细血管中氧合血红蛋白的含量会随着心脏的跳动而发 生变化 [9]。当光线照射在人脸时，表皮层毛细血管中氧 合血红蛋白含量变化而导致光线反射量改变，使得人脸 的颜色发生轻微变化。由于生理结构原因，人眼有视觉 暂留性，频率高但幅度小的变化人眼不能识别，但是视 频能够将这些变化较好地记录[10]。 对保存这些变化的视频进行颜色增强处理。首先 将保存这些变化的视频中的每一帧建立高斯金字塔，然 后在时域上使用同一个滤波器对其滤波，再对滤波后的 金字塔做放大处理，合并放大后的所有金字塔，得到一 段新的视频 [11]。这样人眼就可以清晰地分辨出人脸部 颜色的变化（图 1）。 160 150 值 度 灰 像 130图 140 160 150 值 度 灰 像 130图 140 （a）人脸颜色放大前后变化 放大前 80 帧数 放大后 100 120 140 0 20 40 60 0 20 40 60 80 帧数 100 120 140 （b）人脸中一点像素强度放大前后变化 图 1 视频增强前后颜色的变化对比 这种颜色变化频率与人体心率一致，可以通过计算 人脸的颜色变化的周期得到心率，由此提出了一种新的 心率测量算法。 与普通的心率测量算法不同，该算法完全非接触人 体，只需要普通的摄像头，有着成本低、对人体没有束缚 的优点。在诸如病人心率监控、家庭心率测量、体感游 戏以及刑侦测谎领域中有着广泛的应用前景。 2 算法步骤 首先对摄像头捕获的数据进行人脸定位和特征点 跟踪，再对每个特征点的周围区域进行数据处理，然后 设定一个时间窗口，对时间窗口内所有特征点区域进行 数据统计，得到特征点区域随时间变化的人脸颜色变化 信号，最后对信号进行放大滤波处理，求得特征点区域 信号的平均周期，取所有周期的中值，作为该时间内的 心率，算法流程图如图 2。 2.1 人脸定位与特征点跟踪 人脸检测算法一直是计算机视觉领域中一个非常 热门的话题，现如今对不同的使用环境已经有很多比较 成熟的算法 [12-14]，其中 Adaboost 人脸检测算法在检测正 面人脸方面，由于其识别率高、算法效率高而备受人们 的欢迎，但当图像较大时检测效率较低 [15-16]。基于金字 塔的 L-K（Lucas-Kanade）光流算法在跟踪物体方面有着 较好的效果，算法效率高，满足实时性要求，但容易受到 物体移动速度和光照的影响[17]。 传统的 Adaboost 人脸检测算法是一种学习算法，算 法主要分为三大部分： （1）使用 Harr-like 特征表示人脸，利用图像的快速 积分算法实现特征值的快速计算。 （2）使用 Adaboost 算法挑选出一些最能代表人脸的 矩形特征，作为弱分类器，按照加权的方式将弱分类器 构造为一个强分类器。 （3）将训练得到的若干个强分类器串联成一个级联 结构的层叠分类器，级联结构可以有效提高分类器的检 测速度。 在进行人脸定位时将肤色检测与 Adaboost 人脸检 测结合使用。肤色在 YCbCr 空间的 Cb、Cr 分量上具有很 强的内聚性，可以通过一定阈值来划分肤色区域与非肤 色区域，因此在 YCbCr彩色空间进行肤色分割。Adaboost 算法有时会误检测到非人脸区域，通过肤色检测能够很 好地去除错误区域。 先对第一帧 I 1 进行肤色检测，然后将肤色区域利用 Adaboost 人脸检测算法对其进行人脸检测，得到人脸矩 形区域 R 中利用 SURF 特征点提取算法提取 1 n 个特征点，以每个特征点为中心取一个窗口，对窗口内 ，最后对 n 特征点用 L-K 算法进行实时跟 数据取均值 T 踪。这样既提高了算法的效率又增加了算法的精确度。 ，在区域 R 1 1i 

刘 蕾，董洪伟，童 晶：基于视频的心率测量算法研究 2015，51（18） 201 视 频 分 解 Input Video I(1) I(2) I(3) 人 脸 定 位 与 特 征 点 跟 踪 R(1) R(2) R(3) 特 征 点 转 为 时 域 信 号 S(1n) S(2n) S(3n) 对 原 始 信 号 进 行 放 大 滤 波 G(1n) G(2n) G(3n) 波 峰 计 算 心 率 并 取 中 值 75 bpm HR(1) 76 bpm HR(2) 68 bpm HR(3) S(T - M + 1n) G(T - M + 1n) 80 bpm HR(T - M + 1) I(T ) R(T ) 注：首先对输入视频的第一帧 I 1 进行人脸定位，得到人脸区域 R 1 ，在 R 1 跟踪，对每个特征点周围区域取平均值 T 1n ，然后利用时间窗口转换为时域信号 S 内找到 n 个特征点，进行特征点 进行滤波得到信 ，对 S mn mn 号 G jn ，计算 G jn 的波峰数目取中值作为心率 HR 。 m 图 2 算法流程图 普通的 L-K 光流算法由于视频中物体的运动不连 续而导致跟踪效果差，而用图像金字塔能够很好地解决 此问题。 为了减轻由小而连贯的运动假设引起的问题，首先 在金字塔顶层计算光流，在上一次估计到的运动将作为 下一层的起始点，进行进一步估计，示意图如图 3。 运行一次L-K算法 映射 并上采样 运行一次L-K算法 第 t - 1 帧 第 t 帧 图 3 金字塔 Lucas-Kanade 光流 对金字塔 L-K 光流跟踪算法进行了测试，发现对于 运动速度慢以及运动幅度小的特征点跟踪效果很好。 特征点跟踪测试如图 4 所示。 注：对人脸左右旋转以及前后变化中的特征点 进行了跟踪测试。 图 4 特征点跟踪测试 2.2 获取颜色变化信号 心率与人脸的颜色变化周期是相对应的。要得到 M 帧内的心率，必须求得 M 帧内人脸的颜色变化平均周期。 M 帧内的颜色信号 S 为： S S ={S 1 S 2 } M 表示第 i 帧的颜色信号： S i （1） S i 其中 T ={T T i1 T i2 } ij （2） 为第 i 帧第 j 个特征点周围区域的颜色值。 ij 根据文献[11]的放大公式对颜色信号 S 做放大处理： Sˉ(xt) = f (x + (1 + α)δ(t)) （3） 其中 f (x) 用余弦函数表示，即：f (x) = cos(ωx) ，α 为放 大参数，δ(t) 为位移函数。 放大后的颜色信号 Sˉ 中不仅包含了人脸的颜色变 化信号，还包含了人脸在拍摄时的轻微晃动和环境光的 微小变化等其他信号。这些信号的频率不同，因此可以 通过在频域上滤波来提取人脸颜色变化信号。 先将 Sˉ 利用快速傅里叶变换 [18]从空间域转换到频 率域： +¥ F(w) =  然后去除 F(w) 中与人脸颜色变化频率不同的频率： Sˉ(t)e-iwtdt （4） -¥ Fˉ(w) = min 0w < H ì ïï F(w)H í ïï 0 w > H î 表示人体最大心率频率，H  w  H max max min 其中 H 心率频率。 max （5） 表示人体最小 min 最后对 Fˉ(w) 进行傅里叶逆变换，得到只包含人脸 颜色变化的信号 G ： 2π  G = 1 +¥ -¥ Fˉ(w)eiwtdw （6） 信号放大滤波结果如图 5 所示。 2.3 获得心率 通 过 式（3）~（6）可 以 得 到 放 大 滤 波 后 的 信 号 G 。 理想状态（无噪声）下，信号 G 中的每个波峰对应一次心 跳，因此只需求得 G 的波峰数 h ，便得到了 M 时间段内 的心跳数。 

202 2015，51（18） Computer Engineering and Applications 计算机工程与应用 原始信号 表 1 各个通道波峰数 无噪声平均误差 有噪声平均误差 格式 （通道） （波峰数） （波峰数） R G B RGB Y Cr Cb YCrCb Y I Q YIQ 2.15 0.20 3.14 2.33 2.15 4.13 3.44 3.34 2.78 2.45 4.21 3.22 2.57 1.06 4.25 3.24 2.78 3.25 3.88 3.82 3.25 3.54 4.65 4.32 0.5 0 －0.5 －1.0 I G 0.2 0 －0.2 －0.4 e s l u p 0 1 2 3 时间 t/s 4 5 6 0 1 2 3 时间 t/s 4 5 6 0 1 2 3 时间 t/s 4 5 6 注：pulse 是心电图，G 通道波峰与心跳频率基本 吻合，而 I 通道则有很多错误波峰。 图 6 G 通道与 I 通道对比实验图 差。为了抑制这种偏差，当检测到人头部运动过大，或 者人头有效测量区域较少的时候，利用前后帧的心率， 进行插值，估计当前的心率，并重新进行人脸检测和特 征点提取，然后初始化 L-K 算法。 3.3 测试结果 选择在一台主频为 1.6 GHz，内存为 4 GB 的电脑上 运行程序，摄像头使用 logitech Pro 9000 快看合金版摄 像头，然后利用 kyto 康都 HRM-2901 USB 心率计做对 比实验，如图 7 所示。 心电图 算法程序 心率计 摄像头 图 7 实验配置 度 强 0.455 0.450 0.445 0 度 强 0.2 0 －0.2 －0.4 0 50 100 150 时间 t/s 放大滤波后信号 50 100 150 时间 t/s 图 5 信号放大滤波前后对比 G 中包含了 n 个特征点的时域信号，每个特征点波 ，心率为每分钟的心跳次数，因此，每个特征 峰数为 h 点得到的心率 HR ij ： ij HR ij = h ij /M × 60 （7） 其中 i 表示第 i 帧，j 为第 j 个特征向量。 实际测试中，噪声会对波峰数产生较大影响，为此， 采用了两种方法组合来抑制此类噪声： HR = median(HR （1）取所有特征点心率的中值作为当前的心率，即 （8） HR （2）设置一个时间段 tm ，将 tm 内的所有心率求均值： （9） HR 1tm 作为时间段 tm 的心率。经测试，这样可 将 HR = 1/tm × (HR 1 +  + HR HR + HR 2 i1 i2 ) in ) tm t 1tm 以有效抑制噪声干扰。 3 实验分析及结果 3.1 颜色格式选取 不同的颜色通道对生理学信息和噪声的反应不同， 文献[19]认为绿色通道相比其他颜色格式和通道对生 理学信息有更好的反应，但噪声对颜色通道的影响没有 进行研究。 为此，进行了各个颜色通道对心率信息的反应的实 验测试，同时对噪声抵抗性也进行了测试。 选取了 3 种颜色格式（RGB、YCrCb、YIQ），选用 10 组视频，视频平均长度为 226 帧，帧速率 25 帧/s，并用心 率计记录心电图。在对人脸区域 R 内颜色处理时，分 别单独使用各个颜色通道做对比实验。然后对视频添 加高斯噪声，进行噪声对比实验，测试结果表 1 所示。 t 部分实验图像如图 6 所示。 由表 1 可以得出，绿色通道 (G) 确实能很好地反应 心率变化，并对噪声的抵抗性也比其他颜色通道好，因 此在统计数据区域数据时只选用绿色通道，这可以提高 算法的抗噪性能。 3.2 算法精确度改进 实验过程中，由于人头部的突然晃动，或出现大范 围移动时，发现 L-K 算法特征点跟踪结果会出现很大偏 

刘 蕾，董洪伟，童 晶：基于视频的心率测量算法研究 2015，51（18） 203 将测试分为 10 组，每组测试人数 1 人，测试时长为 10 min，并且每组测试人员不同。用 SURF 算法提取 5 个 特征点，时间窗口 tm 设为 1 000 ms，M 设为 64 帧，放 大参数 α 取值为 10，H 设为 60 beat/min。 设为 150 beat/min，H max min 测试中环境光要求稳定，没有明显的亮暗变化。分 别统计每组的最大误差和平均误差。结果见表 2。 表 2 测试误差 beat·min－1 最大误差 平均误差 组别 3.24 3.56 3.05 3.45 3.87 3.67 3.58 2.95 3.95 3.26 心率计数据 算法得到的数据 1 2 3 4 5 6 7 8 9 10 8 9 7 8 9 10 8 6 11 8 部分结果如图 8。 120 100 80 1） － n i m t· a e b /（ 率 心 60 0 5 10 15 25 20 时间 t/s 30 35 40 图 8 测试结果对比 这 10 组平均最大误差为 8.40 beat/min，平均误差为 3.46 beat/min。根据中华人民共和国医药行业标准（误 差  5 beat/min），可以看出误差在个人家庭使用环境下 能够被接受。 4 结论 测试结果表明利用视频的心率测量是一种有效的 心率测量算法。这种被动的测量方式，是完全非接触式 的，具有简单快捷，操作方便的特点，在光照环境稳定的 条件下，能够得到较准确的结果。 该算法在病人信息监控、体感游戏的运动量评估等 领域可以得到很好的应用。在刑侦测谎中，由于设备不 需要接触人体，具有隐蔽性高的优点，也有着很好的应 用前景。同时，该算法可以通过 GPU 并行编程而提高 算法效率，这是以后努力的方向。 Heart Journal，1981，113. [2] 金艳，曹克将.心率与人类心血管疾病的相关性[J].中华心 律失常学杂志，2004，8（5）：310-313. [3] Baumert M，Javorka M，Seeck A，et al.Multiscale entropy and detrended fluctuation analysis of QT interval and heart rate variability during normal pregnancy[J].Com- puters in Biology and Medicine，2012，42（3）：347-352. [4] Fjortoft I，Kristoffersen B，Sageie J，et al.Children in school- yards：tracking movement patterns and physical activity in schoolyards using global positioning system and heart rate monitoring[J].Landscape and Urban Planning，2009， 93（3/4）：210-217. [5] Lindberg L G，Lennmarken C，Vegfors M.Pulse oximetry- technical developments[J]. clinical Acta Anaesthesiologica Scandinavica，1995，39（3）. implications and recent [6] 郝乐，李哲英，蒋昊，等.心率信号的采集与处理[J].微计算 机信息，2007，23（32）：152-154. [7] Allen J.Photoplethysmography and its application in clin- ical physiological measurement[J].Physiological Measure- ment，2007，28（3）. [8] 李鹏飞，陈朝武，李晓峰，等.智能视频算法评估综述[J].计 算机辅助设计与图形学学报，2010，22（2）：352-360. [9] Barun V，Ivanov A P.Oxyhemoglobin photodisscociation efficiency in biological tissue exposed to laser radiation[J]. Journal of Applied Spectroscopy，2011，78（4）：572-578. [10] Liu C，Torralba A，Freeman W T，et al.Motion magnifi- cation[J].ACM Transactions on Graphics，2005，24（3）： 519-526. fi [11] Wu Haoyu，Rubinstein M.Eulerian video magni cation for revealing subtle changes in the world[J].ACM Trans- actions on Graphics，2012，31（4）. [12] 李武军，王崇骏，张炜，等.人脸识别研究综述[J].模式识别 与人工智能，2006，19（1）：58-66. [13] 严严，章毓晋.基于视频的人脸识别研究进展[J].计算机学 报，2009，32（5）：878-886. [14] Mohemmed A，Johnston M，Zhang M，et al.Particle swarm for object detection[J]. optimisation based AdaBoost Soft Computing，2011，15（9）：1793-1805. [15] Viola P，Jones J.Rapid object detection using a boosted cascade of simple features[C]//IEEE CVPR，2001. [16] Lienhart R，Maydt J.An extended set of haar-like features for rapid object detection[C]//IEEE ICIP，2002. [17] Bouguet J Y.Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[EB/OL]. [2013-07-10].http：//robots.stanford.edu/cs223b04/algo_ tracking.pdf. [18] 姚天任，孙洪.现代数字信号处理[M].武汉：华中理工大学 出版社，1999：209-212. 参考文献： [1] Kannel W B，kannel C，Paffenberger R S.Heart rate and cardiovascular mortality：the framingham study[J].American [19] Verkruysse W，Svaasand L O，Nelson J S.Remote ple- light[J].Optics thysmographic imaging using ambient Express，2008，22（12）.