r e n lain 人 脸 z i t a i g u j i y a n j i u xiàn zhuàng 姿 态 估 计 研究 现 状 一．1.2013 年的一篇硕士论文：提出了一种基于人脸统计模型的人脸姿态估算算法,在 285 张多姿态人脸图像库上获得了平均姿态估算误差不超过不超过 7 度的结果。 2.从实验数据中可得出以下结论: (1)基于三边距离的人脸姿态估算算法对人脸左右旋转估算的平均误差为 4.2°,上下旋转 估算的平均误差为 7.0°,王的算法对左右旋转估算的平均误差为 7.5°,上下旋转估算 的平均误差为 7.1°。 (2)(a)当旋转角度接近 0 时,上下旋转角度的估算误差最小;(b)向下旋转角度估算误差比向上 旋转角度估算误差要小;(C)随着左右旋转角的变大,上下旋转角度的估算误差也变大。 (3)(a)当人脸上下旋转角度小于 15°时,算法对左右旋转角度的估算误差比较小,而且较稳 定;(b)当向下旋转角度超过 15°时,左右旋转角度估算误差的波动比较大;(C)当人脸向上旋转 时,旋转角度的估算误差与旋转角度几乎成正比。 二．基于三点透视的人脸姿态估计算法（2014.7） 1.提出了基于特征点透视变换和人脸统计模型的人脸姿态估计算法.首先建立以左 右眼睛点和鼻尖为几何特征点的人脸统计模型,然后推导出这三个特征点在图像平面坐 标系和三维世界坐标系间的对应关系,进而得到从图像平面上的三个特征点估算人脸在 三维空间姿态的理论方程,最后运用迭代方法给出了一个完整的快速人脸姿态估计算法. 实验结果表明,本算法精度高,速度快,具有较好的鲁棒性. 2.人脸姿态图像库是由 42 个人的三维图像,以及由该 42 人合成的平均三维图像按以 下方式生成:在左右旋转角度范围为-45°~+45°、上下旋转角度范围为—35°~ +35°的 范围,以 5°为旋转步进进行人脸姿变化并生成图像.每人有 285 张各种姿态的图像,整个 图像库共有 12 255 张图像，图像大小为 640 x 640 像素. 3.本文提出一种基于三个特征点的人脸姿态估计算法,比既有的几何方法所需特征 点数少两个,达到理论上的最小特征点数.本算法的左右旋转平均误差大约为 6.9°,上下 旋转误差大约为 3.1°,单张图像处理速度约为 5 ms,满足实时性的要求. 

二：基于稀疏表示的人脸姿态估计研究 (2015.7.2) 利用ＸＪ-TU 与ＰＩＥ人脸库验证本文提出的人脸姿态估计算法的有效性。 1.ＸＪＴＵ人脸库:本文从ＸＪＴＵ上挑选相同光照条件下 130 人的姿态图像进行实 验,其中 100 人用作训练,剩下 30 人用作测试,每人包括 9 幅不同姿态图像(从 19 张视点图 像中间隔选取),图 4 为实验人脸数据库图例。 2.ＰＩＥ人脸数据库:该数据库在沿ｙ轴上将人脸按左右旋转分为 9 个不姿态类别, 变化范围为-90 到 90°,如图 6 所示，由于该数据库每种姿态都有光照变化,因此,本文使 用该人脸姿态库验证算法对光照的鲁棒性。 3. 为了比较各方法对人脸图像光照、噪声和遮挡的鲁棒性,本文首先对所有训练图像进行手 动对齐归一化处理;然后在有光照、噪声和遮挡的待测图像上进行人脸姿态判别,分别统计不 同姿态的识别准确率,得到的实验结果见图 7-11。实验时,每类姿态进行 10 次实验,所有实验 均重复 10 次,统计平均识别率。 

从图 7 可以看出:图像无光照、噪声和遮挡变化时,3 种方法都能得到很好的效果。但 是当图像有光照、噪声和遮挡的情况后,尤其是图像有遮挡以后,基于ＰＣＡ和ＬＤＡ的姿态 类别方法性能下降很快(见图 10)。从图 8,9,10 和 11 可以看出:ＳＲＣ的方法受人脸图像噪声、 遮挡和光照的影响较小,能够达到比较好的姿态判别结果。因此,本文提出的ＳＲＣ人脸姿态 估计方法对人脸光照、噪声和遮挡变化具有鲁棒性。为了进一步说明本文算法的性能,表 1 给出了几种算法的平均运行时间比较结果(配置为:ＨＰＣｏｒｅｉ3 Ｍ3302.13ＧＨｚ内存 2 Ｇｂｙｔｅ,ＭＡＴＬＡＢ7.0)。从表 1 中可以看出:虽然本文算法的运行时间多于线性子空 间方法,但并不影响其在应用中的实时性。但是,本文算法对人脸遮挡和光照变化的鲁棒性是 线性子空间方法所不能比拟的。 三．基于 AAM 和 POSIT 的人脸姿态估计(2015.5.15) 本文首先对图像进行小波变换获得低频系数，然后对获得的低频系数进行处理得到边缘 强度，将得到的边缘强度作为图像的纹理信息对 AAM 模型进行训练。通过改进的 AAM 模 型和 POSIT 算法对人脸姿态进行估计。 本实验中分别采用 IMM 人脸库和 CMU_PIE 人脸数据库对结果进行测试。其中，IMM 人 脸库含有 40 个人，每人由 6 种不同姿态和光照下的图像组成；CMU_PIE 人脸库有 68 个 人，每人由不同姿态、表情和光照下的图像组成。在本实验中，分别从两个图像数据库中随 机选择部分图像对 AAM 模型进行训练，再将剩余的图像用来测试训练获得的模型。 1.首先验证原 AAM 算法和本文的改进算法在前述两个人脸数据库上进行 AAM 拟合实验 对比。为了检验改进后的算法对于特征点定位准确性的提升效果，计算 AAM 拟合后特征点 的坐标与手工标定的特征点的坐标之间的平均偏移值 E 作为评价标准：表 1 和表 2 中 给出不同 AAM 方法在 IMM 人脸库和 CMU_PIE 人脸库上拟合结果的对比，表中的结果是进 行 10 次迭代运算后 E 的值。从表 1 和表 2 看出，本文提出的方法能够有效降低平均误差 E， 在两种数据库上都降低了 7% 以上的误差。从实验结果可以得出，本文提出的方法能够有效 降低匹配误差。 

2. 接下来对 CMU_PIE 人脸数据库中的图像进行人脸姿态测试，并用（α，β，γ）来表示 绕 X，Y，Z 轴旋转的角度，如图 4 所示。因为大多数据库中人脸旋转的α和γ 值不够明确 而β 值比较明确，所以本文通过测试β 来检测算法对人脸姿态估计的改进情况。本文给出 原算法和改进后的算法在β=0 °，±22.5°、±45°下的绝对平均误差，如表 3 所示。从 表 3 中可以看出，改进的 AAM 算法提高了人脸姿态估计的准确性。 四．虚拟眼镜试戴在人脸姿态估计下的实现（2015.8.15） 本文在基于形状的几何分析的方法基础上，提出了一种新的基于人脸对称性先验的姿态 估计方法。人脸的形状近似于椭圆形，当人脸只绕着垂直方向左右旋转时，可以近似看成一 个刚体，椭圆的一致性保持良好。因此，采用人眼对称性先验的方法进行人脸姿态估计，建 立如图 3 所示的椭圆模型。在图 3（a）中，点 B,C 分别表示左眼，右眼所在矩形中的中心 点，经过 BC 的直线交椭圆于 A,D 两点，做线段 BC 的垂直平分线，交椭圆于 E,F 两点,直线 EF 与直线 AD 相交于点 O。 d 1 d 2 BO (3) CO (4) 人脸椭圆 (a)人脸模型 (b)旋转人脸模型 当人脸绕着 EF 轴向左转动时， 1d 逐渐增大， 2d 逐渐减小；同理，当人脸绕着 EF 轴向 右转动时， 1d 逐渐减少， 2d 逐渐增大。令表示人脸绕着 EF 直线的转动角度，如果用大量 样本建立 1d ， 2d 与姿态参数之间的对应关系，即可根据未知图像中人脸的位置参数估计 出人脸的姿态。由于考虑到眼镜试戴的实际效果，所以转动一定的角度即可，过大的角度会 导致试戴效果失真[9]。假设正面的人脸对应的角度为零度，向左偏移表示负方向，右偏表示 为正方向。下图为人脸在不同角度下的投影。图 4 不同姿态的人眼定位效果图 (a) -60° (b) -30 (c) 0° (d) 30° (e) 60° 

图 5 实际人脸结构示意图 图 6 距离差与角度的关系图 通过分析不同的人脸图像，发现对于所有正面的人脸图像，两只眼睛的中心点与脸的中 位线之间的距离相等。如图 5 所示。 dist ，定义两眼到中位线距离差 0 ，理想情况下满足dist = 0 ；当脸往左边偏转时 0 ，则 dist 直线 L 为脸的中位线，A 为左眼中心点，B 为右眼中心点。设点 A 到直线 L 的距离为 1dist , B 到直线 L 的距离为 2 。对于正面人脸图像 0 ； 0 一般有dist 往右偏转时 0 ，则有 dist 。函数 ( ) f x 一般为非线性函数，为了模拟出该函数，采集到不同角度的人脸样本，其角度和距离差的关 系曲线如图 6 所示：从上图 6 可以看出，人脸偏移角度与距离差 dist 呈现出很强的线性关 系，通过最小二乘拟合得到如下关系函数: 。依据这种线性关系， 准确定位出人眼的位置则快速高效的得到人脸姿态的估计，从而有助于完成最终的眼镜试戴 任务。 0 。因此，人脸偏移角度可表示为 ( f dist ) dist ) / 3.577 (1.279   dist  dist 1 dist  2 