中国科技论文在线 http://www.paper.edu.cn Facereader 软件对中国人脸表情识别有效 性研究 李宏汀，杨超* 5 10 15 20 25 30 （浙江理工大学心理学系,杭州 310018） 摘要：目的：Facereader 是由荷兰 Noldus 公司开发，一种能自动分析人脸表情的软件系统。 该系统对于西方人脸表情的识别有效性在国外已经进行了验证，可达 89%。本研究的主要 目的是评估 Facerader 在判断中国人脸表情图片时的有效性。方法：对人为表情图片，先进 行标准化筛选（由评估者对图片进行两轮评估），再比较了 Facereader 与评估者在各表情类 型的识别率和识别强度；对自发表情图片，比较了 Facereader 与标准图片在各表情类型的 识别率和识别强度。结果：在识别率方面，Facereader 对人为表情图片识别率达 71%，对自 发 表 情 图 片 识 别 率 为 42.5% ， 不 同 成 分 的 表 情 识 别 率 存 在 差 异 ； 在 识 别 强 度 方 面 ， Facereader 与评估者（或标准强度）对各成分表情表现出一致的趋势。结论：Facereader 对 中国人脸图片的识别有效性尚可，但还有待进一步提高。 关键词：表情识别；Facereader；有效性 中图分类号：TB18;B849 Facereader Validity Study on Chinese Facial Expression LI Hongting, YANG Chao (Psychology Department,Zhejiang Sci-tech University,Hangzhou 310018) Abstract: Objective：Facereader(Noldus Information Technology, Wageningen, The Netherlands) is a software can analyze facial expression automatically. The validity of Facereader on Westerns have proven to be 89%. The objective of this study is to evaluate the validity of Facereader on pictures from Chinese facial expression database. Methods: For posed facial expression pictures, we standardized the database(evaluate twice successively by estimators), and then compared recognition rate and intensity from the Facereader and estimators; for spontaneous facial expression pictures, we compared recognition rate and intensity from the Facereader and standardized data. Result: Generally, Facereader can measure emotion with recognition rate of 71% and 42.5% to posed and spontaneous facial expression respectively, and there are some differences among emotions; the measurement of Facereader and estimators(or standardized intensity) showed consistency. Conclusion: The validity of Facereader is good but still need more accuracy. Key words: facial expression recognition; Facereader; validity 35 0 引言 随着社会的发展进步，表情识别在心理学、计算机技术、市场营销等诸多领域中正变得 日益重要。Ekman[1]提出面部动作编码系统（Facial Action Coding System，FACS）理论，认 为基本情绪有对应的人脸模型，将人脸表情分为”高兴”、”惊奇”、害怕、”悲伤”、” 40 生气”和”厌恶”6 种基本表情。 目前用于识别和评价表情的方法中，VicarVision 和 Noldus Information Technology 公司 推出的 Facereader 5 表情分析系统便是其中具有代表性的一种。该系统通过摄像设备来识别 表情，可以对表情进行全自动分析，基于 FACS 理论，它能够识别 6 种基本表情（“高兴”、 “惊奇”、“生气”、“悲伤”、“害怕”和“厌恶”）和中性状态，整体分析有效性可达 作者简介：李宏汀(1976- ),男,教授,研究方向:工程心理学. E-mail: lihongting@zstu.edu.cn - 1 - 

中国科技论文在线 http://www.paper.edu.cn 45 89%[2]，因此 Facereader5 目前已经被广泛地应用于相关研究中。 50 55 不同的研究者在评价 Facereader 的识别有效性方面进行了一系列研究。比如，Terzis & Moridis（2010）的研究中发现在自我评价测验中，Facereader 与评估者的一致性可达 87%[3]。 比如 Bijlstra & Dotsch（2011）的研究中用 Facereader 识别标准化的表情图片库 RaFD（Radboud Faces Database），了解其对表情分类的有效性[4]。Facereader 针对不同人脸，有 General、 EastAsian、Children、Older 四种识别模式，进行分析之前要先选好最合适的模式。但目前 的相关研究对象大多为西方人，还较少有研究者基于中国人的 Facereader 表情识别有效性的 研究。同时，很多研究表明人类在人脸识别方面有种族偏向性[5, 6]，人们更擅长识别本种族 的面孔。所以进行中国人的 Facereader 表情识别有效性研究是很有必要的。 目前，根据 Ekman 的 FACS 理论建立的中国人脸表情库主要有中国人情感面孔表情图 片系统（Chinese Affective Face Picture System，CAFPS）[7]和中国科大-自发的可见与红外表 情数据库（University of Science and Technology of China-Natural Visible and Infrared Facial Expression Database，USTC-NVIE）[8]。而其中 USTC-NVIE 数据库分为自发表情库与人为 表情库，其中自发表情是采用视频诱发的方法采集的；而人为表情库则是采用参与者人为模 仿六种表情的方法来采集。目前，USTC-NVIE 数据库因其图片表情自然、不受光照影响而 60 被研究者广泛应用。 本研究基于 USTC-NVIE 数据库，采用 Bijlstra&Dotsch（2011）[4]的研究方法考察了 Facereader 软件对于中国人脸表情识别的有效性，为该表情分析系统应用于国内多个研究领 域提供了数据参考。本研究共分为两个实验，其中实验 1 针对自发表情、实验 2 针对诱发表 情。 65 1 实验 1.1 实验 1 Facereader 软件对人为表情图片的识别绩效实验 实验目的：了解 Facereader 软件对人为表情图片的识别绩效 实验材料：考虑到 USTC-NVIE 的人为表情子库图片数量有 1464 张，且图片的强度也 存在较大差异，因此首先通过标准化评估选出人能容易辨别出来的表情图片。 70 具体评估方法参考 Wang & Markman（1999）[9]的研究，流程如下： 首先随机选取杭州下沙地区在校大学生 20 名（男女各半，年龄 21-25 岁，均没有色弱、 色盲等视力问题）。然后用 E-Prime2.2 软件在 17 英寸 CRT 显示器上依次呈现单张表情图片， 将所有 1464 张被评估图片分为 5 部分，每张图片都随机被 4 位评估者先后评估。实验被试 在数字键盘上（1-7 按键）根据自己对图片情绪类型的第一印象进行判断并作按键反应。每 75 评估 100 张图片评估者将休息 2 分钟。以 4 位评估者表情分类一致为标准，20 名评估者共 选出表情图片 456 张，其中：“悲伤”30 张，“高兴”183 张，“生气”24 张，“惊奇” 120 张，“害怕”28 张，“厌恶”24 张，“中性”47 张。 再随机选取 30 名大学生被试，将以上选出的图片随机依次呈现，要求评估者判断情绪 80 类型，并对情绪强度进行 7 点量表评分（1 为最弱，7 为最强）。以 30 位评估者表情分类 70%（根据王妍和罗跃嘉在 2005 年的研究[7]，以 70%作为一致性标准）一致为标准，共选 出表情图片 311 张，总体一致率为 68%，各表情成分图片数量与一致率情况见表 2.1。其中， 被试对“高兴”、“中性”表情图片的判断一致率较高，而“悲伤”、“惊奇”、”厌恶” 的一致率一般，害怕、”生气”的一致率较低（见表 1）。 - 2 - 

中国科技论文在线 http://www.paper.edu.cn 85 Tab. 1 Standardization result of posed facial expression pictures 表 1 人为表情图片标准化评价结果 评估者(张) 一致率(%) 悲伤 18 0.60 高兴 164 0.90 害怕 5 0.21 惊奇 63 0.53 生气 7 0.25 厌恶 15 0.63 中性 39 0.83 总共 311 0.68 实验过程：将标准化后的 311 张图片导入 Facereader 表情分析软件，并使用 EastAsian 模式对这些图片进行表情类型和表情强度分析。 1.2 实验 2 Facereader 软件对自发表情图片的识别绩效实验 90 实验目的：了解 Facereader 软件对自发表情图片的识别绩效 实验材料：USTC-NVIE 自发表情图片子库，共 586 张图片。由于该子库已经过标准化，从 该数据库 6 种自发表情（“高兴”、“惊奇”、“生气”、“悲伤”、“害怕”和“厌恶”） 中随机每种选择 20 张图片，共 120 张。 实验过程：将随机选出的 120 张图片导入 Facereader 表情分析软件，并使用 EastAsian 模式 95 对这些图片进行表情类型和强度分析。 2 结果 2.1 Facereader 软件对人为表情图片的识别绩效实验结果 实验结果发现，Facereader 整体上对人为表情图片识别的正确率达到 71%，各表情成分正确 率情况见表 2。实验结果表明 Facereader 可以对约 71%的人为表情图片进行正确分类。 100 表 2 人为表情图片 Facereader 分析结果 Tab. 2 Facereader analysis result of posed facial expression pictures 悲伤 高兴 害怕 惊奇 生气 厌恶 中性 评估者(张) Facereader(张) 18 9 正确率(%) 0.50 164 136 0.83 5 1 63 30 7 4 15 8 39 33 0.20 0.48 0.57 0.53 0.85 总共 311 221 0.71 对实验数据中表情分类结果正确的记 1，错误的记 0，然后进行单因素方差分析，分析 结果表明不同表情成分的识别正确率是有显著差异的（F（6,310）=8.135，p<.01）。进一步 105 LSD 检验发现，在正确率方面，“高兴”分别与“悲伤”（p<.01）、“害怕（p<.01）”、 “惊奇”（p<.01）、“生气”（p<.05）、“厌恶”（p<.01）五种表情产生显著差异，中性 表情则分别与”悲伤”（p<.05）、“害怕”（p<.01）、“惊奇”（p<.01）、“厌恶”（p<.05） 有显著差异，其余表情成分之间无显著差异。 将评估者对 7 种表情成分的强度判断结果与 Facereader 的相应判断强度进行皮尔逊相关 110 分析，分析结果表明，对各表情成分，Facereader 对表情强度的判断结果与评估者对表情强 度的判断结果两者之间具有同向的共变趋势（见表 3） 表 3 人为表情图片相关分析结果 Tab. 2 Correlation analysis result of posed facial expression pictures 悲伤 高兴 相关系数 .663** .336** 害怕 .289 惊奇 .399** 生气 .660 厌恶 中性 .753** .406* 注：*在.05 水平上有显著差异，**在.01 水平上有显著差异。 - 3 - 

中国科技论文在线 http://www.paper.edu.cn 115 2.2 Facereader 软件对自发表情图片的识别绩效实验结果 从整体来看，Facereader 对自发表情图片识别的正确率为 42.5%，各表情成分正确率见 表 4。 表 4 自发表情图片 Facereader 分析结果 Tab. 2 Facereader analysis result of spontaneous facial expression pictures Facereader(张) 正确率(%) 悲伤 8 0.4 高兴 19 0.95 害怕 1 0.05 惊奇 5 0.25 生气 11 0.55 厌恶 7 总共 51 0.35 0.425 120 研究结果表明 Facereader 可以对 42.5%的自发表情图片进行正确分类。将实验中 Facereader 正确的表情分类记 1，错误的表情分类记 0，对实验数据进行单因素方差分析， 分析结果表明 Facereader 对不同表情成分的识别正确率是有差别的（F（5,114）=9.171，p<.01）。 进一步的 LSD 检验发现，在正确率方面，“高兴”分别与“悲伤”（p<.01）、“生气”（p<.05）、 125 “惊奇”（p<.05）、“害怕”（p<.01）、“厌恶”（p<.01）有显著差异，“害怕”分别与 “悲伤”（p<.05）、“生气”（p<.01）和“厌恶”（p<.05）有显著差异，“惊奇”与“生 气”（p<.05）有显著差异（见表 3.2.2）。 将 6 种表情成分的标准强度与 Facereader 的相应判断强度进行皮尔逊相关分析，分析结 果表明，对各表情成分，Facereader 对表情强度的判断结果与标准强度两者之间具有同向的 130 共变趋势（见表 5） 表 5 自发表情图片 Facereader 分析结果 Tab. 5 Correlation analysis result of spontaneous facial expression pictures 悲伤 高兴 相关系数 .590** .887** 害怕 .258 惊奇 .499* 生气 .282 厌恶 .625 注：*在.05 水平上有显著差异，**在.01 水平上有显著差异。 3 讨论 135 与国外研究相比，Bijlstra & Dotsch（2011）研究中采用的 Radboud 表情库是人为表情 图片，而本研究所采用的 USTC-NVIE 表情库包含了人为表情和引发表情两种，更加自然真 实。与 Terzis & Moridis（2010）研究发现的 Facereader 与评估者一致性达 87%，以及 Bijlstra & Dotsch（2011）的研究发现的 Facereader 与标准化表情库一致性达 97.4%相比，Facereader 对中国人脸表情图片识别率尚可，达 71%（人为表情图片）和 42.5%（自发表情图片）。 140 就各表情成分而言，在表情识别正确率方面，Facereader 对“高兴”的识别正确率最高。 Facereader 对表情图片中“害怕”的识别正确率在所有表情中较低，可能是由于标准化后这 种表情图片数量较少，也可能是表演者或评分者混淆了“害怕”与“惊奇”，这与王磊等[10] 的研究发现一致，另外有研究表明“害怕”的识别可能依赖于身体姿势线索[11]。对“悲伤”、 “生气”、“厌恶”这几种负性表情，Facereader 在识别时容易混淆。在表情强度识别方面， 145 Facereader 对各表情成分的强度识别均可与评估者判断的强度（或标准强度）呈正相关，其 中，“悲伤”、“高兴”、“惊奇”、“厌恶”和“中性”表情的皮尔逊相关系数达到统计 显著，“害怕”和“生气”尚未达到统计显著。 4 结论 总体说来，Facereader 表情分析系统对中国人脸表情库图片识别有效性尚可，即对大部 - 4 - 

中国科技论文在线 http://www.paper.edu.cn 150 分的表情成分都表现出较好的正确识别率和强度判断趋势，但其有效性程度还有待进一步提 高。人是最善于判断表情的，但过程费时费力，若使用 Facereader 表情分析软件对表情进行 自动分析，可以省去很多时间和人力。提高 Facereader 对中国面孔识别的效度，可以为本土 化的情绪研究提供便捷的工具。 155 [参考文献] (References) [1] Ekman P, Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement[J]. Consulting Psychologists Press, 1978. [2] Den Uyl M J, Van Kuilenburg, H. The FaceReader: Online Facial Expression Recognition[A]. Proceedings of Measuring Behavior 2005[C], 2008, August 30 - September 2: 589-590. [3] Terzis V, Moridis C N, Economides A A. Measuring Instant Emotions During a Self-assessment Test: the Use of FaceReader[A]. Proceedings of Measuring Behavior 2010[C], 2010: 192-195. [4] Bijlstra, G., & Dotsch, R. FaceReader 4 Emotion Classification Performance on Images from the Radboud Faces Database[OL]. [2011]http://www.gijsbijlstra.nl/ and http://ron.dotsch.org/. [5] Matsumoto David E P. American-Japanese Cultural Difierences in Intensity Ratings of Facial Expressions of Emotion[J]. Motivation and Emotion, 1989, (13): 143-157. [6] David M. American-Japanese Cultural Differenees in the Recognition of Universal Facial Expression[J]. Journal of Cross-Cultural Psycholog, 1992, (23): 72-84. [7] 王妍,罗跃嘉. 大学生孔表情材料的标准化及其评定[J]. 中国临床心理学, 2005, 13(4): 396-398. [8] Shangfei Wang Z L, et.al. A Natural Visible and Infrared Facial Expression Database for Expression Recognition and Emotion Inference[J]. IEEE Transactions on Multimedia, 2010, 12(7): 682-691. [9] Wang L, Markham R. The Development of a Series of Photographs of Chinese Facial Expressions of Emotion[J]. Journal of Cross-Cultural Psychology, 1999, 30(1): 397-410. [10] 王磊,孟昭兰. 成人面部表情及其判断的初步探讨[J]. 心理学报, 1986, 19(4): 349-355. [11] 乔建中. 不同类型表情和不同强度表情在表情判别中的作用[J]. 心理科学, 1989, 22(2): 7-12. 160 165 170 175 - 5 -