面部表情识别实验
孔美静(222010321210053)
(西南大学计算机与信息科学学院 2010 级 重庆 400715)
摘要:
面部表情是一种刻画情绪、认知、主体状态以及他们在社会交往中的作
用和角色的方法。在面对面的交流中,面部表情和其他的手势能够传达非语
言的交流信息,这些信息能够作为语音的辅助帮助听者推断出说话人的意
图。由于面部表情携带信息的原因,因此它对于自然和谐的人机接口目标的
实现,具有相当重要的意义。本文将全班分成 7 为两组进行表情认知的实验,
实验目的在于通过实验了解面部表情认知的基本特征,结果分别统计两组被
试对各种面部表情正确判断的百分数,并对两组判断的平均正确率进行显著
性检验,表明差异不显著。对表情的认知符合“面部肌肉运动模式作为情绪
标志的根据”这一论断,也符合面部动作编码系统。
关键词: 情绪 表情认知 线索
1 前言
传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系
中一个不可缺少的研究环节。情绪(emotion)是体验,又是反应;是冲动,又
是行为;它是有机体的一种复合状态。情绪的表现有和缓的和激动的,细微的和
强烈的,轻松的和紧张的等诸多形式,广泛地同其他心理过程相联系。
自古以来,科学家们十分注意探讨情绪之奥妙,但与情绪的重要性不相适应的是,
长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成
这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方
1
法学上的困难。
我国心理学家孟昭兰(1987)将理论认为面部表情是传递具体信息的外显行
为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体
验,也包括情绪表现,而表情既是情绪的外部表现,也是情绪体验的发生机制;
既是最敏锐的情绪发生器,也是最有效的情绪显示器。这就从机制上说明了以面
部肌肉运动模式作为情绪标志的根据。
面部表情(facial expression_r)的发生是有其客观的物质基础的:表情
按面部不同部位的肌肉运动而模式化,面部反应模式携带着心理学的意义,那就
是或快乐、或悲伤等具体情绪。但是,对表情进行测量的原则在于:所要测量的
是面孔各部位的肌肉运动本身,而不是面部所给予观察者的情绪信息。因此,测
量的最终目的是揭示其显露的情绪信息,而测量本身必须是产生情绪信息的物质
过程。为此,测量方法必须严格遵循解剖学基础。它包括精细分化的肌肉组织系
统的活动和灵敏传导的躯体神经系统的活动。在测量中,使用肌肉刺激,把面孔
上一块块肌肉的单一活动和互相有牵连的肌肉的组织活动通过肌电记录和照相
记录保存下来,从而得到了面部各个分别独立的部位的变化模型和观察到的、由
这些肌肉活动所支配的面容。艾克曼的面部肌肉活动编码系统,伊扎德的表情辨
别整体判断系统等,是目前主要被采用的测量标准。
从 70 年代初开始,出现了大量关于面部表情和面部动作编码系统的研究。
这些研究可分为两大类,一类专门涉及与情绪活动有直接关系的面部动作,如艾
克曼(Ekman,1971)、伊扎德(Izard,1979,1980)等人的工作;另一类则涉
及了所有可观察到的面部动作,如艾克曼等人(Ekman et al., 1978)的工作。
这些研究导致了面部表情测量技术的问世,在表情研究中具有极为重要的意义。
与传统的方法相比较,现代面部表情测量技术具有四个突出的优点:(1)这些技
术所测量的是面部肌肉运动本身,而不是面部所给予观察者的信息;(2)严格遵
循神经解剖学原则。所有这些测量技术的共同特征是,它们均以面部肌肉的神经
解剖学特点和肌肉活动所造成的面容变化(appearance change)作为测量的基
础和目标;(3)较准确而客观,便于使用。按上述原则确定的测量技术将情绪功
能与颜面解剖学结合起来,任何人只要经过有关的训练,就能通过肉眼的观察去
识别情绪,而不必使用像肌电图机那样的专门设备;(4)某些测量技术将表情的
2
反应时和持续时间引进了表情测量,因此,它能够测量面部表情的动态过程。
面部动作编码系统(facial action coding system,简称 FACS)是面部表
情测量技术中应用较广、较有代表性的技术之一。它是艾克曼等人在总结过去对
面部表情评定工作的基础上制定出的一个尽最大可能区分面部运动的综合系统,
它是迄今为止最为详尽、最为精细的面部运动测量技术,它能够测量和记录所有
可观察到的面部行为。
面部动作编码系统在制订过程中详细地研究了面部肌肉运动与面容变化的关系。
在实际测量时,它以面容活动为单位,称为活动单位。一个单一的活动单位可以
包括一块或几块肌肉组织。由于多数面容变化是几个活动单位叠加发生的,从而
又可以把那些可以明显辨认的叠加的活动单位列成复合活动单位。面部动作编码
系统共列出了二十八种单一活动单位和十九种复合活动单位。可根据各个活动单
位之间的主导或次要、竞争或对抗的关系,从而规定这种情形下的测量规则和方
法。面部动作编码系统的使用手册内容有:单一和复合活动单位列表,针对面容
变化的详细描述,以及供对照用的照片和影片以及具体的使用指导等。
本实验主要要求两组被试在不同的要求下实验,实验目的在于通过实验了解
面部表情认知的基本特征。
2 方法
2.1 被试
2.2 仪器和材料
2.2.1 JGW 一 B 型心理实验台速示器单元,记录用纸(2 种,一种为白纸,另
一种为事先印制好编号与描述各种表情的词语的记录纸)
2.2.2 面部表情卡片 6 张包括:高兴、惊讶、恐惧、愤怒、厌恶、轻蔑 6 种。
2.2.3 注视点卡片 1 张。
2.3 实验设计与程序
2.3.1 接上电源,速示器电源选择“ON”,灯亮表示接通。用明度测试卡调节
3
A、B 视场的明度达到基本一致;在“工作方式选择”栏,将 A 选“定时”,B 选
“背景” ,选“A—B”顺序方式;在“时间选择”栏,将 A 定为 “5000”;被
试坐在桌前,面部贴紧速示器观察窗,两眼注视屏幕中心;将注视点卡片输入 B
视场,表情卡片按顺序依次输入 A 视场。
2.3.2 将全体被试分为相等两组。A 组被试发给印好的记录纸。该记录纸横行
为编号,纵列为各种表情词。指导语:“请你一张一张地看一些与记录纸上情绪
词一致的表情图片,你判断是哪种表情,就在相应序号列中与之相匹配的情绪词
格内打“√”。B 组被试发给一张白纸,指导语为:“请你一张一张地看一些表情
图片,要求你用形容词描述是何种表情,并按呈现顺序写在白纸上”。两组被试
呈现卡片顺序相同,并且不允许两组之间互通信息。
2.3.3 对每个被试测试完毕,询问他们是用什么辅助方法来辨认面部表情
的?在下列选项中选择一种:a.模仿面部表情并体验 b.想象适合面部表情的情
绪 c.联想过去的经验 d.其他程序或线索
3 结果
3.1 实验数据
A 被试组号
正确个数
1
2
3
4
5
6
8
6
6
6
6
4
4
6
平均
5.43
正确率
100.00%
100.00%
100.00%
100.00%
66.70%
66.70%
100.00%
90.48%
4
组号
A 组被试表情识别的判断方法
厌恶 恐惧 惊讶 愤怒 高兴 轻蔑
1
2
3
4
5
6
8
b
a
b
a
b
c
b
a
b
b
a
b
c
b
b
b
b
a
b
c
c
b
b
b
a
b
a
c
b
b
c
a
b
b
c
a
b
b
a
b
c
c
B 被试组
正确个
号
1
2
3
5
6
8
数
1
2
3
2
4
1
正确率
16.70%
33.33%
50.00%
33.33%
66.70%
16.70%
组号
1
2
3
5
5
7
厌恶
b
a
b
c
b
b
B 组表情识别的判断方法
惊讶
a
b
b
c
a
a
愤怒
b
a
b
c
b
a
高兴
a
c
b
c
c
a
恐惧
a
b
b
c
a
c
轻蔑
a
a
b
c
c
a
3.2 数据分析
利用统计软件 SPSS 利用单个样本的 T 检验来进行显著性分析。
5
4 讨论
测试完毕,对每个被试询问他们是用什么辅助方法来辨认面部表情的,组 A
被试选择最多的为不 b.想象适合明面部表情的情绪,由此实验者认为被试主要
是观察图片中人物的面部表情(眉、眼、嘴等)的细微差别区别,辅之以手的动
作来判断情绪。符合“面部肌肉运动模式作为情绪标志的根”这一论断
根据上表中的数据分析,错误率出现较高的是对恐惧表情的识别,并且被试
在对六种基本表情的识别成绩存在显著性差异,高兴和悲伤最准确最迅速的被识
别出,而惊讶、愤怒、厌恶和恐惧四种表情识别成绩较差。由此我们可以进行面
6
部表情识别线索的精密检测研究:抽取眼部和嘴部为关键特征,设计两个实验,
考察人们在识别面部表情时所依赖的基本线索。 研究选取倾斜度、弯曲度和形
状三个参数描述眼睛和嘴的形态,并以简单线条来替代嘴和眼睛,线条的斜率表
现倾斜度特征,单一弧线和双弧线的曲率分别表现弯曲度和形状。为简化实验任
务以便于研究,将三个特征分离开来,分为“倾斜度+弯曲度”和“倾斜度+形
状”两个实验条件。另外我们可以深入研究面部表情识别的影响因素:表情强度
和呈现方式,设计实验方法,实验一考察了大学生对 Ekman 所提出的高兴、悲伤、
惊讶、恐惧、愤怒和厌恶六种基本表情的识别能力。在实验二中,以恐惧、惊讶、
愤怒和厌恶四种表情为因素一,以这四种表情的 25%、50%、75%、和 100%四种强
度为因素二,设计了两因素被试内实验。实验三以四种表情为因素一,动态视频和
静态图片两种呈现方式为因素二,进行了两因素被试内设计研究。
但是,纵观整个实验还是有需要改进的地方,据说情感的表达=7%的语言+38%
的声音+55%的面部表情,而本试验仅仅是从视觉的角度来识别面部表情,如果加
上视觉和听觉、动作的对比实验,则更能体现面部识别的重要性.可通过下面方
法进行该基金,首先摄取表示六种情绪(高兴惊讶恐俱愤怒厌恶轻蔑)活动彩色材
料第一套是无声活动录像为视觉刺激材料,第二套是没有画面只有用六种情绪朗
读的同一句话:“你这个小家伙真淘气”第三套是上述二者同时呈现为视觉加听
觉刺激材料施测前经过预试取得可靠的信度。实验方法,采用限制性反应法进行
即事先印好按照一定顺序编排的六种情绪反应表。呈现一种表情刺激时被试只要
在表上列举的答案中挑选一个合适的答案打上圈。当然,我们还应该做几组对照
试验,像男女生表情认知能力发展的比较、正常学生与聋哑学生表情认知发展的
对比、不同年龄段的表情认知发展的对比,研究:(1)不同的情绪表情类型,情绪
识别特点存在差异性;(2)不同情绪类型存在情绪表情识别的偏向优势,且存在性
别差异;(3)身段表情识别受到面部表情与语音表情的影响;(4)语音情绪识别受
到面部与身段表情的影响;(5)面部表情识别受到身段表情与语音表情的影响。根
据此研究,笔者发现了语音表情情绪、身段表情情绪与传统的面部表情情绪识别
所不同的特点,以此来排除不定因素的干扰使结论更具一般性。
另外,通过对面部表情的实验研究,我们可以借助于此展开自闭症儿童对
他人面部表情认知的实验,从一般性到特殊性,找出影响自闭症儿童对他人的面
7
部表情认知的相关因素,希望通过自闭症幼儿认知要素的分析,深入了解自闭症
幼儿对表现“喜怒悲惧”四种基本情绪的面部表情的认知特点; 探明不同的
提示方法对自闭症幼儿在面部表情认知上所产生的影响;解析自闭症幼儿对不同
“他人”的面部表情认知上的差异所在;找出自闭症幼儿在不同的材料和条件下
对他人面部表情认知的行为关联;发现自闭症幼儿对他人面部表情认知上的优
势。
对两组判断的平均正确率进行显著性检验,差异不显著.
5 结论
5.1 对两组判断的平均正确率进行显著性检验,差异不显著.
5.2 对表情的认知符合肌肉运动模式作为情绪标志的根据这一论断,也符合面部
动作编码系统.
参考文献
[1]杨治良.基础试验心理学.兰州:甘肃人民出版社,1988:404~406
[2]心理试验指导书.西理学院研究中心
[3]杨洁敏. 预期影响恐惧表情的情绪易感性[D]. 西南大学 2010
[4]姚雪. 面部表情识别的影响因素:表情强度和呈现方式[D]. 吉林大学 2010
[5] 彭莉. 人物面部表情知觉的 ERP 研究[D]. 湖南师范大学 2007
[6]乔建中. 表情判别能力的发展特点与影响因素[J]. 心理科学. 1998(01)
[7] 孟昭兰. 为什么面部表情可以作为情绪研究的客观指标[J]. 心理学报.
1987(02)
[8] 陈立言. 面部表情及眼神的研究及其意义[J]. 广西民族学院学报(自然科
学版). 2000(02)
[9] 张琰. 三种情绪表情的识别及其相互影响研究[D]. 苏州大学 2010
8