论文研究-基于心电信号的情感识别Android系统设计 .pdf

发布时间：2022-05-30 发布人：admin 分类：说明书资料大小：0.41M 资料格式：pdf 举报版权申诉

weixin_39840387-11579830-16359647508361921792.pdf-第1页.png

第1页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第2页.png

第2页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第3页.png

第3页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第4页.png

第4页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第5页.png

第5页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第6页.png

第6页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第7页.png

第7页 / 共8页

weixin_39840387-11579830-16359647508361921792.pdf-第8页.png

第8页 / 共8页

文本预览

5 10 15 20 25 30 35 40 中国科技论文在线基于心电信号的情感识别 Android 系统设计 http://www.paper.edu.cn 孙景洋，张天乐** （北京邮电大学网络空间安全学院；北京邮电大学可信分布式计算与服务教育部重点实验室）摘要：为了实现心理医生对病患情绪健康的监测和管理，本文将生理监测技术和无线通信技术相结合，设计一个基于 Android 平台的心电采集、情感识别与终端显示的系统。该系统首先通过对 300 名被试者特定情绪下的心电信号进行预处理、特征提取、特征选择和分类的流程建立一个情感识别模型，然后将可穿戴设备采集的心电数据通过蓝牙无线传输技术发送给 Android 智能手机，通过情感识别模型转化为对应的情绪，最终实现用户情绪在移动终端的可视化。该系统通过蓝牙技术加上用户简单的 Android 手机应用操作，可以实现一段时间内心电数据的情感识别，在研究心理医生对病患的情绪健康监测系统领域中具有重要意义。关键词：心电采集；情感识别；终端显示；蓝牙无线传输技术中图分类号：TP302.1 The Design of Emotion Recognition System Based on ECG Signals on Android SUN Jingyang, ZHANG Tianle ( School of Cyberspace Security, Beijing University of Posts and Telecommunications, Beijing; Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education, Beijing) Abstract: In order to achieve the psychologist's emotional health monitoring and management, an Android system with ECG acquisition, emotion recognition and terminal display was designed based on signal monitoring and wireless bluetooth communication technology. The system firstly establishes an emotion recognition model through preprocessing, extracting features, selecting features and classifying the ECG signal under the specific emotion of 300 subjects, and then transmits the ECG data collected by the wearable device through Bluetooth Technology sent to the Android smartphone into the corresponding emotions through the emotional recognition model. Finally, the user emotion is visualized on the mobile terminal. The system can realize emotion recognition of ECG data for a period of time through Bluetooth technology plus simple Android phone application operation. It is of great significance in the field of researching psychologists on the patient's emotional health monitoring system. Keywords: ECG acquisition; emotion recognition; terminal display; wireless bluetooth communication technology 0 引言心电信号是由人体心脏搏动时，心肌细胞产生的动作电位综合而成的，它反映了人体心脏随着时间的变化情况，是人体最重要的生理信号之一。近年来，国内外对心电信号的研究已经广泛运用在医学领域，对心电信号的应用已经在临床、医院对病患的心电监护和生理疾病的治疗方面取得了重大成就。随着计算机技术和心理医学的发展，心电信号将逐步成为情感识别的重要研究方向。本文设计的基于心电信号的情感识别 Android 终端系统对可穿戴式心电设备的便携性和传输准确性提出了更高的要求。在信号的传输方面，蓝牙传输技术避免了传统设备线缆传输的局限性，并且实时性好，抗干扰能力强，在医学领域中得到越来越作者简介：孙景洋（1991-），女，工学硕士，主要研究方向：终端安全通信联系人：张天乐（1977-），男，副教授、硕导，主要研究方向：终端安全. E-mail: tlezhang@bupt.edu.cn - 1 -

45 50 55 60 中国科技论文在线 http://www.paper.edu.cn 广泛的应用；同时，移动设备的普及使得基于移动终端的情绪分析与社交分享成为可能。因此，将移动终端的便捷性和蓝牙通信的实时性紧密结合应用于在线医疗领域，将使得可穿戴心电设备在便携式、低功耗、智能化的方向上有很好的发展前景，必将在心理医疗方面发挥重要作用[1]。本文首先设计合理而周全的心电信号采集方案收集到各种情绪下被试者的心电数据，然后对这些情感心电数据通过预处理、特征提取、特征选择和分类的实验过程建立起一个心电信号的情感识别模型。可穿戴心电设备采集到的心电信号可通过蓝牙无线传输技术发送到智能手机，手机终端通过 Android 蓝牙编程接口接收数据，并将其存储在文件里，采用情感识别模型将心电数据转化为相应的情绪，最终实现一段时间内用户情绪的可视化。该系统的设计实现了心理医生对病患情绪状况的监测，结合病患的不良情绪给出科学的调节和管理方案，帮助患者的情绪向积极健康的方向发展，从而减少其心理疾病恶化的风险。本文从基于心电信号的情感识别模型的建立和 Android 终端系统设计两个部分介绍该系统。 1 基于心电信号的情感识别如图 1 所示，本系统采用的心电信号的情感识别过程包括：情感心电信号的采集和预处理、情感心电信号的特征提取、特征选择算法和分类器结合构建心电信号与情感状态之间的映射关系三个过程。 65 图 1 心电信号的情感识别过程 Fig. 1 emotion recognition of ECG signals - 2 -

中国科技论文在线 1.1 心电信号的采集和预处理 http://www.paper.edu.cn 实验首先收集到能唤起被测者平静、愉悦、悲伤、愤怒、厌恶、恐惧、惊奇 7 种情绪的电影片段，并利用多导生理仪采集到 300 名无心脏病史的被测者观看这些电影片段时的心电数据，为情感识别下一步实验提供数据集。由于心电信号是一种微弱的电信号，其信号幅度在 10u V 至 4m V 间，所以在采集的过程中容易受到各种各样噪声的干扰。为了使提取出的特征值更准确，在进行特征值提取之前，首先要对采集到的心电信号进行预处理，预处理的关键就是信号的去噪。本文采用的去噪方法是小波阈值去噪法，并采用自适应阈值对心电信号进行去噪的处理。小波阈值去噪法是 Donoho 提出的，它的主要理论依据是，小波变换具有很强的数据相关性，它能够使信号的能量集中分布在一些大的小波系数的小波域中；而噪声的能量却分布于整个小波域内。因此，经小波分解后，信号小波系数的幅值要大于噪声的系数幅值。可以认为，幅值比较大的小波系数一般以信号为主，而幅值比较小的系数在很大程度上是噪声[2]。采用阈值的办法可以把信号系数保留，而使大部分噪声系数减小至零。小波阈值去噪的具体处理流程为：首先选取合适的小波函数，将含有噪声的原始信号在各尺度上进行小波分解，获得各层上的细节分量和近似分量；然后对于每一层上的细节分量设定一个阈值，把幅值低于该阈值的细节分量的小波系数设为 0，高于该阈值的小波系数完全保留或者做相应的“收缩”处理；最后将处理后获得的各层细节分量的小波系数和最后一层的近似分量的小波系数用逆小波变换进行重构，得到去噪后的图像。实验采用 db5 小波变换将原始信号进行 5 层分解，得到 d1~d5 的高频系数和低频系数 a5，然后将第 5 层的低频系数 a5 设置为 0，去除基线漂移，采用自适应阈值法对剩余的高频系数 d1~d5 信号选取特定的阈值，去除工频干扰，最后对阈值量化处理后的信号进行重构得到降噪后的心电波形[3]。图 2 是采用小波阈值降噪法处理前后的心电信号对比图，实验过程中平均每 3 毫秒做一次信号采样，横坐标表示采样点数，纵坐标表示电压幅值。图 2 降噪前后对比图 Fig. 2 Contrast before and after noise reduction - 3 - 70 75 80 85 90

中国科技论文在线 1.2 心电信号的特征值提取 http://www.paper.edu.cn 根据医学上对心电波形的定义，在每一心跳周期内，一个典型的心电图有 5 个波，自左至右称为 P、Q、R、S、T，并可分为下列部分，P-R 间期、QRS 间期、Q-T 间期、P-R 段、及 S-T 段等[4]。一般情况下，QRS 波群宽度大约为 0.04s-0.11s，是从 Q 波的起点到 S 波的终点之间的间隔大小。在心电波形的各个波中，R 波最为明显，最容易被检测，一般以它为基准来检测其他波的位置。当 R 波的位置确定了以后，我们以 R 波的峰值点为基准点，向前一段时刻范围内所搜索到的幅度极小点即为 Q 波顶点，向后一段时刻范围内所搜索到的幅度极小点即为 S 波顶点。当 Q 波和 S 波的顶点位置确定后，Q 波的起点为 Q 波先前搜索与心电波形基线相交的交点，S 波的起点为 S 波向后搜索与心电波形基线相交的交点。准确定位了 P-QRS-T 波形后，从中提取可能反映情感变化的 101 个统计特征作为特征值构成原始特征集合[5]。其中包括相邻 P、Q、R、S 和 T 波间隔，P-Q、Q-S、S-T 间隔，P、 Q、R、S 和 T 波峰，相邻 R、T 波幅度的一阶差分以及它们的一阶差分的绝对值，QRS 波群、P 波和 T 波各波能量的均值，中值，标准差，最小值，最大值，最大值最小值之差，最小值比率和最大值比率等统计特征。为尽量避免个体心电信号差异性带来的情感识别误差，在计算各波峰值时，采用与其对应的心电周期 P-T 间平均幅度的相对值作为相应波峰值。 1.3 特征选择和分类 1.3.1 基本蚁群算法基本蚁群算法（ACO）是通过模仿自然界蚁群觅食行为而设计的仿生优化算法，它最早应用于解决较难处理的组合优化问题，如旅行商问题( traveling salesman problem，TSP)。基本蚁群算法的实现步骤如下：（1）所有蚂蚁遇到障碍物时按照等概率选择路径，并留下信息素；（2）随着时间的推移，较短路径上的信息素浓度升高；（3）蚂蚁再次遇到障碍物时，会选择信息素浓度较高的路径；（4）较短路径的信息素浓度继续升高，最终最优路径被选择出来。 1.3.2 改进后的蚁群算法 95 100 105 110 115 基本蚁群算法在理论上能够得到最优解，但是其在实现性能上不能达到效果最佳，主要表现为两个方面：一是算法开始时各条路径上的信息素分配差异不明显，需要经过较长时间， 120 较好路径上的信息素优势才会明显起来，导致算法的收敛速度较慢；二是正反馈机制虽能强化较好解，但容易使算法出现停滞现象，从而陷入局部最优，未能达到全局最优。针对以上两个方面的不足，本文对基本的蚁群算法主要在以下三个方面进行改进：（1）解构造首先通过预先实验选择最合适的参数值，以初始化 ACO 算法所有参数，根据如下规则来选择特征。 125       s  argmax   p s     *      u u       s s *     u *     u KF r      u  if q q 0     u KF r  ,  otherwise if s    KF r  （1）其中对一个特定的蚂蚁 r 来说，τ( u) 为特征 u 当前的信息素水平；η( u) 为特征 u 的特征成本的倒数即启发函数； KF(r) 为 r 的可选域；β 在基本蚁群算法中称为期望启发因子， - 4 -

130 135 140 145 150 155 160 中国科技论文在线 http://www.paper.edu.cn 在此表示考虑选择特征所需成本的比重，如果设 β =0，则代表不考虑特征成本；如 β =1，将在相同分类重要性的条件下优先选择成本价值最小的特征。q 为开发概率因子，为(0，1) q 时，根间的随机数，为了避免出现过早停滞而限于局部最优，引入随机参数 q0，当据概率  p s 选择特征，否则选择使信息素与成本的比值最大的特征[6]。（2）全局更新 q 0 对于每次循环中产生分类错误率最低的解 _ L Sol ，使用公式(2)更新 _ L Sol 中的每个 j j 特征的信息素使其重要性增加。    f = 1‐         f + * （2） * L Sol 分类错误率的倒数。 L Sol 中的特征给予奖励，反复迭代后这些特征的信息素会快速增长，其中，ρ 为信息素衰减参数，ρ 越小，信息素增加越少；σ 为解 _ 全局更新目的是对解 _ 那么将来蚂蚁选择它们的可能性就越大。（3）局部更新 j j 对于那些在前一次迭代最优的解 L Sol  中的特征，使用公式(3)进行更新，这样使其 _ 信息素小幅度的降低，同时那些从未被最优解选中的特征的信息素仍然保持不变，且保证了信息素一直都不会低于 τ0。 1 j    s = 1‐     0 + * *   s  （3）其中，α 是局部信息素更新强度参数，且 0 <α <1。这样局部更新的目的不仅是降低不相关特征的信息素，从而降低其被蚂蚁选中的概率，而且还帮助蚂蚁选择那些之前从未被选中的特征。以上三个过程一直重复到预设的最大迭代次数为止，在每次迭代时采用 KNN 多类分类器对所有的局部最优特征子集计算分类准确度，选择并记录此次迭代后全局分类效果最好的最优特征子集，然后增加特征子集的维数，继续下一轮循环。该过程一直持续到连续 3 次增加特征子集维数，其全局最优的特征子集分类效果没有提高或特征个数加到原始特征维数为止。最后在所有全局最优特征子集中选取分类准确率最高的为最终特征子集。对于特征 u 的启发函数 η(u)的计算，本文引入了最小冗余最大相关算法（mRMR）[7]，同时综合考虑了特征间的冗余度以及特征与期望输出类型间的相关度。特征i 和特征 j 之间的冗余度为 IW ，以及特征i 和期望输出类型 h 之间的相关度 IV 的计算如下公式（5）和（6）所示： min W W I , I  | V V min , I I  | i j FS ,   | 2 1 FS 1  FS  | i FS I i j ( , ) （5） I h i ( , ) （6） I i j 和 ( , ) 上式中， ( , ) 其中所含的特征维数为| I h i 分别表示i 和 j 、i 和 h 的互信息值，FS 表示当前已选好的特征子集， |FS 。为了同时满足以上两个条件，需要计算其互信息商值： Q  max （7）    V I W I    通过计算原始特征集中所有特征的互信息商值 Q，然后按大小进行排序，并给每个特征赋予编号，最后按照公式（8）来计算各个特征的启发值： - 5 -

中国科技论文在线 http://www.paper.edu.cn  m =  Q    2  Q   m m  1 otherwise （8）其中， m 表示排序后特征的编号， mQ 表示排序后第 m 个特征的互信息商值，用来调整启发函数范围的参数， 为正整数，用来确保排序后第一个特征的启发值大于其他特征的启发值。 1.4 实验结果与分析采用上述改进后的蚁群算法对原始特征集进行筛选得到稳定有效的最优特征子集，使得这些最优特征子集与心电信号的各个情感之间建立一种映射关系，从而构建出心电信号的有效情感识别模型。实验过程中，分别从平静、愉悦、悲伤、愤怒、厌恶、恐惧、惊奇 7 种情感心电信号中随机提取 75%的数据用于训练以构建情感识别模型，另外 25%的数据用于验证评估基于 K 增量的 KNN 分类器的情绪分类准确率[8]。通过实验得到每种情绪状态下最优特征子集的识别效果如表 1 所示。表 1 每种情绪的识别效果 Tab. 1 the recognition effect of each emotion 165 170 175 最高识别率最低识别率平均识别率 16 15 16 15 14 17 16 101 101 101 101 101 101 101 情绪原始特征维数最优特征维数平静愉悦悲伤恐惧愤怒厌恶惊奇从表 1 可以看出，原始特征集的维数较大，且并非所有的特征对情感识别都是有作用的，通过改进后的 ACO 算法对原始特征进行特征选择并结合 KNN 分类器能够使用维数较小的特征向量达到识别率较高的分类效果。 69.85% 70.56% 62.53% 71.09% 63.45% 71.08% 69.87% 77.76% 84.83% 76.77% 83.54% 76.21% 82.35% 80.31% 85.83% 92.45% 89.28% 91.42% 90.26% 94.45% 92.32% 180 2 Android 终端系统设计基于以上情感识别模型，本节以 AndroidStudio 为开发环境，以 Android 6.0 智能手机作为测试设备，实现一个基于心电信号的情感识别 Android 应用程序，该应用主要分为两大功能模块：心电数据的接收存储模块和用户情绪的可视化模块。 2.1 心电数据的接收存储模块本文采用的硬件设备属于低功耗设备，采集到的数据为心电图（ECG），一个 ECG 记录由三个部分组成：头文件（存储方式 ASCII 码字符）、数据文件（按二进制存储，每三个字节存储两个数）、注释文件（按二进制存储，格式定义比较复杂）。由于每个 ECG 记录的数据长度较短，而 GATT（Generic Attribute Profile 普通属性协议）是一个在蓝牙连接之上的发送和接收很短的数据段的通用规范，所以客户端与设备之间的蓝牙通讯协议选用 GATT 协议[9]。EventBus是一款针对 Android 的发布/订阅事件总线，它可以实现 Android 各个组件之间传递消息，通过线程间事件订阅和分发来完成消息传递这种模式来降低组件之间 185 190 - 6 -

中国科技论文在线 http://www.paper.edu.cn 的耦合度。Android 客户端通过蓝牙编程技术和 EventBus 事件总线实现接收从硬件设备发送的心电数据，并将这些数据存储在手机安全数据卡，同时保证心电数据的实时性和准确性 [10]。 2.2 用户情绪的可视化模块本文通过基于心电信号的情感识别算法，将心电数据转化为 7 种对应的情绪。具体实现方法是将情绪识别算法以 C 语言的形式写入本地库，然后利用 JNI 编程技术调用该算法，算法返回 7 个可能的整型数据（0~6），分别代表平静、愉悦、悲伤、恐惧、愤怒、厌恶、惊奇这 7 种情绪。在实验过程中，特征选择并分类的过程最快能在 20 秒内完成，所以本系统规定每 20 秒通过情感识别算法得到一个情绪值。为了保证心电数据的正确性和实时性，本文在 Service 类中维护两个分别用来缓存 20 秒心电数据的数组，由于设备采样心电信号的周期为 3 毫秒，根据计算可知 20 秒内能够读取的数据点数约为 6666 个，所以每个数组的大小设置为 6666，当其中一个数组元素个数达到上限之后，将其交给 native 层算法进行情绪识别，得到心电数据到特定情绪的转化，另一个数组用来继续接收新的心电数据。系统外层维护一个长度为 7 的情绪值数组，保存整个测量过程中各类情绪的分布情况，最终根据情绪值数组实现当前用户该段时间内情绪的可视化。 3 结论本文构建了基于心电信号的情感识别模型，建立了一种心电数据与情绪状态之间的映射关系，在此模型基础上利用蓝牙无线传输技术和 Android 编程技术实现在智能终端上一段时间内情绪状态的可视化。该系统的设计与实现有助于心理医生及时了解心理疾病患者的实时情绪，结合病患的情绪状况给出科学合理的治疗方案和建议，实现对心理疾病患者的心理健康监护，从而达到在线医疗的目的。 [参考文献] (References) [1] 肖菊兰,王嘉辉,曾丽君,黄欠平,陈仲本,周酥. 基于 Android 系统的心电传输与显示系统设计[J].医疗卫生装备,2015,36（6）：35-37. XIAO J L, WANG J, ZENG L J, HUANG Q P, CHEN Z B, ZHOU S. Design of ECG transmission and display system based on Android system[J]. Medical and health equipment,2015,36（6）：35-37. [2] 余祖龙,周旭欣,艾信友,王玉,周波.基于离散平稳小波变换的心电信号去噪方法[N].科技创新导报,2008(3). YU Z L, ZHOU X X, AI X Y, WANG Y, ZHOU B. ECG Signal Denoising Method Based on Discrete Stationary Wavelet Transform[N]. Technology Innovation Guide, 2008(3). [3] 程波,刘光远.基于小波变换与神经网络的表面肌电信号的情感识别[J].计算机应用,2008(28):343-345. CHENG B, LIU G Y. Emotion recognition from surface EMG signal using wavelet transform and neural network[J]. Computer Application, 2008 (28):343-345. [4] 田福英, 沈铁明, 刘博宇. 基于蓝牙传输的手机心电监护系统设计与实现[J]. 中国医学物理学杂志,2013,30（4）：4304-4305. TIAN F Y, SHEN T M,LIU B Y. Design and Realization of A Mobile ECG Monitoring System Based on Bluetooth Technology[J]. Chinese Journal of Medical Physics, 2013,30（4）：4304-4305. [5] 杨庭树,卢喜烈.心电图基础理论[M].天津:天津科学技术出版社, 2005: 2-3. YANG T S, LU X L. ECG basic theory[M].TianJi: Tianjin Science and Technology Press, 2005: 2-3. [6] 刘云忠，宣慧玉.动态蚁群算法在带时间窗车辆路径问题中的应用［J］.中国工程科学，2005-12:35-40． LIU Y Z, XUAN H Y. Application of Dynamic Ant Colony Algorithm in Vehicle Routing Problem with Time Windows[J]. Chinese Engineering Science, 2005-12: 35-40． [7] 冯林,颜世鹏,孙熹.邻域搜索的粒子群优化算法及其性能分析[J].计算机工程与科学,28(2006)12,72-73. FENG L, YAN S P, SUN X. A Local-Search-Based Particle Swarm Optimization Algorithm and Its Performance Analysis[J]. COMPUTER ENGINEERING & SCIENCE, 28(2006)12,72-73. [8] D. Cheng, G. Liu and Y. Qi, "Application of Particle Swarm Optimization and K-Nearest Neighbors to - 7 - 195 200 205 210 215 220 225 230 235

http://www.paper.edu.cn 中国科技论文在线 Emotion Recognition from Physiological Signals", Proc. Int. Conf. Computational Intelligence and Security, Suzhou, Dec.2008, pp.52-56. [9] 林美善. 基于蓝牙通信的心电采集系统的设计[D]. 北京：北京邮电大学,2009. LIN M S.ECG Detection System Based on Bluetooth[D]. Beijing: Beijing University of Posts and Telecommunications, 2009. [10] 熊狮,吴效明. 基于 Android 系统的生理数据蓝牙传输技术[J]. 中国医学物理学杂志,2012,29（6）： 3801-3803. XIONG S, WU X M. Technology of Data Transmission through Bluetooth in Android[J].Chinese Journal of Medical Physics, 2012, 29(6): 3801-3803. 240 245 - 8 -

分享到：

赞收藏

资料库

论文研究-基于心电信号的情感识别Android系统设计 .pdf

相关推荐

开发技术

热门标签

最新资料