中国科技论文在线
http://www.paper.edu.cn
基于滑动窗口的两类运动想象EEG神经网
络识别研究
王海*
5
10
(辽宁石油化工大学信息与控制工程学院,抚顺 113001)
摘要:本文采用信号加窗与神经网络相结合的方式对两类运动想象脑电信号进行识别,对相
关问题展开分析研究,通过与传统的滑动平均方法做对比,分析这种方法对脑电识别效果的
改善程度及特点,以及如何将这种方法更好地用于脑电识别。研究显示,滑动窗口的信号处
理方式与神经网络方法的结合对脑电信号的识别是有利的,使识别效果在对脑电信号进行滑
动平均及线性识别基础上进一步得到加强,也更趋于稳定。此外,该方法的识别效果受窗口
宽度影响,适合的窗口设置能够更好地展现这种方法的优势与实用价值。
关键词:生物电气接口;脑电;神经网络;滑动平均;符合度
中图分类号:R318.6
15
Research on Neural Network Identification of Two-Type
Motor Imagery EEG Based on Sliding Windows
WANG Hai
20
25
30
(School of Information and Control Engineering, Liaoning Shihua University, Fushun 113001)
Abstract: EEG of two-type motor imagery was identified by a kind of combining method of signal
windowing and neural network in the paper, and some relevant questions were also researched. By
comparing with the traditional moving average methods, some questions were analyzed including
the improvement degree and characteristics of this method to EEG identification results, and how
to use the method on EEG identification better. Studies showed that it was helpful to EEG
identification to combine the signal processing style of sliding window and the method of neural
network. Such combining method enhanced identification result compared with the moving
average processing and the linear identification of EEG, and made identification result more
stabilized. What’s more, the identification result of this method was affected by window width,
and suitable window setting can make this method exert its advantages and practical values better.
Key words: BEI (Biotic Electric Interface); EEG (electroencephalogram); neural network; moving
average; CR (conformity rate)
0 引言
生物生理信号大多是非平稳复杂信号,对生理信号进行分析识别也往往是不容易的,对
35
信号加窗处理则是一种常见的操作,对于生理信号而言,常可以提炼出有用的特征,改善信
号识别效果,从而有利于生物电气接口[1,2]的设计。本文将以脑电信号作为生理信号研究对
象,采用信号加窗与神经网络相结合的方式对其进行识别研究。
滑动窗口是加窗位置跟随信号分析位置做变动的窗口,可对信号的任何连续采样位置进
行加窗用于信号分析。关于滑动窗口,一个传统的工程计算方法是滑动平均法,该方法将加
40
窗的信号片段取平均,经过这种处理,信号性能发生了较大变化,易于产生有利分析计算的
特征,加之该方法快捷的计算过程,使其在工程实际中有着广泛的应用,该方法也将作为参
照,在本文中用于脑电特征提取。神经网络(neural network)也是具有广泛应用的方法与技
术,具有卓越的综合分析能力与非线性分类能力,神经网络在脑电信号分析识别中也有着越
作者简介:王海(1976),男,博士(2008 年毕业于东北大学),教授,主要研究方向:生物电气接口. E-mail:
beitechnology@163.com
- 1 -
中国科技论文在线
http://www.paper.edu.cn
来越多的应用[3-7]。本文中,作者将滑动窗口的加工思想用于神经网络,继而用于脑电信号
45
的分类识别,对相关问题展开分析研究,以期能够从中获得更好的脑电识别效果。
1 脑电数据源
此次研究选用的脑电样本来自 2003 年国际脑机接口竞赛以及 2005 年国际脑机接口竞赛
的数据集,国际上著名的几家脑机接口研究机构已组织举办了数届国际脑机接口大赛,吸引
了全世界研究者的关注[8],其数据集被广泛用于脑电识别研究,具有代表性。数据集包括文
50
献[9]提供的 2003 年国际脑机接口竞赛数据集 3(本文中称“样本 a”)。数据集记录了受试者
想象左右手运动的脑电数据。脑电数据包括 140 次实验(试次)采集的训练数据(想象左手
运动及右手运动各 70 次,随机排序)作为训练样本,以及 140 次实验采集的测试数据(模
式同训练数据)作为测试样本,每个试次采集的脑电数据作为样本中的一个子样。受试者坐
在椅子上接受实验,实验数据通过 AgCl 电极与差分放大器,按国际标准 10–20 导联系统的
55
c3、c4 通道获得,并经过 0.5–30 Hz 的滤波[9]。每次实验持续 9 秒。0–2 秒,无任何活动;
第 2 秒,显示器上出现十字符号,并发出短的提示音以提示受试者准备开始想象任务;第 3
秒,十字符号被随机的向左或者向右的箭头代替,要求受试者按照箭头方向,想象左手或右
手的运动[8]。对于脑电识别来说两类运动想象是较为基础的模式,有助于对问题的分析研究。
数据集还包括文献[10]提供的 2005 年国际脑机接口竞赛数据集 3b 中的第 2 个子集(本
60
文中称“样本 b”),该样本与样本 a 有类似的实验范式。研究仅使用了以上数据集中的训练
样本或预先剔除了类型没有给出的子样,新划分的训练(train)子样本与测试(test)子样
本均取自其中,样本预先剔除了包含无效采样点的子样,且子样依实验顺序从前向后选取,
如此,样本 a、b 的容量分别为 140、450。
本文将仿照文献[11]且略加修改,对样本中的结构仍使用以下称呼:“甲型子样(对应
65
想象模式甲(指示类型甲))”、“乙型子样(对应想象模式乙(指示类型乙))”、“单位列
(多个子样中相同通道相同采样位置的采样值组成的向量,或经过加工(如:取平方)后相
同通道相同位置的幅值组成的向量,形成脑电特征向量,脑电特征向量是脑电分类识别操作
的基本数据单位)、”、“指示类型(实验中的想象模式)”、“甲型列(单位列中全部甲型子
样)”、“乙型列(单位列中全部乙型子样)”等,对于上述用语的含义,读者可参考文献[11],
70
本文不做赘述。
2 脑电信号分析识别方法
本文以脑电信号功率值作为数据源,取原始信号的平方作为功率值,使用神经网络方法
进行脑电识别,以滑动窗口中的数据作为输入,以相应的识别类型作为 train 输出建立识别
模型,以及作为 test 参照进行验证,为便于表述,本文中称该方法为“方法 1”。作为以滑动
75
窗口方式进行脑电识别的对比,本文还使用了滑动平均方法提取脑电特征,用线性分类方法
进行脑电识别验证,为便于表述,本文中称该方法为“方法 2”。对比两种方法的 CR 分布,
以分析神经网络处理滑动窗口数据源的性能及特点。有关神经网络、滑动平均的概念在本文
中不予介绍,以精炼文章,相关资料易于查阅。
研究选用 BP 神经网络作为主要的脑电识别工具,BP 神经网络是应用较为广泛的神经
80
网络模式,具有较强的自学习、自组织、自适应性能。本文利用了 Matlab(版本 r2014)的
newff 工具建立网络,由于此次脑电识别过程使用了信号加窗操作,从而其中网络输入层节
点个数须由窗口宽度决定,等于窗口所包含的采样点数量,具有 1 个输出节点。网络具有 1
- 2 -
中国科技论文在线
http://www.paper.edu.cn
个隐含层,其节点数量的确定是仍在研究的问题[12-14],有许多算法可供求解,也可以根据经
验来确定,本文中该层设置了 3 个节点。网络各层的传递函数依次为:tansig、purelin,训
85
练函数为:trainscg,其余参数取默认值。关于神经网络参数的设置,读者也可以取其他参
数值进行验证。网络的输出结果将与数据集给出的对应指示类型做比较,计算比较结果为相
同的个数占比,称为“符合度(conformity rate,为简化行文,本文称为 CR) ”,之所以仍称为“符
合度”,而不采用诸如“准确率”、“正确率”等名称,原因参见文献[11])。模型识别效果以
CR 来衡量,以验证模型的识别效果[11]。
90
线性分类作为脑电识别中很实用的分类方法[15],本文仍仿照文献[11]继续采用,以建立
识别模型,为便于读者阅读,这里再次加以描述:计算 train 子样本甲型列均值与乙型列均
值的距离,距离的中心位置作为脑电信号识别的分类界线,以此判别 test 子样本对应通道的
数据,计算 CR[11]。线性分类的 CR 计算方式如下:用 train 子样本建立模型,用模型识别验
证 test 子样本中每个子样,得到的识别结果与每个数据对应的实验指示类型做比较,计算比
95
较结果为相同的个数占比。
模型的验证采用 k-fold 方法,考虑到较重的计算负担,本文中 k 取 2,读者也可以取不
同的值进行验证。有必要再次说明,CR 为 0.5(或 50%)表示无识别效果,远离 0.5(无论
是高于或是低于 0.5)则代表识别效果的提升(如果将“不符合”取反则代表“符合”,因此对
于识别效果来说是一个相对的概念)[11]。对于本文随后的计算分析,如果读者仿照验证的
100
结果与本文结果以 50%互为对称则属正常,其含义与本文相同,也可用 100%减去计算结果
即可得到与本文相同的结果。
3 滑动窗口方式的脑电识别
以滑动窗口处理获得的数据源对于脑电识别有什么样的影响呢,作者首先使用方法 2
进行脑电识别与验证,该方法用到了滑动窗口来处理数据。图 1 对比了滑动平均方式与非滑
105
动窗口方式进行脑电识别的效果,分别对应图例 61 与图例 1 的 CR 分布,数据源为样本 a。
其中滑动窗口方式的窗口宽度为 61,宽度单位为采样点个数,本文均采用此宽度单位,1
个采样点的窗口宽度实际上即为非滑动窗口方式。本文中以窗口中央对应的采样位置作为窗
口的位置,设窗口宽度为 d,以“(d-1)/2”的跨度由中央向两侧取样形成窗口。
- 3 -
中国科技论文在线
http://www.paper.edu.cn
110
图 1 滑动平均方式与非滑动窗口方式进行脑电识别的效果对比
Figure 1 Results comparison between EEG identification style of moving average and non-sliding window
图例 61 的 CR 峰值在 70%附近,波动在 5%以内,而图例 1 的 CR 峰值意义比前者要弱
许多,因为其较大的波动,已超过 10%,其波动中央位置也勉强在 60%附近,这种剧烈的
波动是因为脑电信号的非平稳性造成的,这显然对建立识别模型是不利的。结果显示经滑动
115
窗口平均后的识别效果不仅得到提高,也更加稳定,具有更高的实用价值,而使用未经滑动
平均的数据直接用于脑电识别,其识别效果显然不如前者。作者对多个样本进行研究,认为
上述结果对于两类想象脑电信号来说是较普遍的想象。
图 2 显示了样本 a 在窗口宽度连续变化时的 CR 分布,其中纵坐标 61 所在一行的 CR
分布即为上面图例 61 对应的 CR 分布,而最下面一行的 CR 分布则相当于非滑动窗口方式
120
对应的 CR 分布。
图 2 窗口宽度连续变化的滑动平均 CR 分布
Figure 2 CR distribution of moving average method with continuous window width change
125
图中可以看到以滑动窗口获得的数据为特征进行识别,其效果明显更好,而且不同的窗
口宽度具有不同的识别效果,对应不同的识别能力。作者需要说明一点,对于不同的受试对
象、不同的实验范式以及受试对象不同的状态,上述 CR 分布也会不同,甚至设备的调整、
环境的变化都会对上述结果造成影响。
130
4 神经网络方法与滑动平均方法的对比
既然滑动窗口具有上述良好的性能及特点,那么将其用作神经网络的输入,继而用于脑
电识别,是否能使识别效果获得改善,如果能的话,效果的改善具有哪些特点,以及如何操
作才能更好地将这些方法用于脑电识别,在接下来的分析论证中,作者将给出答案。
作者分别使用方法 1、方法 2 对样本 a 进行识别验证,作为参照,图 3 首先显示了方法
135
2 的识别效果,随后图 4 显示了方法 1 的识别效果,则是本文的主要议题,通过与参照结果
的比对可得到相关议题的答案。作者在 5 个采样位置进行相关分析研究,每个采样位置分析
了 6 种窗口宽度(1、21、41、61、81、101)的 CR 值,其中窗口宽度 1 也即是非滑动窗口
- 4 -
中国科技论文在线
方式。
http://www.paper.edu.cn
CR 分布结果以 50%为中轴,其向下超出部分远小于向上超出部分,因此结果分析以大
140
于 50%的 CR 分布为主,小于 50%的 CR 分布,其分类意义不明显,图中未予显示。
图 3 滑动平均方式的识别效果
Figure 3 Identification results of moving average style
145
图 4 基于滑动窗口的神经网络识别效果
Figure 4 Identification results of neural network style based on sliding windows
首先可以明显地从结果中看到,方法 2 的识别效果总体上超过方法 1,方法 2 出现了 75%
150
的 CR 峰值,而方法 1 在 5 个位置的 CR 值都在 70%以下,因此如果能够正确选择窗口宽度
则可以获得更好的识别效果。在采样位置上,方法 2 的识别效果不同于方法 1,而且方法 2
的识别效果也明显受到了窗口宽度的影响。
作者再次以样本 b 进行验证,结果图 5、图 6 所示。
- 5 -
中国科技论文在线
http://www.paper.edu.cn
155
图 5 滑动平均方式的识别效果
Figure 5 Identification results of moving average style
160
Figure 6 Identification results of neural network style based on sliding windows
图 6 基于滑动窗口的神经网络识别效果
从识别结果中可以看到与样本 a 相似的效果与特点,这里不再重复。此外与样本 a 相比,
方法 2 对于样本 b 的识别效果,其分类特征在采样位置上显得更为集中,在 5 个采样位置中
仅有位置 550 有较明显的识别效果,而反观方法 1,其识别效果在 5 个采样位置都有较明显,
165
这意味着识别效果受采样位置的影响减小,也意味着稳定性的增强。
5 结论
加窗操作是一种常见的信号处理方式,常常使信号特征得以稳定且凸显。信号加窗不仅
用在滑动平均这样的算法中,也可以通过使用方式的借鉴,用于如神经网络这样的算法中,
而相应地对于脑电识别来说,这种信号分析方式具有其优势与实用价值,这已通过本文的分
- 6 -
中国科技论文在线
http://www.paper.edu.cn
170
析研究得到证实。
研究显示滑动窗口的信号处理方式与神经网络方法的结合对脑电信号的识别是有利的,
这种脑电识别方法使识别效果在以滑动平均方式提取的脑电特征进行线性识别的基础上进
一步得到加强,也更趋于稳定。此外,该方法的识别效果受窗口宽度影响,因此找到合适的
窗口则是重要的步骤。此外,神经网络算法较复杂,对于运算设备的要求较高,特别是对于
175
实时系统尤为如此,因此在实用当中要考虑到硬件配置、系统资源等因素。基于滑动窗口的
神经网络方法对于脑电识别是效果明显的,可以更好的提取脑电特征,因此应当根据实际的
硬件条件,恰当地使用该方法,以期充分发挥其性能优势。
[参考文献] (References)
180
185
190
195
200
205
[1] 生物电气接口[OL]. http://baike.baidu.com/item/生物电气接口
[2] Hai Wang. Biotic electric interface: the artificial bridge connecting life and material world[A]. IEEE/ICME
International Conference on Complex Medical Engineering, 2007: 1664-1668.
[3] C Robert, J Gaudy, A Limoge. Electroencephalogram processing using neural networks[J]. Clinical
Neurophysiology, 2002, 113(5): 694-701.
[4] M Alfaro-Ponce, A Argüelles, I Chairez. Pattern recognition for electroencephalographic signals based on
continuous neural networks[J]. Neural Networks, 2016, 79(7): 88-96.
[5] N Masic, G Pfurtscheller. Neural network based classification of single-trial EEG data[J]. Artificial
Intelligence in Medicine, 1993, 5(6): 503-513.
[6] A J Gabor, M Seyal. Automated interictal EEG spike detection using artificial neural networks[J].
Electroencephalography and Clinical Neurophysiology, 1992, 83(5): 271-280.
[7] A Subasi, E Erçelebi. Classification of EEG signals using neural network and logistic regression[J]. Computer
Methods and Programs in Biomedicine, 2005, 78(2): 87-99.
[8] Tangermann M, Müller K R, Aertsen A, et al. Review of the BCI competition IV[J]. Front Neurosci, 2012, 6(7):
1-31.
[9] BCI competition II[OL]. [2003]. http://www.bbci.de/competition/ii/
[10] BCI Competition III[OL]. [2005]. http://www.bbci.de/competition/iii/
[11] 王海. 脑电识别中EEG样本容量浮动的几点考察[EB/OL]. 北京:中国科技论文在线 [2018-5-7].
http://www.paper.edu.cn/releasepaper/content/201805-39
[12] Beigy H, Meybodi M R. A learning automata-based algorithm for determination of the number of hidden
units for three-layer neural networks[J]. International Journal of Systems Science, 2009, 40(1): 101-118.
[13] Lippmann R. An introduction to computing with neural nets[J]. IEEE ASSP Magazine, 1987, 4(2): 4-22.
[14] N Wanas, G Auda, M S Kamel, F Karray. On the optimal number of hidden nodes in a neural network[A].
IEEE Canadian Conference on Electrical and Computer Engineering, 1998. 918-921.
[15] Rezaei S, Tavakolian K, Nasrabadi A M, et al. Different classification techniques considering brain computer
interface applications[J]. J Neural Eng, 2006, 3(2): 139-144.
- 7 -