Computer Engineering and Applications 计算机工程与应用 2016，52（23） 1 ⦾ 热点与综述 ⦾ 基于智能手机传感器数据的人类行为识别研究 朱响斌，邱慧玲 ZHU Xiangbin, QIU Huiling 浙江师范大学 数理与信息工程学院，浙江 金华 321000 College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua, Zhejiang 321000, China ZHU Xiangbin, QIU Huiling. Human activity recognition with smartphone sensor data. Computer Engineering and Applications, 2016, 52（23）：1-5. Abstract：Recognition of human activity from the smartphone of sensory data has many important applications in many fields, such as healthcare services, intelligent environments and cyber security. Classification accuracy of most existed methods is not enough in many applications, especially for healthcare services. In order to improve accuracy, the paper proposes a Random Forest（RF）approach to recognize human activities and choose Sparse Local Preserving Projection （SpLPP）as the method of feature reduction. Firstly, the optimal feature subsets are determined by LPP. Secondly, the results of activity recognition are classified by RF ensemble classifier. Compared with other methods, the method uses the significantly less number of features, and the over-all accuracy has been increased. Key words：human activity recognition；random forest; sparse locality preserving projections; smartphone 摘 要：运用智能手机传感器数据进行人类行为识别研究在医疗服务、智能环境和网络空间安全等领域有许多重要 应用。目前，大多数的分类方法识别率都不高，尤其是在医疗服务领域。为了提高行为活动的识别准确率，先利用 稀疏局部保持投影降维，将实验的数据集进行特征约简得到最优的实验特征子集，再用随机森林集成分类器完成了 人类行为识别。实验结果证明，该方法不仅明显地降低了实验的特征数量，而且提高了整体精确度。 关键词：人类行为识别；随机森林；稀疏局部保持投影；智能手机 文献标志码：A 中图分类号：TP391 doi：10.3778/j.issn.1002-8331.1606-0084 1 引言 人类行为识别的目的是通过一系列的观察，对人的 动作类型、行为模式进行分析和识别，并使用自然语言 等方式对其加以描述。人类的行为可分为单一和多样 两种，单一的行为识别只需要将给定的数据准确分类到 已知的几个行为类别；多样的行为较为复杂，往往识别 的是多种行为，系统需要根据给定的数据自动识别出行 为的类别。目前，人类行为识别已被广泛地应用于医疗 服务、智能环境和网络空间安全等领域。 随着信息技术时代的快速发展，可穿戴设备的流行 速度正以加速度的形式增长。这些移动设备分别嵌入 了多种多样的传感器，如：高清相机，光传感器，陀螺仪 传感器，加速度传感器，GPS 以及温度传感器等[1]。智能 手机，作为全球最畅销的移动设备，在成人中已经达到 近 80%的使用率，并且在 2020 年将会达到 80%[2]。可以 预见，这种功能强大的设备可以为人们提供一个灵活、 方便、有效并且易于使用的工具去自动监控日常生活行 为（Activities of Daily Living，ADL）[3]。 正 因 如 此 ，基 基金项目：国家自然科学基金（No.61402418，No.61170108，No.61503342）；教育部人文社科研究项目（No.12YJCZH142，No.15YJC- ZH125）；浙江省公益技术研究社会发展项目（No.2016C33168）；浙江省自然科学基金（No.LY13F020017，No.LY15F020013， No.LQ13F020007，No.LY16F030002，No.LQ16F020002）；信息网络安全公安部重点实验室一般项目资助（No.C15610）； 上海市信息安全综合管理技术研究重点实验室开放基金（No.AGK2013003）。 作者简介：朱响斌（1971—），男，副教授，硕士生导师，主要研究领域为人工智能、无线传感器网络、嵌入式系统，E-mail：zhuxb@zjnu.cn； 邱慧玲（1991—），女，硕士研究生，主要研究领域为人工智能。 收稿日期：2016-06-06 修回日期：2016-07-11 文章编号：1002-8331（2016）23-0001-05 

2 2016，52（23） Computer Engineering and Applications 计算机工程与应用 于智能手机传感器数据的人类行为识别是一个很热门 的研究方向。 3 提出的方法 3.1 基本思路 2 国内外研究现状 目前，基于智能手机传感器的人类行为识别研究已 经吸引了大量的国内外研究人员，并且也获得了一些成 果。L.Bao 和 S.Intille 等人收集了来自 20 个用户的实验数 据，他们分别将 5 个双轴加速度传感器设备放在右髋关 节，腕关节，踝关节，大腿和上臂等部位，采用决策表和朴 素贝叶斯分类识别出 20 个不同的活动，实验结果表明： 放在大腿上的加速度传感器能够更好分类日常生活活 动[4]。J.Kwapisz.G.Weiss和 S.Moore等人收集的是放置在 用户的裤子口袋中的 Andriod 智能手机上的简单三轴加 速度传感器中的数据，结果表明：J48 决策树可以有效地 分类出静态的活动，而多层感知器可以高精度地识别动 态活动，值得注意的是没有一种分类方法可以有效地识 别所有的活动，尤其是上楼梯与下楼梯[1]。A.Sharma.Y.- D.Lee.和 W.-Y.Chung 等人使用了一种特殊类型的三轴 加速度传感器，运用神经网络的方法获得了 84%的精确 度 [5]。HAR 数据包的贡献者 Auguita 等人，进行了包含 上下楼梯的 6 种活动分类，对加速度传感器和陀螺仪传 感器数据进行多类支持向量机分类，由于支持向量机无 法对参数进行解释，所以结果缺乏透明性[3]。S.-B.Cho 和 Y.-S.Lee 同样也使用了智能手机 3D 加速度传感器上的 数据，采用分层隐马尔科夫模型对行为活动做推测，他 们的结果强调了 HHMMs 在处理低和高层次活动上比简 单 的 HMMs 和 人 工 神 经 网 络 更 有 效 [6]。 Charissa Ann Ronao 等人在同样数据的基础上，运用两阶段连续隐马 尔 科 夫 模 型 方 法 ，得 到 了 91.76% 的 精 确 度 [7]。 Ngan Huynh 采用随机森林对同样的数据进行分类，得到的结 果准确度都超过了 83%，整体精确度达到了 96%（http：// vodkhang.com/wp-content/uploads/2013/04/Prediction- Model-for-Smartphone-Behaviour.pdf）。孙冰怡等人提出 基于谱聚类和隐马尔科夫模型（Spectral Clustering and Hidden Markov Models，SC-HMM）的 日 常 行 为 算 法 ， 有效地挖掘了不同时间片段之间的关联性，从而提高了 动作的识别率，最后达到平均 93.48%的识别率 [8]，但是 这种算法在区分上下楼梯时表现得不太理想。 以上的这些研究成果无论在精确度或者其他方面都 存在着提升空间，尤其是数据降维方面。降维的一个主 要目的是减少实验的特征数量，但目前，很多实验数据 在经过数据处理后，仍然存在特征数太多的问题，如： Anguita 等人和 Ngan Huynh 的实验中都使用了 561 个特 征向量。大量的特征数加大了实验的计算复杂度并且增 加了计算内存。同时，也将一些与实验相关度不高的特征 变量带入实验中，从而导致最后的识别精确度低问题。 因此，迫切地需要一种有创新性方法去提高算法的性能。 本文方法结合了降维和分类器设计。由于实验获 得 的 时 间 序 列 数 据 集 具 有 连 续 且 局 部 相 关 性 高 等 特 点。稀疏局部保持投影优化保留了邻域结构的数据集[9]， 并且可以自适应地选择领域的个数以及计算权重值[10]。 因此选择稀疏局部保持投影（Sparse Local Preserving Projection，SpLPP）对 数 据 进 行 降 维 阶 段 的 特 征 约 简 。 现有的分类方法都是针对单一分类器，但是，在很多情 况下，集成分类器在性能和检测率方面要优于单一分类 器。随机森林分类器就具有这样的优点，并且不会出现 过度拟合[11]。基于上述思想，本文选用随机森林作为分 类器对人类行为进行识别。 本文方法先利用稀疏局部保持投影的降维方法，将 实验的数据集进行特征约简，进而得到最优的实验特征 子集，再用随机森林集成分类器完成人类行为的识别。 如图 1 所示，信号数据采集于嵌入在智能手机中的加速 度传感器和陀螺仪传感器。实验选用了人类日常活动 的六类常见行为，分别为：走、上楼梯、下楼梯、坐、站、 躺。第一步骤是特征提取，共提取出 561 个特征用于描 述每类活动，这些特征包括了常规的均值、相关性、信号 幅度区（SMA）和自回归系数等，也融入了不同频段的 能量、频偏和向量间角度等特征。接下来是对提取出的 561 个特征进行约简步骤，这一阶段，采用的是稀疏局部 保持投影的方法，得到的特征作为最优子集用于实验的 分类阶段。选用的是随机森林的集成分类器对最优特 征子集进行行为分类，最后高精度地识别出六类行为。 传感器 数据 特 征 提 取 SpLPP 特征 约简 RF 分 类 人 类 行 为 图 1 人类行为识别流程图 3.2 稀疏局部保持投影 数据降维方法根据数据的类型不同可分为线性降 维和非线性降维[12]。经典的线性降维算法有：主成分分 析（Principal Component Analysis，PCA）、多 维 尺 度 法 （Multidimensional Scaling，MDS）和线性判别分析（Linear Discriminant Analysis，LDA）。非线性降维算法即流形 学 习 也 提 出 了 很 多 具 有 代 表 性 的 算 法 ：等 距 离 映 射 （Isometric map，Isomap）、局部线性嵌入（Locally Linear Embedding，LLE）、拉普拉斯特征映射（Laplacian Eigen- maps，LE）、局 部 切 空 间 排 列（Local Tangent Space Alignment，LTSA）和局部保持投影（Locality Preserving Projections，LPP）等。PCA 和 LDA 这类经典算法目前已 经有了丰富的理论知识储备，并且在处理执行和分析操 作时相对简易。但是这类算法有一个缺点：较易忽略高 维数据空间的内在几何结构特征，最终导致低识别率[13]。 

朱响斌，邱慧玲：基于智能手机传感器数据的人类行为识别研究 2016，52（23） 3 如果实验用的数据集为人工的，LEE、Isomap 和 LE 等这 类流行学习算法可以得出比较优越的结果。但是面对 处理实际数据时，性能往往达不到预期效果，并且会产 生“外样本（out-of-sample）”问题。而 LPP 不仅可以克服 “外样本（out-of-sample）”问题还能够提升流行学习在处 理实际数据时的性能。 局部保持投影是一种流行并且有效的线性的流行 学习算法，它兼顾了流行学习方法和线性降维方法的优 点[14]，最大限度地保持高维数据集的邻域结构。当高维 数据映射到低维数据时，局部保持投影可以通过在流行 上运用 Laplace Beltrami 算子找到最佳线性近似的特征 函数得到。LPP 实质上是拉普拉斯非线性特征映射的 x }ÎRn ，找到一 线性逼近 [15]。给定一个集合 {x 1 m y }Î 个转移矩阵 A ，使得 m 个点映射到集合 {y 1 m Rl(l  n) 上，通过 y 。 将“替代”x 其准则函数为： 关系映射，y x 2 y 2 = AT x i i i i J = å n  n å y - y i  j 2W ij （1） i = 1 j = 1 为样本 x 式中，W ij 和样本 x j i 之间的投影权重。 为了得到转移矩阵 A ，需要计算最小化目标函数， i 。 i ; w  0j = 12m 范数求解稀疏表示的最优解[16]，使得局部邻域包含样本 的个数自适应，解决了参数选择问题，并且达到在降维 嵌入数据空间中保持输入数据重构关系的目的。 SpLPP 算法利用稀疏表示来构造局部保持投影算 ，通过计算 l1 范 。对每一个样本 x 法中的投影权重 W ij 数问题，找到它的稀疏重构权重系数 w  min w i x - Xw i w  i 2 + λ w i 1 ij w 式中，[w 向量，第 i 个系数元素为 0，其他系数元素 w ]T 是一个 m 维列 j ¹ i 表示 0w ii - 1 ii + 1 im i1 ij 每个样本元素 x 对于重构 x i j 的贡献。通过计算每个样 本的权重向量，最终得到稀疏重构权重矩阵 W = (w )  m ´ m ij i 为稀疏表示的最优解。 其中，w 3.3 基于稀疏局部保持投影的传感器数据降维 在本文实验中，基于算法 1 得到了原始传感器数据 的投影数据集 Y ，高维数据空间映射到了低维数据空 间，但是保留了传感器数据集的大部分局部信息，Y 也 作为新的输入数据用于下一阶段的 RF 分类处理。 算法 1 SpLPP feature reduction Inputs：X_train：train_data；y_train：train_label；X_test： test_data；y_test：test_label；Optains；W：Affinity matrix 具体计算推导如下所示： n  n å å = arg min A y opt - y i  j 2W ij i = 1 j = 1 æ çç è n  æ n å å çç è i = 1 j = 1 arg min AT x i - AT x j ö ÷÷ ø  = 2 W ij = ö ÷÷ ø Output：Ytrain；Ytest For j = 1 ® n j ¬ j + 1 X_train（j，：）=X_test（i，：） y_train（j，：）=y_test（i，：） arg min tr(AT XDX T A - AT XWX T A) = arg min tr(AT XLX T A) （2） 式 中 ，D 是 一 个 对 角 矩 阵 ，它 的 输 入 是 W 的 列 总 和 ， EndFor Compute the weight matrix W and get the low dimen- sion data Y D SpLPP feature reduction D ii n = å W j = 1 ij ；L = D - W 是一个 Laplacian 矩阵，W 是一 个 m ´ m 阶的稀疏对称矩阵，W 表示的是边缘邻近点 i ij 和 j 的权重值，如果不存在这样的边缘，则值为 0。 为 了 消 除 任 意 缩 放 因 子 ，加 入 限 制 约 束 条 件 YDY T = 1 ，那么，求解最小化目标函数的转移矩阵 A 问 题就可以转化为求解广义特征值中的最小特征值问题 来解决： i i x λ 2 a 2 = AT x a 征向量 a 1 ® y XLX T A = λXDX T A λ 根据求解的最小特征值 λ 1 a a 则 A = (a 1 d 2 A = (a a a 2 1 i （3） 得到相应的特 d ) 。最后有关系式： （4） 是一个 d 维的向量，A 是一个 n ´ d 维的矩阵。 局部保持投影算法的缺陷是在对选择局部邻域包 含的样本个数时不能自适应，并且领域图容易因为噪声 的影响发生改变 [10]。稀疏局部保持投影将局部保持和 稀疏性两者有效地结合，它通过在 LPP 算法中引入 L1 式中，y ) d d i For k = 1 ® s Ytrain（k1，：）=Y（k，：）； End for For m = s + 1 ® n Ytest（m1，：）=Y（m，：）； End for 3.4 随机森林 随机森林是一种基于模型聚合思想的有效集成分 类器，由 L.Breiman 在 2001 年时提出 [17]。它利用多棵树 对样本进行训练和预测。随机森林分类器由一系列简 单的决策树分类器组成： )h = 12n （5） h 式中，{Θ } 是独立同分布的随机向量，在给定自变量 x 下，每个决策树分类模型进行一票选取，得到最优的分 类结果。 k(xΘ k 随机森林算法结合了自主聚类（boostrap aggregation） 思想和 bagging 技术。目前已经证明了，当处理很多特 征冗余问题时，随机子空间选取的效果往往比 bagging 

4 2016，52（23） Computer Engineering and Applications 计算机工程与应用 的要优秀[18]。这类算法也具有一些其他的重要特征，例 如：内部错误估计、强度、变量重要性和相关性等。 随机森林目前在很多不同的领域都展现出了它的 强大功能。RF 良好的表现性能与每棵树的质量相关， 与森林中的树的相关性小[19]。这里，定义的树之间的相 关性为 OOB 样本的预测一般相关性。可以发现 Bootstrap 每次抽样后会出现接近 1/3 的袋外数据 OOB，OOB 样本 是观察值的集合，并不用于建立现在的树，在文献[20-22] 中，作者都建议可以用 OOB error 作为泛化误差估计的 一个重要组成部分，并且文献[20]通过经验性实例证明 OOB 错误估计与相同训练集一样容量的测试集得到的 精度一样，这也说明袋外数据（OOB）误差估计是一种可 以取代测试集的误差估计方法。 3.5 基于随机森林的人类行为识别 在随机森林分类器的设计中，有 mtry 和 ntree 两个 重要参数以及一个最终的分类决策重要等式。 mtry 表 示的是每次分割时随机选择输入变量的数目，mtry 数 目越大，模型中每棵决策树强度越大，本文实验设置的 mtry 数 目 sqrt(size(Xtrain2)) ；ntree 表 示 的 是 树 的 数 目，它决定了模型中集成的决策树数目，ntree 越大，模 型 收 敛 性 越 好 ，本 文 实 验 设 置 的 ntree 数 目 为 默 认 值 500。最终的分类决策等式： K(x) = arg max Y h å i = 1 (x) = Y ) I(k i （6） 表示了随机森林分类器使用多数投票决策的方式来确 定最终的分类，其中，K(x) 表示组合分类模型，k 是单 个决策树分类模型，Y 表示输出变量，I(×) 为示性函数。 在传感器数据进行特征约简的基础下，新的特征子 i 集用于随机森林的分类，基本步骤如下： （1）给定训练数据集 Xtrain ，训练标签 Ytrain ，测试 数据集 Xtest ，测试标签 Ytest 。 （2）从训练数据集 Xtrain 中有放回随机采样出 m 个样本，作为决策树的输入样本。 （3）从 Xtrain 特征数中随机选择出 sqrt(size(Xtrain2)) 个特征子集，作为每一个结点的输入变量。 （4）以 sqrt(size(Xtrain2)) 个特征的最优分裂作为 该结点的分裂规则。 （5）随机森林中的每棵树的完全生长过程，不需要 剪枝。 （6）预测，训练样本 Xtrain 生成的随机森林对每一 个测试样本 Xtest 进行投票判断行为类别，每棵树都对 测试数据集判断一种行为，所有的决策树分类结果决定 了最后的输出。 （7）识别率计算，通过预测步骤得到模型对测试样 本的预测标签 Y_hat ，对比预测标签 Y_hat 与测试标签 Ytest 得到每类行为的最终识别率。 4 实验 4.1 数据分析 实验的数据来自于公开网站 UCI 的机器学习知识 库，HAR 数据集采集的是 Samsung Galaxy SII 智能手 机上传感器数据，数据集分别包括加速度传感器和陀螺 仪传感器上的 X Y Z 轴数据。实验过程中，如图 2 所示， 30 名志愿者被要求完成 6 项人类日常生活活动（走、上 楼梯、下楼梯、坐、站、躺）2 次，第一次要求手机放在左侧 的皮带上，第二次对手机位置不做要求。在智能手环 内，分别嵌有加速度传感器和陀螺仪传感器，收集到的 信号的预处理方式为通过 2.65 s 的固定宽度的滑动窗口 采样（128readings/windows）以及 50%的重叠。最后，通 过计算变量的时域和频域得到用于实验的 17 个信号 （均值、标准差、信号幅度、熵以及信号对相关性等）。每 一个活动窗口用了 561 个特征描述，并且对数据进行标 准化后在 [-11] 之间。最后随机地将 70%的数据集用 于训练，30%用于测试。 （a）坐 （b）站 （c）躺 （d）走 （e）下楼梯 （f）上楼梯 图 2 人类日常行为示例图 值得注意的是，本文的实验设置了 6 项人类日常生 活活动，这是一个限制条件。事实上，可以加入更多更 复杂的物理活动，如：骑车、攀爬、跳跃等等。但当更多 的活动类别存在时，对行为活动的识别就会产生更大的 障碍。因为实验数据收集时，志愿者放置传感器的物理 位置不同，会使一些较为容易混淆的活动被误分到其他 类别中，那么就需要根据各个活动本身的特有属性进行 特征选取，这极大地加剧了实验的难度；同时由于志愿 者进行实验活动的次数不同，使得收集到的数据不均 衡，各个活动之间所含样本数目相差较大，这就需要考 虑到类别均衡问题，同样也会加大实验难度。鉴于此， 本文的实验只选用了较为基础的 6 项人类行为活动。 

朱响斌，邱慧玲：基于智能手机传感器数据的人类行为识别研究 2016，52（23） 5 4.2 实验结果分析 本文的实验方法是对数据先进行降维处理后再运 用分类器分类识别。如图 3，同样的分类器，进行了数据 经过降维处理和未处理两组实验对比。从实验结果对 比图可以看出：运用 SpLPP 特征约简后，所有人类行为 的识别率都有了明显的提高；活动走、下楼梯和躺都达 到了非常高的识别率；并且可以很明显地看到，原来因 为采集数据时志愿者佩戴移动设备的物理位置不同，站 是最难识别出的活动，但是经过降维处理后，识别率提 高了 13.54%。 110.00 100% 100.00 97.34% SpLPP-RF RF 98.87% 97.64% 99.73% / % 率 别 识 90.00 80.00 70.00 91.01% 躺 站 坐 下楼梯 上楼梯 走 图 3 数据降维前后行为识别率对比图 本文运用的 SpLPP 特征约简算法思想源自于郑忠 龙的文章 [16]。基于加速度和陀螺仪传感器数据，运用 SpLPP 降 维 后 ，特 征 数 量 由 561 降 到 了 84。 为 了 评 估 SpLPP 算法的表现，还在同样的 HAR 数据以及相同的 随机森林分类器基础下做了其他一系列实验研究，并将 他们的分类结果进行了对比评估。研究的其他降维算 法有：SpLPP（84）、RFIM（132）、PCA（118）和 LPP（157）。 如表 1 所示，经过 SpLPP（84）降维后的实验数据用于 RF 分类得到的最后识别率明显地高于其他降维方法。 表 1 不同特征约减技术的实验结果对比表 % SpLPP（84） LPP（157） RFIM（132） PCA（118） 走 上楼梯 下楼梯 坐 站 躺 总体精确度 99.73 97.64 98.87 91.01 97.34 100.00 97.43 99.60 95.33 98.57 89.61 96.24 100.00 96.56 97.18 89.81 84.52 85.34 90.41 100.00 91.21 98.19 94.48 81.19 81.67 92.86 100.00 91.40 同样，为了评估 SpLPP-RF 方法的有效性，也对比了 其他统计分类模型，例如：分类树（classification tree）、 两阶段隐马尔科夫模型（Two-stage CHMMs）、随机森 林以及多类支持向量机（Multi-class SVM）。这些方法 的行为分类结果如图 4 数据显示，同样的输入不同活动 的分类精度略有不同，尤其是下楼梯和坐这两个活动， 本文所提出的方法 SpLPP-RF 结果获得了高精度的分数 并且更有竞争力。 120.00 100.00 80.00 60.00 40.00 20.00 0 / % 度 精 SpLPP-RF TSCHMMs Classification Tree Multi-class SVM 走 上楼梯 下楼梯 坐 站 躺 图 4 不同分类器实验结果对比图 5 总结 本文提出了一种稀疏局部保持投影结合随机森林 （SpLPP-RF）方法去识别人类的一些普遍行为，并且证 明了该方法的有效性。SpLPP 算法可以非常专业地处 理真实的时间序列数据（如加速度和陀螺仪传感器数 据），不仅达到降维的效果，而且有助于提高行为分类的 准确率。RF 集成分类器优于其他的单一分类器，高效 地进行了人类行为识别的研究。 总体上说，本文算法已经取得了高性能的表现，但 是对于未来的实验研究，还有很多需要做的：在 SpLPP 进行特征约简的过程中，时间复杂度相对较高，还有一 些改进的空间；降维处理方面，可以探索更多的方法用 于人类行为识别的数据降维；数据特征处理方面，充分 分析获得的数据特征可以帮助减少空间和时间复杂度； 分类器方面，可以用于 HAR 实验的分类器算法还有很 多，但是最后产生的效果不同，因此，还有很大的挖掘空 间；最后，设计一个可以在线操作的智能手机平台的应 用程序也将是个很有价值的研究课题。 参考文献： [1] Kwapisz J R，Weiss G M，Moore S A.Activity recogni- tion using cell phone accelerometers[J].ACM SigKDD Explorations Newsletter，2011，12（2）：74-82. [2] Ekholm J，Fabre S.Forecast：mobile data traffic and reve- nue，worldwide，2010-2015[J].Gartner Mobile Communica- tions Worldwide，2011. [3] Anguita D，Ghio A，Oneto L，et al.A public domain data- set for human activity recognition using smartphone[C]// European Symposium on Artificial Neural Networks （ESANN），2013：437-442. [4] Bao L，Intille S S.Activity recognition from user-annotated acceleration data[M]//Pervasive computing.Berlin/Heidelberg： Springer，2004：1-17. （下转 49 页）