一种新的模糊支持向量机.pdf

发布时间：2022-06-08 发布人：admin 分类：说明书资料大小：0.33M 资料格式：pdf 举报版权申诉

cc19870928-2791983-4744302542983722238.pdf-第1页.png

第1页 / 共4页

cc19870928-2791983-4744302542983722238.pdf-第2页.png

第2页 / 共4页

cc19870928-2791983-4744302542983722238.pdf-第3页.png

第3页 / 共4页

cc19870928-2791983-4744302542983722238.pdf-第4页.png

第4页 / 共4页

文本预览

Computer Engineering and Applications 计算机工程与应用 2009，45（25） 151 一种新的模糊支持向量机哈明虎，彭桂兵，赵秋焕，马丽娟 HA Ming-hu，PENG Gui-bing，ZHAO Qiu-huan，MA Li-juan 河北大学数学与计算机学院，河北保定 071002 College of Mathematics and Computer Science，Hebei University，Baoding，Hebei 071002，China E-mail：mhha@mail.hbu.edu.cn HA Ming-hu，PENG Gui-bing，ZHAO Qiu-huan，et al.New fuzzy support vector machine.Computer Engineering and Ap－ plications，2009，45（25）：151-153. Abstract：Fuzzy Support Vector Machine（FSVM），which are the design methods of membership functions are based on class- center，and can effectively overcome the problem that the Support Vector Machine（SVM） is sensitive to the noises and outliers； however，it assigns smaller memberships to the support vectors，which may decrease the effects of these support vectors to the the classification hyperplane.To tackle the above problem，a novel method to determine membership function is construction of proposed.At the same time，the training time of FSVM is generally long which is aroused by the high computational complexity of function.To reduce the training time of FSVM，the training samples are clustered by an effective sectional constructing its kernel set fuzzy C-means clustering（S2FCM） firstly.Then，the cluster centers are taken as training samples.According to the novel method to determine membership function and the S2FCM，a new FSVM is constructed.Experimental results show that the new FSVM can effectively enhance the training speed and classification accuracy rate. Key words：fuzzy support vector machine；membership function；sectional set fuzzy C-means clustering 摘要：基于类中心设计隶属度函数的模糊支持向量机能有效地解决支持向量机对噪声或孤立点敏感度高的问题，但是，由于它对支持向量赋予较小的隶属度，从而降低了其分类作用。基于此，提出一种新的隶属度函数设计方法；同时，针对模糊支持向量机普遍存在因核函数计算量大，而导致训练时间长的问题，通过使用一种高效的截集模糊 C-均值聚类方法对训练样本进行聚类，然后以聚类中心作为样本进行训练，以减少训练样本来提高训练速度。根据上述新的隶属度函数设计方法和截集模糊 C-均值聚类方法，构建了一种基于截集模糊 C-均值聚类并改进了隶属度函数的模糊支持向量机，数值试验表明这种新的模糊支持向量机有效地提高了训练速度和分类精度。关键词：模糊支持向量机；隶属度函数；截集模糊 C-均值聚类 DOI：10.3778/j.issn.1002-8331.2009.25.046 文章编号：1002－8331（2009）25-0151-03 文献标识码：A 中图分类号：TP391 支持向量机（Support Vector Machine，SVM）是一种基于统计学习理论的通用机器学习方法[1-2]，也是数据挖掘中的一项新技术[3]，最初于 20 世纪 90 年代由 Vapnik 等人提出。它使用结构风险最小化原则代替经验风险最小化原则，能较好地处理小完全属于两类中一类的样本分类正确率不高。针对这些不足， Lin 等学者[6]将隶属度的概念引入到支持向量机，构建了模糊支持向量机（Fuzzy Support Vector Machine，FSVM）。模糊支持向量机，是在支持向量机的基础上给每个样本分别赋一个隶属度样本情况下的学习问题[4]；同时采用了核函数思想，能把非线性问题转化为线性问题来解决。近来，由于 SVM 表现出了很强的泛化能力，能很好地克服维数灾难和过学习等传统算法所不可回避的问题，而日益受到广泛重视。但 SVM 目前还存在一定的局限性，例如对训练样本内的噪声或孤立点反应敏感[5]，对不是值，对不同的样本采用不同的惩罚权重系数，在构造目标函数时，使不同的样本有不同的贡献，对噪声或孤立点赋予很小的权值，从而达到消除噪声或孤立点的目的。在模糊支持向量机中，隶属度函数的设计是关键。Lin 等[6] 给出了一种基于类中心的隶属度函数设计方法，该方法简单易基金项目：国家自然科学基金（the National Natural Science Foundation of China under Grant No.60773062）；教育部科学技术研究重点项目计划 the Ministry of Education of China.No.206012）；河北省自然科学基金（the （the Key Scientific and Technical Research Project of Natural Science Foundation of Hebei Province of China under Grant No.2008000633）；河北省省教育厅科研计划重点项目（the Key Scientific Research Project of Department of Hebei Education of China under Grant No.2005001D）。作者简介：哈明虎（1963－），男，教授，主要研究方向：不确定信息处理，不确定统计预测与决策等；彭桂兵（1982－），男，硕士生，主要研究方向：不确定支持向量机；赵秋焕（1983－），女，硕士生，主要研究方向：不确定支持向量机；马丽娟（1982－），女，硕士生，主要研究方向：不确定支持向量机。收稿日期：2009-05-11 修回日期：2009-06-18

152 2009，45（25） Computer Engineering and Applications 计算机工程与应用行，但在减小噪声或孤立点作用的同时对支持向量赋予较小的隶属度，降低了支持向量对分类的贡献；同时对非均衡的样本，有时并不能很好地将噪声或孤立点从有效样本集中分离出来[7]。为此，提出了一种新的隶属度函数设计方法，不但提高了支持向量的隶属度，也考虑到了非均衡样本，对分离噪声或孤立点更有效。模糊支持向量机能够提高支持向量机的分类精度，但仍然因其所需内存需求大，核函数计算量大，训练时间长等不足而使应用不便。因此如何优化模糊支持向量机的训练速度就成为一个重要问题，本文应用一种新的高效软聚类方法—截集模糊 C-均值聚类（Sectional Set Fuzzy C-Means，S2FCM）[8]对样本个数进行优化约简来提高运行速度。截集模糊 C-均值聚类是模糊 C-均值聚类（Fuzzy C- Means，FCM）的一个改进[9]。FCM 是一种高效的“软聚类”算法，它允许一个样本以不同的隶属度属于所有不同的类。但在实际问题中，当一个样本属于某类的隶属度远大于属于其他类的隶属度时，应用最大隶属度原则，可以将其划为该类，不必再考虑其属于其他类的情况，只有对于属于各个类的隶属度都很接近的样本，才将其以隶属度与各类联系。为此，引入了截集模糊 C-均值聚类算法，此算法可以加快聚类速度并使聚类更加有效合理。基于上述新的隶属度函数设计方法和截集模糊 C-均值聚类算法，构建了一种新的模糊支持向量机。 1 一种新的隶属度函数设计方法为了减小噪声或孤立点对分类超平面的影响，Lin 等学者在文献[6]中提出了一种基于类中心的隶属度函数设计方法，使样本对分类所起的作用随着样本远离类别的几何中心而逐渐减小，这样可以弱化噪声或孤立点的影响。但是最优超平面主要是由距最优超平面距离最近的点即支持向量来确定的，而支持向量往往都离类别中心较远，按照文献[6]中的方法设计隶属度函数，在减小噪声或孤立点对分类超平面作用的同时，也大大弱化了支持向量对分类超平面的作用，其最终结果将会使所获得的分类超平面偏离最优分类超平面。如图 1 所示，从圆心到圆周，训练样本的隶属度依次减小，这样，支持向量（粗体表示）的隶属度很小，从而容易导致分类超平面偏离最优分类超平面。给出了一种新的隶属度函数设计方法，使样本对分类所起的作用随着样本远离类别的几何中心而逐渐增大，即将样本到类别几何中心的距离与该类中离类别几何中心最远的样本到类别几何中心的距离的比值定义为隶属度。但是，当样本与类别几何中心的距离大于阈值时，就给样本赋一个很小的隶属度，阈值是根据两类样本几何中心之间的距离和样本的稠密情况决定的。这样通过调整阈值，就可以使支持向量的隶属度较大，而噪声或孤立点的隶属度很小。如图 2 所示，从圆心到虚线圆周，训练样本的隶属度依次增大，而虚线圆周与实线圆周之间的训练样本则赋予很小的隶属度，这样，在给噪声或孤立点很小隶属度的同时，保证了支持向量（在虚直线上）有较大的隶属度，从而使分类精度较高。使用正类样本的均值作为正类的中心，记为 x +，即 x += 1/l + l + Σxi i=1 ；负类样本的均值作为负类的中心，记为 x -，即 x -= 1/l - Σxi。正类的半径 r += max ‖xi-x +‖，负类的半径 r -= i=1，2，…，l + l - i=1 ‖xi-x-‖。每个正类样本到正类中心的距离为 di + =‖xi-x+‖， max i=1，2，…，l- 并计算平均距离 m+=1/l + l+ Σdi i=1 +；每个负类样本到负类中心的距 l- - =‖xi-x-‖，并计算平均距离 m-=1/l- 离为 di 距离为 t=|x+-x-|，θ 为一个事先给定的很小的正数，作为噪声和孤立点的隶属度。λ>0 为一个控制因子，使 t·λ·m+/（m++m-）t·λ· m+ m++m- - ， di δ+di r- θ， di - ≤t·λ· m- m++m- >t·λ· m- m++m- 式中 δ 是足够小的正数，为了保证 si>0。 2 截集模糊 C-均值聚类算法（1）设数据集合 X奂Rs×n 的模糊 C-划分 U=[uik]c×n ，（1≤i≤c，为初始聚类中心 V={v1 ，v2 ，…，vc}[10]；步骤 2 计算 xk 范数：dik=‖xk -vi ‖ 2 A （1≤k≤n）到聚类中心 vi ；（1≤i≤c）的内积步骤 3 令 dc+1k=min{dik ，1≤i≤c}（1≤k≤n），返回 dc+1k 值对应的 i 的值，记作 s，并计算 pk= 1 m-1 1 dc+1k≤ ≤ / 1 m-1 c Σ 1 dik≤ ≤ i=1 。对每 1≤k≤n）及 λ∈[0，1]，令，1≤i≤c} Upk=max{Uik （2）（3） wik= ≤ 1，Upk≥λ and i=p 0，Upk≥λ and i≠p ，Upk<λ，坌1≤i≤ c uik 为数据集合 X奂Rs×n 的 λ 截集模糊 C-划分[9]。则 W=[wik]c×n 依据 Bezdek 的 ISODATA 算法来构建截集模糊 C-均值聚类算法（S2FCM），具体步骤如下[8]：初始化指数因子 m，停止误差 ε，分类类数 c，截集因子 λ= 0.5+1/（2c）。步骤 1 在数据集合 X={x1 ，x2 ，…，xn}，随机选择 c 个数据作

哈明虎，彭桂兵，赵秋焕，等：一种新的模糊支持向量机鄣L（w，b，ξ，α，β）鄣ξi =siC-αi-βi=0 2009，45（25） 153 （8）将这些条件代入到式（5），得到原问题式（4）的对偶规划为： max W（α）= l Σαi- i=1 1 2 l l Σ ΣαiαjyiyjK（xi ），xj i=1 j=1 。 s.t. Σαiyi=0，0≤αi≤siC i=1，2，…，l l i=1 （9）上式中 K（xi ，xj ）=zi·zj=φ（xi （w·zi+b）-1+ξi ）·φ（xj ）=0，i=1，2，…，l ）为核函数。Kuhn-tucker 条件为：（yi αi （siC-αi ）ξi=0，i=1，2，…，l 相应的决策函数为：一个 xk （1≤k≤n）进行如下处理：如果 dc +1k =0，或者 dc +1k ≠0 但 pk ≥λ，那么 wik = i=s ≤ 1 0 i≠s，坌1≤i≤ ； c 1 如果 dc+1k≠0，且 pk<λ，那么 wik= m-1 1 dik≤ ≤ 1 m-1 c Σ 1 / dik≤ Σ i=1 通过上面的计算得到 W=[wik]c×n ；步骤 4 用非零的 wik 计算 vi= 的聚类中心 Vl+1； n k=1 Σ（wik ）mxk/ Σ（wik ）m，得到新 n k=1 步骤 5 如果‖Vl+1-Vl‖2≤ε，迭代终止，并且输出聚类中心 Vl+1，否则令 l=l+1，返回步骤 2。在 S2FCM 算法中，当 λ>0.5 时，在式（3）的条件下某些列只有一个，计算隶属度时，只要出现满足式（3）的非零非零 wik ，则可以马上得到该样本隶属度，且计算过程中均为稀疏矩 wik 阵，所以具有很快的收敛速度，与模糊支持向量机核函数计算量相比具有明显优势。 3 新的模糊支持向量机主要讨论两类分类的情况。假设训练样本表示为：（x1′，y1′），（x2′，y2′），…，（xn′，yn′）每个样本的特征表示为 xi′∈Rn，类标识为 yi′={-1，1}，i=1，2， …，n。使用截集模糊 C-均值聚类算法对样本进行聚类，得到新的训练样本，y1 ），yl ，y2 ），（x2 ），…，（xl （x1 用隶属度函数设计方法计算出各个样本的隶属度 si （0< si≤1，i=1，2，…，l），它表示第 i 个样本属于正常的程度，从而得到模糊支持向量机的训练样本），…，（xl ），（x2 （x1 ，y2 ，y1 ，s2 ，s1 ，yl ，sl ）其中 xi∈Rn，类标识为 yi={-1，1}，隶属度为 si ，i=1，2，…，l。假设 z=φ （x）为训练样本从输入空间 Rn 到高维特征空间 Z 的映射关系。由于隶属度 si 表示该样本属于某类的可靠程度，ξi 是支持为带权的误差项，由向量机目标函数中的分类误差项，则 si ξi 此得到最优分类面为下面目标函数的最优解 min Φ（w，ξ）= 1 2 w·w+C（ Σsi ξi ） l i=1 s.t. yi[（w·zi ）+b]-1+ξi≥0，i=1，2，…，l ξi≥0，i=1，2，…，l （4）其中，惩罚因子 C 为常数，si 在对式（4）优化问题所起的作用就越小。为求目标函数的最优解，构造拉格朗日函数越小，则相应的样本 xi L（w，b，ξ，α，β）= l Σsi ξi- w·w+C 1 2 其中，αi 在鞍点处变量满足： i=1 ，βi≥0 为 Lagrange 乘子。 l Σαi i=1 （yi （w·zi+b）-1+ξi ）- 鄣L（w，b，ξ，α，β）鄣L（w，b，ξ，α，β）鄣w 鄣b =w- l Σαi yi zi=0 i=1 =- l Σαi yi=0 i=1 l Σβi ξi i=1 （5）（6）（7）（10）（11） l f（x）=sgn（ ΣαiyiK（xi αi=0 对应的样本 xi i=1 ，x）+b）是被完全正确分类的，αi>0 对应的样本被称为支持向量。这里有两种类型的支持向量，一种满足 0< 位于分类超平面附近；另一种满足 αi=siC 的为被误分类的样本。模糊支持向量机方法和支持向，同样 αi xi αi

194 2009，45（25） Computer Engineering and Applications 计算机工程与应用跟踪结果，此时目标 002 退出公共视场，而新目标已经出现。图 4 显示了目标 001 和目标 002 在空间的三维运动轨迹。表 1 给出了实验对运动目标的深度和一定时间段内目标的运动速度的测量结果。 500 400 300 200 100 0 -85 -90 -95 -100 -220 -200 -140 -160 -180 （a）目标 001 空间运动轨迹 500 400 300 200 100 0 - 148 -150 -152 -154 -156 -200 -160 -180 -120 -140 （b）目标 002 空间运动轨迹图 4 目标空间运动轨迹根据实际观察，并使用刻度尺和坐标纸定点对目标深度和速度进行了测量和估计，结果与该文获得的测量结果基本一致。此外，从获得的目标 001 和 002 的三维坐标序列变化规律上看，由于实验中目标 001 和 002 都是在地板上做近似直线运动，因此在它们的三维坐标序列中，z 坐标应该基本不变（目标高度没有变化），y 坐标变化不大（目标做近似直线运动），x 坐标变化显著，而图 4 符合上述分析。 6 结论将视频序列中运动目标跟踪与双目立体视觉相结合，在双目环境下实现了空间运动目标的跟踪，测量了目标的深度和运动速度，获得了预期的实验结果。通过对该问题的研究表明：应用双目立体视觉技术能够将传统的运动目标跟踪从二维图像拓展至三维空间，具有重要的实际应用意义。完善系统算法，进一步扩大系统测量范围，研究复杂场景下运动目标的跟踪与三维测量是今后工作的重点。（上接 153 页）参考文献： [1] Vapnik V N.The nature of statistical learning theory[M].New York： Springer-Verlag，1995. [2] Cristinanini N，Shawe -Taylor J.An introduction to support vector machines[M].Cambridge：Cambridge University Press，2000. 表 1 目标 001、002 质心测距、测速结果目标 001 目标 002 视频序列帧号深度视频序列帧号深度 210 226 242 258 274 290 306 322 338 354 540.937 1 536.842 6 538.815 4 531.781 9 529.426 1 527.323 4 525.624 4 521.889 8 524.254 7 523.644 0 252 260 268 276 284 292 300 308 316 324 522.820 2 531.091 3 533.250 4 535.714 5 540.741 2 540.453 5 546.950 6 541.550 6 544.590 7 545.244 0 520.236 5 370 平均速度=8.82 mm 332 平均速度=19.934 mm 546.298 5 参考文献： [1] Collins R T，Lipton A J，Kanade T.Introduction to the special section on video surveillance [J].IEEE Trans on Pattern Analysis and Machine Intelligence，2000，22（8）：745-746. [2] Wei G Y，Li C F.Design and implementation of visual servoing IEEE and Automation，2001，1： International Conference on Robotics realistic air system for target tracking [C]//Proceedings of 229-234. [3] 邵文坤，黄爱民，韦庆.目标跟踪方法综述[J].影像技术，2006，18 （1）：17-20. [4] Comaniciu D，Meer P.Mean shift analysis and application [C]// the 7th IEEE International Conference：Computer Proceedings of Vision，1999. [5] Comaniciu D，Ramesh V，Meer P.Real -time tracking of non -rigid objects using Mean Shift[C]//IEEE Conference on Computer Vision and Pattern Recognition，2000. [6] Bar-Shalon Y，Fortmann T.Tracking and data association[M].Boston： Academic Press，1988：106. [7] 王江涛.遮挡情况下基于 Kalman 均值偏移的目标跟踪[J].系统仿真学报，2007，19（18）. [8] 王宾，潘建寿，王琳，等.基于多特征融合的均值偏移视频目标跟踪算法[J].小型微型计算机系统，2006（9）. [9] Tsai R Y.Accuracy analysis and prediction for 3d robotics vision metrology，Technical Report RC 11348[R].IBM Research. [10] Tsai R Y.A versatile camera calibration technique for high - accuracy 3D machine vision metrology using off -the -shelf TV cameras and lenses[J].IEEE Trans Rob Autom，1987，3：323-344. [11] 马颂德，张正友.计算机视觉———计算理论与算法基础[M].北京：科学出版社，1998. machines[C]//Wisconsin：IEEE Conference on Neural Networks for Signal Processing，1999：3-11. [6] Lin Chun -fu，Wang Sheng -de.Fuzzy support vector machines [J]. IEEE Transactions on Neural Networks，2002，13（2）：464-471. [7] 张桂香，费岚，等.非均衡数据的去噪模糊支持向量机新方法[J].计算机工程与应用，2008，44（16）：142-144. [8] 裴继红，范九伦，谢维信.一种新的高效软聚类方法：截集模糊 C-均 [3] 邓乃扬，田英杰.数据挖掘中的新方法—支持向量机[M].北京：科学值（S2FCM）聚类算法[J].电子学报，1998，26（2）：83-86. 出版社，2004. [9] Bezdek J C.Pattern recognition with fuzzy objective function [4] Vapnik V N.Statistical learning theory[M].New York：Wiley，1998. [5] Zhang Xue-gong.Using class-center vectors to build support vector algorithms[M].New York：Plenum Press，1981. [10] 边肇祺，张学工.模式识别[M].北京：清华大学出版社，2007.

分享到：

赞收藏

资料库

一种新的模糊支持向量机.pdf

相关推荐

课程资源

热门标签

最新资料