ANFIS与SVM的拟合能力和推广预测能力的比较研究.pdf-资料库

中国科技论文在线 http://www.paper.edu.cn ANFIS 与 SVM 的拟合能力和推广预测能力的比较研究1 丁德馨，张志军，贺桂成南华大学核资源与安全工程学院，湖南衡阳（421001） E-mail：dingdx@usc.edu.cn 摘要：岩土体位移与岩土体力学参数间的映射关系，具有高度非线性的特点。很多研究者都在试图建立一种描述这种非线性映射关系的方法。为此，本文采用一个多峰函数进行离散，构建了训练数据对和预测数据对，分别对 ANFIS 和 SVM 的拟合能力和推广预测能力进行了比较研究，结果表明，ANFIS 的拟合能力和推广预测能力均优于 SVM，更适合于建立岩土体位移与岩土体力学参数间这一高度非线性映射关系。关键词：ANFIS；SVM；拟合能力；推广预测能力。中图分类号： TU413.6+2; TU457 0 引言位移反分析方法的最关键问题是建立岩土体位移与岩土体力学参数间的映射关系，而这种映射关系具有高度非线性、高度复杂性等特点[1,2]，在数学上可由含有多个极值点的多峰曲面来近似描述。目前，采用最优化理论、人工神经网络技术（ANN）、遗传进化算法（GA）、支持向量机（SVM）、自适应神经模糊推理系统（ANFIS）、蚁群算法（AOC）等方法作为模拟系统对这种映射关系进行描述而建立的各种位移反分析方法[1~3]，均由于模拟系统本身的缺点而存在这样或那样的不足。因此，在众多学习算法中选择和确定既具有较强的拟合性能又具有较强的推广预测性能，并能很好地描述位移反分析映射关系的模拟系统，是亟需开展的一项研究。目前，应用最为广泛的当属 ANFIS 和 SVM，这是因为这两种学习方法均具有收敛快、稳定性好等特性[3]，这些正是研究和建立岩土体位移与岩土体力学参数间映射关系所需要的。为了选择出一种更适合的模拟系统，本文采用同一个多峰函数对 ANFIS 和 SVM 的拟合能力和推广预测能力进行比较研究。 1. 多峰函数的选取及数据对的获取所选取的多峰函数 Peaks[4]的表达式如下（为便于相对误差的计算，特将其函数值增加 10 以避免 0 值点）： z  yxf ,( )  10  1(3  ex ) 2 2  x y (  )1 2  　 (10 x 5  3 x  ey ) 3 2  x  y 2  　 1 3 e x (  )1 2 2  y (1) 式中 x 、 y 为该多峰函数的两个自变量， z 为其函数值。该多峰函数图形如图 1 所示。现在该多峰函数的定义域内取一包含了多个山峰的如下区域： 3x 3    3y 3    在其该定义域内进行离散，即取以 0.5 为跨度的均匀分布的格栅点为计算点，得到 169   ，这些训练数据 1,2, 个函数值。并将它们组成 169 个训练数据对( 1本课题得到了 2006 年教育部高校博士点专项基金资助项目(20060540001)、湖南省自然科学基金资助项目 (07JJ6169)、湖南省教育厅资助项目(05C491)、国家安全监管总局 2007 年度安全生产科技发展计划项目 (07-218)、湖南省安全生产科技发展指导性计划项目(2007-19)基金项目的资助。 ,13)  x y , i j ) j z ij i ( , -1-

http://www.paper.edu.cn 中国科技论文在线对列于表 1。另外，在该区域随机获取与训练数据对不相同的 15 个预测数据对，列于表 2。训练数据对用于训练 SVM 和 ANFIS 并检测它们的拟合能力，预测数据对则用于检测它们的预测能力。图 1 所选多峰函数的图形 Fig.1 Graph of selected multi-peak function 表 1 训练数据对 Table 1 Data pairs for training 变量 y －3.0 10.0001 10.0007 10.0034 10.0042 10.0299 10.1373 9.7550 9.7772 9.8900 10.0298 9.9957 9.9997 10.0000 －2.5 10.0003 10.0032 10.0147 10.0028 9.7654 9.0850 9.4308 8.5937 9.3121 9.8159 9.9739 9.9983 10.0000 －2.0 10.0007 10.0088 10.0468 10.0452 9.4079 7.3610 5.2404 5.6532 7.8976 9.4707 9.9384 9.9988 10.0004 －1.5 9.9995 10.0053 10.0789 10.3265 10.1483 7.9129 4.3197 4.2384 7.3651 9.5595 10.0429 10.0255 10.0036 －1.0 9.9912 9.9435 9.8699 10.3007 11.8559 12.2247 9.2761 7.7778 9.7271 10.8834 10.4996 10.1133 10.0130 －0.5 9.9745 9.8000 9.2011 8.7872 10.7969 13.5507 11.9975 10.3896 12.1978 12.5595 11.1224 10.2371 10.0265 表 1 训练数据对（续） Table 1 Data pairs for training (Continued) 0.5 9.9905 9.7532 8.8770 7.5077 8.0032 10.3898 10.4641 1.0 9.9863 9.8881 9.5192 9.1361 10.2289 12.7942 13.6886 变量 y 1.5 2.0 10.0000 10.0053 10.0797 10.5539 12.0967 14.5569 15.8591 9.9969 9.9811 9.9879 10.4784 12.6076 16.1956 17.9966 -2- 2.5 10.0002 10.0030 10.0316 10.1920 10.6872 11.4674 11.8850 0.0 9.9635 9.6990 8.6673 7.2264 8.3477 11.4796 10.9810 10.3744 12.9369 13.2695 11.4122 10.2968 10.0331 3.0 10.0000 10.0005 10.0053 10.0312 10.1099 10.2335 10.2999 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0

中国科技论文在线 http://www.paper.edu.cn 0.5 1.0 1.5 2.0 2.5 3.0 10.3754 12.3768 12.5576 11.0943 10.2292 10.0256 12.9344 12.4338 11.5813 10.5805 10.1148 10.0125 16.2513 13.2540 11.1853 10.2934 10.0463 10.0044 14.5675 12.2099 10.6771 10.1328 10.0167 10.0013 11.4685 10.6992 10.2050 10.0372 10.0042 10.0003 10.2336 10.1107 10.0320 10.0057 10.0006 10.0000 表 2 预测数据对 Table 2 Data pairs for predicting 自变量 x －1.4 0.5 1.4 1.9 －0.6 1.4 －0.2 －0.4 －0.6 0.6 －0.2 0.3 0.7 1.6 1.1 y 0.3 －2.1 0.1 －0.2 －1.8 2 1.7 －2.3 1.7 －1.6 1.2 －1.8 1.6 0.4 0.2 函数值 z 7.0206 6.3099 13.4554 11.7158 7.6250 10.8891 17.5918 8.1588 15.4560 4.6281 15.7284 3.9308 15.0608 12.5056 13.1822 编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 2. ANFIS 与 SVM 的拟合能力和推广预测能力的比较研究下面对 ANFIS 和 SVM 分别进行训练学习，以对它们的拟合能力进行比较，再采用预测数据对对它们的推广预测能力进行比较，从而提出建立岩土体位移与岩土体力学参数间的映射关系的更有效的方法。 2.1 SVM 映射关系的建立选用支持向量机的 v-SVR 回归模式，其核函数选用应用最广泛的径向基核函数（RBF） [5,6]，即： iK xx ), (  exp{  | x 2 | } i x  2  （1）其中 yxx ,( ) （i=1,2; x 1  x , x 2  y ) ）。其结构示意图如图 2。 -3-

中国科技论文在线 http://www.paper.edu.cn z ),( xxK ),( xyK x y 图 2 支持向量机结构示意图 Fig.2 The architecture of SVM 经过数百次的试验，核函数中的 r 函数设置为 0.2，控制训练误差和支持向量数目的参数 nu 设置为 0.1，惩罚因子 C 设置为 3499 时，所得的训练结果和预测结果最好。经历了 155863 次训练后，训练学习最小均方误差为 0.286129 ， SVM 对偶问题的最优目标值为 -67641.200982，SVM 决策平面中的常数项为-10.644263，支持向量的个数为 51 个，边界支持向量的个数为 7 个，训练结束。至此，SVM 映射关系已确立。 2.2 ANFIS 映射关系的建立同样采用表 1 的训练数据集，并采用 ANFIS 中的减法聚类算法对 ANFIS 结构进行训练 [4,7]。经过几次试验，ANFIS 的 4 个训练参数 Range of influence、Squash factor、Accept ratio 和 Reject ratio 分别设置为 0.5、1.25、0.5、0.15 时，即可同时满足拟合精度和预测精度，据此所建 ANFIS 模型结构如图 3 所示，该结构的每个输入变量均被自动赋予 8 个 Gaussmf 型隶属度函数，如式（1）。 f x ( ,  c , ) 2 ( x c )   e  2 2  (1) 图 3 ANFIS 模型结构 Fig.3 The architecture of the ANFIS model 图 3 中，input 为输入变量层，inputmf 为输入隶属度函数层，rule 为规则层，outputmf 为输出隶属度函数层，output 为输出结果。训练采用最小二乘法（LSE）和梯度下降法（GD）相结合的混合学习算法进行[4,7]。训练采用误差收敛准则，即当误差不再变化时结束训练，共经历了 760 次训练。当网络输出与目标输出的最小均方误差稳定于 0.12469 时，收敛准则得到满足，网络训练结束。至此，ANFIS 映射关系已确立。 -4-

中国科技论文在线 2.3 ANFIS 和 SVM 拟合能力的比较 http://www.paper.edu.cn 利用已建立的 ANFIS 映射关系和 SVM 映射关系，对表 1 所列函数值进行预测，预测结果即为 ANFIS 和 SVM 的拟合结果，结果列于表 3、表 4。－3.0 9.9928 9.9693 9.9464 9.9262 9.9025 9.8485 9.7773 9.7779 9.8415 9.8967 9.9384 9.9762 10.0131 0.5 9.8564 9.8004 9.1374 7.5585 7.9937 9.961 10.632 10.6771 12.5084 12.5639 11.0515 10.12 10.0551 表 3 ANFIS 拟合结果 Table 3 The fitting results by ANFIS 变量 y －2.5 10.0273 10.0074 10.0012 10.018 9.8871 9.2258 8.4518 8.667 9.4643 9.8458 9.9471 9.9906 10.0277 －2.0 10.0568 10.0474 10.0774 10.1128 9.4169 7.3121 5.2885 5.3419 7.8482 9.5582 9.9338 10.0038 10.0423 －1.5 10.0681 10.0512 10.0257 10.2421 10.1194 7.6153 4.5826 4.3315 7.3419 9.6069 9.9818 10.0217 10.0576 －1.0 10.0422 9.9911 9.6863 10.0626 12.0699 12.4049 9.039 7.8439 9.7903 10.9283 10.3256 10.0598 10.0737 表 3 ANFIS 拟合结果（续） Table 3 The fitting results by ANFIS (Continued) 变量 y 1.0 9.8757 9.8559 9.6834 9.252 10.0346 12.5169 13.8987 12.9691 12.3477 11.8388 10.562 10.0675 10.0411 1.5 9.9223 9.9149 9.9549 10.5003 12.8551 16.18 17.7363 16.2889 12.9629 11.2441 10.2077 10.0447 10.0281 2.0 9.9802 9.9717 10.0113 10.461 12.2157 14.6586 15.8957 14.8732 12.2436 10.6722 10.0467 10.0405 10.0152 2.5 10.0426 10.0316 10.0306 10.0993 10.4811 11.2682 11.7577 11.3572 10.6506 10.2042 10.0224 10.0385 10.0021 表 4 SVM 拟合结果 Table 4 The fitting results by SVM 变量 y －0.5 9.9694 9.8693 8.9938 8.5771 10.9496 13.2737 12.0975 10.3359 12.067 12.7751 11.1377 10.1356 10.0831 3.0 10.1066 10.0955 10.0907 10.0962 10.1247 10.1908 10.2497 10.238 10.1899 10.099 10.049 10.0326 9.9888 0.0 9.8885 9.7842 8.6734 7.2045 8.8528 11.2981 11.2007 10.5124 12.7761 13.1129 11.4237 10.1703 10.0718 －3.0 10.4341 10.1172 10.058 －2.5 10.7239 10.2847 10.1296 －2.0 10.3182 9.7126 9.6002 －1.5 9.9607 9.2824 9.3559 －1.0 10.0863 9.32 9.1927 －0.5 10.4988 9.6127 8.6035 0.0 10.6865 9.9468 7.9444 -5- 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 变量 x －3.0 －2.5 －2.0

中国科技论文在线 10.1709 －1.5 9.7131 －1.0 8.5787 －0.5 7.7074 8.1388 9.5684 10.5394 10.2468 9.6771 10.591 10.3349 10.5961 10.5862 10.4782 10.5006 10.453 9.9703 9.2721 9.2763 10.7232 0 0.5 1.0 1.5 2.0 2.5 3.0 10.3343 10.494 8.5365 5.774 4.962 6.9279 9.4531 10.0832 9.3017 10.0522 http://www.paper.edu.cn 9.8308 9.1479 7.0235 4.9233 4.9295 7.1739 9.5013 10.0449 9.5256 10.4224 10.6576 12.0708 11.3861 9.1287 7.9673 9.2114 11.0201 10.9319 9.3899 9.6006 9.5102 11.4765 12.2134 11.2738 10.5812 11.4745 12.6013 11.8453 9.6824 9.3033 7.6077 9.2052 10.7565 11.0676 11.0973 11.9453 12.7679 11.9414 9.8657 9.3097 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 0.5 10.3735 10.3112 8.1537 7.1135 8.2966 10.1854 11.1375 11.3124 11.6536 11.9836 11.3169 9.8667 9.5915 表 4 SVM 拟合结果（续） Table 4 The fitting results by SVM (Continued) 变量 y 1.0 9.7532 10.6111 9.3307 8.7753 10.2608 12.5167 13.6244 13.2187 12.2936 11.5063 10.6596 9.8101 9.9484 1.5 9.2738 10.5683 10.3184 10.7144 12.8318 15.4719 16.604 15.5544 13.3775 11.4191 10.1976 9.711 10.1326 2.0 9.2765 10.1517 10.1456 10.7695 12.8097 15.2807 16.3696 15.2912 12.9333 10.7901 9.6773 9.547 10.0941 2.5 9.8011 9.9365 9.5238 9.4687 10.3994 11.8379 12.6084 12.0678 10.7246 9.6175 9.3144 9.6361 10.1371 3.0 10.6234 10.7239 10.3532 9.7811 9.465 9.5103 9.6075 9.5106 9.3875 9.5754 10.1008 10.6039 10.7236 将表 3、表 4 的预测结果分别与表 1 相对照并进行计算相对误差，结果如表 5 和表 6 所示。变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 表 5 ANFIS 拟合结果的相对误差（%） Table 5 The relative errors of fitting results by ANFIS (%) 变量 y －3.0 0.0726 0.3143 0.5700 0.7800 0.6784 0.1438 0.2289 0.0069 0.4905 0.7376 0.5732 0.2350 －2.5 0.2703 0.0422 0.1344 0.1518 1.2463 1.5501 0.2490 0.8533 1.6343 0.3051 0.2690 0.0771 －2.0 0.5607 0.3856 0.3042 0.6730 0.0954 0.6640 0.9185 5.5062 0.6259 0.9234 0.0459 0.0496 －1.5 0.6858 0.4586 0.5279 0.8177 0.2843 2.5297 6.0869 2.1968 0.3145 0.4958 0.6087 0.0375 -6- －1.0 0.5101 0.4783 1.8606 2.3110 1.8048 1.4744 2.5561 0.8495 0.6501 0.4123 1.6570 0.5292 －0.5 0.0516 0.7075 2.2525 2.3908 1.4147 2.0441 0.8332 0.5172 1.0723 1.7166 0.1373 0.9919 0.0 0.7531 0.8784 0.0704 0.3028 6.0512 1.5807 2.0005 1.3299 1.2428 1.1803 0.1005 1.2288

中国科技论文在线 0.2765 0.1306 3.0 http://www.paper.edu.cn 0.4194 0.5403 0.6059 0.5646 0.3859 表 5 ANFIS 拟合结果的相对误差（续） Table 5 The relative errors of fitting results by ANFIS (Continued) 变量 y 1.0 1.1080 0.3253 1.7245 1.2682 1.8991 2.1672 1.5347 0.2681 0.6922 2.2238 0.1746 0.4673 0.2852 1.5 0.7461 0.6629 0.3302 0.2089 1.9628 0.0966 1.4462 0.2317 2.1964 0.5261 0.8328 0.0157 0.2370 2.0 0.1977 0.3360 0.6784 0.8798 0.9834 0.6984 0.2311 2.0985 0.2764 0.0456 0.8493 0.2376 0.1395 2.5 0.4235 0.2855 0.0100 0.9100 1.9280 1.7370 1.0711 0.9703 0.4542 0.0079 0.1470 0.3429 0.0184 表 6 SVM 拟合结果的相对误差（%） Table 6 The relative errors of fitting results by SVM (%) 变量 y －2.5 7.2358 2.8141 1.1473 1.6805 0.5353 5.5726 8.5801 5.2933 2.7519 7.3707 2.7361 3.2127 5.9100 －2.0 3.1748 2.9595 4.4452 2.1339 2.7633 4.5854 6.0516 12.8018 9.1634 0.3230 1.0716 4.7331 4.2198 －1.5 0.3879 7.2250 7.1738 0.0755 3.4065 9.2610 33.6674 17.0732 5.9364 1.1128 0.4013 7.2194 0.4858 －1.0 0.9518 6.2705 6.8611 3.4648 1.8126 6.8599 1.5891 2.4371 5.3016 1.2560 4.1173 7.1530 4.1190 3.0 1.0658 0.9502 0.8532 0.6483 0.1460 0.4176 0.4876 0.0427 0.7833 0.6678 0.4331 0.3195 0.1121 －0.5 5.2564 1.9109 6.4953 8.2278 6.2944 9.8689 6.0321 1.8442 5.9298 0.3328 6.4995 5.4187 7.2134 表 6 SVM 拟合结果的相对误差（续） Table 6 The relative errors of fitting results by SVM (Continued) 0.0 7.2565 2.5550 8.3401 5.2764 10.2725 6.2990 0.7886 6.9681 7.6649 3.7801 4.6371 4.1870 7.2100 1.0 2.3337 7.3118 1.9805 3.9492 0.3119 2.1690 1.5 7.2333 5.8831 3.3090 2.2523 1.7783 4.4685 变量 y 2.0 7.2348 1.4632 0.6538 2.0429 5.8942 4.9722 -7- 2.5 1.9911 0.6646 5.0620 7.0967 2.6929 3.2309 3.0 6.2340 7.2336 3.4772 2.4928 6.3789 7.0672 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0 0.5 1.0 1.5 2.0 2.5 3.0 变量 x －3.0 －2.5 －2.0 －1.5 －1.0 －0.5 0.5 1.1439 0.4838 2.9333 0.6773 0.1189 4.1273 1.6041 2.9083 1.0635 0.0501 0.3855 1.0676 0.2940 －3.0 4.3400 1.1649 0.5458 3.3056 6.2788 7.3357 7.4136 7.3989 5.6926 0.0012 7.2395 7.2343 7.2320 0.5 4.0419 5.7212 8.1483 5.2510 3.6657 1.9673

中国科技论文在线 0.4690 2.1980 1.1276 0.6476 0.7476 3.0123 0.6405 6.4353 9.0310 5.8432 4.5709 2.0064 3.5435 4.3304 http://www.paper.edu.cn 7.7381 4.2883 0.9318 2.0902 0.9307 3.3379 1.2814 0 0.5 1.0 1.5 2.0 2.5 3.0 从表 5 和表 6 的结果可以看出：SVM 拟合的最大相对误差为 33.66738%，最小相对误差为 0.00120%，平均相对误差为 4.60378%，且有 4 组数据的相对误差在 10%以上，相对误差在 1%以下者约占七分之一；ANFIS 拟合的最大相对误差为 6.0869%，最小相对误差为 0.0069%，平均相对误差为 0.8855%，相对误差在 1%以下者约占四分之三。 3.2190 4.9679 5.9247 1.0583 4.4958 4.6888 0.9279 6.0867 5.2256 0.2374 5.7574 7.2016 3.6795 1.3680 6.7224 7.0651 7.1525 4.5514 0.9505 6.0326 7.2360 因此，ANFIS 的拟合效果优于 SVM 的拟合效果。 2.4 ANFIS 和 SVM 推广预测能力的比较利用所建立的 ANFIS 映射关系和 SVM 映射关系，对表 2 所列函数值进行预测，预测结果即为 ANFIS 和 SVM 的推广预测结果。结果列于表 7。序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 表 7 ANFIS 与 SVM 的推广预测结果 Table 7 Generalization prediction results by ANFIS and SVM 自变量 x 1.4 －0.2 －0.4 －0.6 0.6 －0.2 0.3 0.7 1.6 1.1 －1.4 0.5 1.4 1.9 －0.6 y 2 1.7 －2.3 1.7 －1.6 1.2 －1.8 1.6 0.4 0.2 0.3 －2.1 0.1 －0.2 －1.8 平均相对误差函数值 z 10.8891 17.5918 8.1588 15.4560 4.6281 15.7284 3.9308 15.0608 12.5056 13.1822 7.0206 6.3099 13.4554 11.7158 7.6250 SVM 输出结果 ANFIS 输出结果预测值 11.1474 16.8580 7.31727 15.4329 4.87492 14.7725 4.22739 14.9106 12.1285 11.9911 7.14416 5.39351 12.5786 12.3618 7.80924 相对误差% 2.3721 4.1713 10.3144 0.1495 5.3331 6.0775 7.5453 0.9973 3.0154 9.0357 1.7600 14.5231 6.5163 5.5140 2.4163 5.31607 预测值 10.8935 17.2690 8.138 15.558 4.5849 15.7554 4.1128 15.0657 12.4584 13.044 7.0890 5.9706 13.2148 11.8432 7.5212 相对误差% 0.0408 1.8348 0.2554 0.6598 0.9334 0.1715 4.6303 0.0327 0.3776 1.0488 0.9740 5.3777 1.7883 1.0878 1.3613 1.3716 从表 7 可以看出，SVM 的预测结果有 2 组值相对误差在 10%以上，最大者为 14.5231%，小于 1%的只有 2 组，不到七分之一，平均相对误差为 5.31607%；而 ANFIS 的预测结果最大相对误差为 5.3777%，小于 1%的占到二分之一以上，平均相对误差为 1.3716%。因此，ANFIS 的预测结果更接近计算函数值，这说明 ANFIS 的推广预测能力亦比 SVM 强。 3. 结论 -8-

资料库

ANFIS与SVM的拟合能力和推广预测能力的比较研究.pdf

相关推荐

开发技术

热门标签

最新资料