logo资料库

矿井突水水源判别的ESN正则化模型.pdf

发布时间：2022-05-30 发布人：admin 分类：说明书 资料大小：1.88M 资料格式：pdf 举报 版权申诉
第1页 / 共7页
第2页 / 共7页
第3页 / 共7页
第4页 / 共7页
第5页 / 共7页
第6页 / 共7页
第7页 / 共7页
资料共7页，全文预览结束
    第 46 卷 第 1 期 2018 年 2 月 煤田地质与勘探 COAL GEOLOGY & EXPLORATION Vol. 46 No.1 Feb. 2018 文章编号: 1001-1986(2018)01-0108-07 矿井突水水源判别的 ESN 正则化模型 李垣志，牛国庆，张轩轩 (河南理工大学安全科学与工程学院，河南 焦作 454000) 摘要: 针对标准回声状态神经网络(ESN)因病态解而导致水源判别模型准确率低，精度差的问题， 提出了将 6 种正则化方法与 ESN 神经网络相结合，并应用于矿井突水水源的判别，与标准 ESN 模 型 的 判 别 结 果 进 行 对 比 分 析 。 结 果 表 明 ：ESN 模 型 易 出 现 过 拟 合 问 题 ， 判 别 准 确 率 只 有 49%~88%；而采用阻尼最小二乘奇异分解法(DSVD)与广义交叉验证法(GCV)相耦合的正则化方法 能够较好的解决模型病态解问题，使模型的准确率提高到 100%，最佳判别精度比标准 ESN 模型 提高了 64%，稳定性提高了 61%；且该方法对不同规模的储备池结构表现出较强的适应性，不仅 简化了模型的映射关系，提高计算效率，还增强模型的泛化能力。因此，基于 GSVD_GCV 正则 化的 ESN 水源判别模型可作为一种快速有效判别矿井突水来源的新方法。 关 键 词 ：突水水源判别；回声状态网络；正则化；奇异分解；交叉验证 中图分类号：TD745 文献标识码：A DOI: 10.3969/j.issn.1001-1986.2018.01.019 ESN regularization model for discriminating mine water inrush source LI Yuanzhi, NIU Guoqing, ZHANG Xuanxuan (School of Safety Science and Engineering, Henan Polytechnic University, Jiaozuo 454000, China) Abstract: Aiming at the problem that the standard echo state neural network(ESN) is over-fitting due to the ab- normal solution, six kinds of regularization methods are combined with ESN neural network and applied to discriminate mine water inrush source. The models were evaluated and compared with the standard ESN model. The results show that the ESN water source discrimination model is prone to over-fitting, and the accuracy of discrimination is only 49% ~88%. The damping least squares singular decomposition method(DSVD) combined with generalized cross validation meth- od(GCV) called as the regularization method can improve the accuracy of the model, the accuracy of the model is im- proved to 100%, the best accuracy is about 64% higher than that of the standard ESN model, and the stability is improved by about 61%, and the method is adaptable to the reserve pool, which can simplify the complex mapping of the model, improve the computational efficiency, and enhance the generalization ability of the ESN discrimination model. Therefore, the ESN water source discrimination model based on GSVD-GCV regularization can be used as a new method to deter- mine the source of water inrush in a rapid and effective way. Keywords: water inrush source discrimination; echo state networks; regularization; singular decomposition; cross validation 矿井水害是煤矿的主要灾害之一，是制约煤炭 资源开发和影响煤炭企业安全的重要因素[1]。随着 我国煤炭开采深度和强度的不断增大，在开采过程 中产生的剧烈扰动使地下涌水通道相互贯通，含水 层的完整性遭到严重的破坏。一旦发生矿井突水， 必须快速、准确地查明突水来源，以便为后续展开 防治水工作提供理论依据和指导。由于地下水的水 化学特征能够准确、有效地反映含水层的物化特性， 因此，根据水化学特征来判断突水来源具有快速、 准确、经济的特点[2]。但地下涌水通道错综复杂， 水质的水化学特征随时间和空间发生一定的变化， 所以地下水的水化学特征表现出高度的非线性关 收稿日期: 2017-05-05 基金项目: 教育部创新团队发展计划项目(IRT_16R22) Foundation item：Innovation Team Development Program of Ministry of Education (IRT_16R22) 第一作者简介: 李垣志，1991 年生，男，河南新乡人，硕士研究生，从事矿山灾害防治理论与技术研究工作. E-mail：251101819@qq.com 通信作者: 牛国庆，1968 年生，男，河南安阳人，博士，教授，从事矿山安全技术及工程等方面研究. E-mail：343697125@qq.com 引用格式: 李垣志，牛国庆，张轩轩. 矿井突水水源判别的 ESN 正则化模型[J]. 煤田地质与勘探，2018， 46(1)：108–114. LI Yuanzhi，NIU Guoqing，ZHANG Xuanxuan. ESN regularization model for discriminating mine water inrush source[J]. Coal Geology & Ex- ploration，2018，46(1)：108–114 中国煤炭期刊网 www.chinacaj.net
    第 1 期 李垣志等: 矿井突水水源判别的 ESN 正则化模型 · 109 · 系，采用传统的数学模型难以准确判别。 目前，随着机器学习型算法在数据挖掘方面的 飞速发展，已被广泛应用于各种学科领域，尤以神 经网络[3]、支持向量机(SVM)[4-5]、遗传算法(GA)[6] 和微粒群算法(PSO)[4,7]等模型为研究热点。目前， 不少学者已将其应用于矿井突水水源的判别，并取 得了一定的成果。然而任何一种模型都存在自身的 缺陷，传统神经网络具有较强的非线性逼近能力， 但其训练效率低，易陷入局部最小；SVM 泛化能力 强，但不适用于过大的训练样本，训练时间长且效 果不佳；而采用全局优化算法与传统神经网络相结 合的方法，虽解决了局部最优问题，改善并提高了 模型的稳定性和准确性，但全局算法计算复杂，寻 优过程极其耗时，实效性差，不易操作。然而，回 声状态神经网络(ESN) 在非线性系统辨别方面较传 统的神经网络有较大的改进[8]。具有训练算法简单， 计算方便，全局最优等优点。目前该算法已被应用 于时间序列预测[9]、光伏发电输出功率预测[10]、网 络流量预测[11]、交通流预测[12]等领域。但 ESN 模型 也具有不足之处，标准的 ESN 模型因状态矩阵条件 数过大，导致采用伪逆法计算的网络输出权值幅动 较大。若测试样本稍有偏差，将会对网络输出产生 较大的影响，模型的准确性、稳定性及泛化能力大 大降低，过拟合问题严重。 因此，为解决上述问题，笔者分别将 6 种正则 化方法与标准 ESN 模型进行耦合，通过对比分析， 找出一种能够有效解决模型病态解，从而提高模型 准确性、稳定性及泛化能力的方法。 1 样本特征分析 -、Cl-、SO4 选取的水源样本来自文献[13]的某矿 26 个典型 突水资料，该样本包含了 11 个水化学特征组分： 2-、总硬度、 Ca2+、Mg2+、K+、Na+、HCO3 碱度、pH、总矿化度(TDS)。其中 1-6 和 X1-X3 号 样本为 4-6 煤顶板水作为第 1 类水源；7-13 和 X4-X5 号样本为奥灰水作为第 2 类水源；14-20 和 X6 号样 本为 6 煤底至奥灰砂岩水作为第 3 类水源。采用 Rock Ware AqQa 软件对该样本的 6 大常规离子和 pH、TDS 绘制了 Durov 图，如图 1 所示。 图 1 中 2 个三角区域为阴阳离子相对浓度分布， 中间方形区域为离子浓度综合分布情况，2 个矩形 区域分别为 pH 和 TDS 分布。从方形区域可以看出 第 2 类水源分布较为集中，结合三角区域阴阳离子 分 布 可 初 步 得 出 该 水 源 的 水 质 类 型 为 SO4·Cl— K+Na 型。第 1，3 类水源分布较为分散且相近，其 水质类型难以确定。3 种水源样本不同程度出现交 叉重叠分布，水源特征分布与突水类型存在较为复 杂的非线性映射关系，故采用简单的成分分析法难 以准确的判别突水来源。 图 1 含水层水化学特征 Durov 图 Fig.1 Durov diagram of hydrochemical characteristics of aquifer 2 基于正则化的 ESN 神经网络 2.1 ESN 神经网络 ESN 是一种新型递归神经网络，由 H. Jaeger 在 2001 年首次提出[11-12,14]。主要由输入层、中间层 (储备池)、输出层 3 部分组成，如图 2 所示。与传 统的 BP 神经网络不同的是 ESN 神经网络采用了储 备池结构和快速的权值训练方法。储备池结构中含 有大量且稀疏连接的神经元，该结构具有逼近任意 复杂非线性映射关系的能力；标准 ESN 神经网络是 采用伪逆法计算网络输出权值 Wout，这种权值训练 策略可以有效地提高模型的学习效率，其结果为全 局最优解。 图 2 ESN 神经网络结构 Fig.2 ESN neural network structure 储备池状态更新方程和结果输出方程[11]： x n ( W y 1) back n    f W u   in  inter f 1)  out W u (   out  1    n   Wx n  x n 1 , (   1))     n ( ) (1) (2) y n (  中国煤炭期刊网 www.chinacaj.net
    · 110 · 煤田地质与勘探 第 46 卷 式中 u(n)∈RK 为输入变量；K 为样本特征维度；y(n) ∈RL 为输出变量，L 为样本输出维度；x(n)∈RN 为 状态变量，N 为储备池神经元个数；n 为样本数量； finter、fout 分别为储备池激活函数和逆激活函数；Win ∈RK×N、W∈RN×N、Wback∈RN×L 分别为输入层、中 间层、反馈层连接权重，在训练过程中保持不变。 根据式(1) 收集每个样本的输入变量和状态变 量[u(n)，x(n)]到矩阵 M∈Rn×(K+N)，再由式(2)算与 M 相对应的输出矩阵 Y∈Rn×L，最后根据式(3)计算出 输出权重 Wout∈R(K+N)×L。  YMMM T (3) YM  W ) T  1 ( 式中 M+为矩阵 M 的伪逆。 out 从式(3)可以看出，ESN 神经网络的训练过程转 化为对 Wout 的求解过程，由于 M 的法矩阵条件数非 常大，直接求逆会导致 Wout 的不稳定。故对 M+采用 奇异值分解法(SVD)[15]。首先对 M 进行 SVD 分解： (4) M U ΣV σ v  T T I   i u i  1 i i 式 中 U∈ R n × I 和 V∈ R ( K + N ) × I 为 正 交 阵 ；Σ = diag (σ1,σ2,…,σI)∈RI×I，σ1≥σ2≥…≥σI＞0 为矩阵 M 的奇异值；ui，vi 分别表示 U，V 的列向量。 因此，Wout 可表示为： W out   1 T  M Y VΣ U Y  I T u Y   i σ i i 1  v (5) i 通常认为||W out||2 较小时为稳定解，但由式(5) 可以看出，i 较大时，σi 取较小的值，此时 Wout 将会 输出一个较大的值，导致||Wout||2 就大，从而产生不 稳定解。因此，采用伪逆法求得的 Wout 即使可以保 证学习精度无偏差，但如果待测样本对应的状态矩 阵 Mtest 稍有偏差，将会导致 Mtest×Wout 的计算结果 被放大。即，模型的学习精度很高，但预测能力却 差，模型出现过拟合。故引入了 Tikhonov、阻尼最 小二乘奇异分解法(DSVD) 和截断奇异值法(TSVD) 3 种不同正则化方法来解决 ESN 神经网络 Wout 的训 练问题。 2.2 Tikhonov 正则化方法 Tikhonov 正则化方法是当前病态问题解算中应 用普遍性最高的一种方法[16]。对于病态的线性方程， 吉洪诺夫提出了如式(6)所示的计算准则： Y - MW (6) 式中 R 为正则化矩阵；||·||表示欧式范数，λ 为正则 化参数。 RW min 2   out out 2 2 2 2 式(6)左边第一项为偏差项，第二项为解的方差 项，是对偏差的惩罚项，λ 可以权衡模型的偏差与 解的方差。该准则既要保证偏差最小又要兼顾解的 幅动不能过大。 据 Tikhonov 正则化方法，式(6)的解可以表示为： (7) I) M Y (M M W λ T T  2 1  式中 I 为单位阵，即 R=I。 out  将式(3)代入式(6)整理可得： u Y I W o u t   i  f i T i σ i v (8) i 1 2 σ i 2  i f i  σ (9) 2 λ 对比式(5)和式(8)可以发现 Tikhonov 正则化实 际上引入了维纳滤波因子 fi，主要是通过调整 λ 来 减弱较小奇异值对解的影响，从而减弱了病态问题。 2.3 阻尼最小二乘奇异分解法(DSVD) 阻尼最小二乘法又称马奎特法[17]。式(3)与最小 二乘的表达相似，马奎特提出给系数矩阵 MTM 的 对角矩阵加上一个常数，以改善方程的条件，见式 (10)。 T (   out W M M I M Y (10) 同理，采用 SVD 分解法，将式(4)代入式(10) 整理可得与式(8)一样的形式，不同的是维纳滤波因 子变为 fi’： )  T 1 ' f i 2 σ i 2 σ  i  (11) 由式(11)可以看出引入的阻尼因子 α 可以对奇 异值的大小进行调整，削弱奇异值对解的影响程度。 2.4 截断奇异值法(TSVD) TSVD 法[18]主要原理是将 Σ 中较小的奇异值舍去， 从而消除较小奇异值对 Wout 的影响，具体做法是：首 先设定一个阈值 β，通常该阈值选择 Σ 中的某个奇异 值。当 σi<β 时，将该值舍去，否则，保留。因此，当 截断点为 d 时(d
    第 1 期 李垣志等: 矿井突水水源判别的 ESN 正则化模型 · 111 · 用于 ESN 水源判别模型中，对比分析它们的优缺点， 最终选择一种较为理想的水源判别模型。 5.1 数据预处理 从文献[13]表 1、表 2 中随机选取 X3、X5 和 X6 号样本作为预测样本，余下的 23 个为训练样本， 并对样本数据归一化处理。将 11 种水化学特征作为 模型的输入变量，并对突水类型进行编码作为模型 输出变量，“1”代表 4-6 煤顶板水；“2”代表奥灰水； “3”代表 6 煤底至奥灰砂岩水。 5.2 网络参数设定 在训练样本中采用交叉验证的方法反复调整标 准 ESN 模型参数至最佳，具体参数设定见表 1。 表 1 ESN 网络参数设定 Table 1 Setting of ESN network parameters 结构 fout (15) 11×[102~103]×1 sigmoid finter tanh R 0.5 ISin, out, back [0.1 0.3 0] D/% 1 对应的||MW out–Y||和||Wout||所构成的“L”型双对数曲 线图，并根据式(14)计算 L 拐角(曲率最大)处的 λ 值。 令 ρ(λ)=2lg||MWout–Y||，η(λ)=2||Wout||，有： K  2 η ρ ( ) ( )      2   ρ ( )   ρ   η  η ( ) ( )     3 2 2  ( )  (14) 式中 η′、ρ′和 η″、ρ″分别为对 η、ρ 求一阶和二阶导数。 3.2 GCV 法 广义交叉验证法主要是通过交叉检验的方式验 证不同的 λ 值。设将训练样本分为 Z 组(Z>1)，取其 中一组作为验证集，余下(Z–1)组作为训练集，每确 定一个 λ 值就会对应一个正则化解，根据该解计算 验证集误差，反复重复 Z 次，使所有的训练样本都 被检验过一次，得到 Z 组验证集误差，误差越小， 认为对应的 λ 值越好。GCV 公式可表示为：    G λ outMW  式中 Tr(·)为矩阵的迹。 I M M M  Tr       T 2  Y  2 λ 1   I M T 2       通过理论分析，将上述正则化方法嵌入标准 ESN 神经网络，并结合实际矿井突水水源样本，建立了基 于正则化的 ESN 水源判别模型，算法流程如图 3 所示。 4 基于正则化的 ESN 神经网络 表 1 中 fout 为输出层激活函数；R 为谱半径； ISin,out,back 分别为输入层、输出层、反馈层比例因子； D 为储备池的稀疏度。 5.3 储备池规模对判别结果的影响 ESN 神经网络储备池规模(N)的大小直接影响 模型的复杂程度和判别精度。N 值越小，模型越简 单，但精度差，易出现欠拟合；N 值越大，模型越 复杂，精度高，易出现过拟合。故选择合适的 N 值 对判别结果的准确性有着至关重要的作用。因此， 将 N 值按梯度上升的方法从 100 取到 1 000，间隔 为 10，不同的 N 值分别运行 20 次，分别记录每 20 次的误判个数和判别精度，最后分别从模型的回判 误判率、回判精度、预测误判率和预测精度 4 个方 面对 6 种模型进行评估，并与标准 ESN 模型进行对 比，运行结果见图 4—图 7。 图 3 基于正则化的 ESN 神经网络流程图 Fig.3 Flow chart of ESN neural network based on regularization 5 实例应用与分析 笔者将第一、二节所述的正则化方法和正则化 参数确定方法相结合，分别为 Tikhonov_L 曲线法、 Tikhonov_GCV 法、DSVD_L 曲线法、DSVD_GCV 法、TSVD_L 曲线法、TSVD_GCV 法，并将它们应 图 4 回判误判率对比图 Fig.4 Comparison of the rate of re-discrimination and mis-discrimination 中国煤炭期刊网 www.chinacaj.net
    · 112 · 煤田地质与勘探 第 46 卷 由图 4 可知，采用 L 曲线法的 Tikhonov 回判误 判率最高，TSVD 有所降低，但随着 N 值的增加误 判率出现“U”型变化趋势；而采用 GCV 法计算的正 则化参数对模型的准确率较 L 曲线法有了明显的提 高，但无论采用哪种参数计算方法，DSVD 正则化 法都优于其他方法。故，在回判准确率方面有： DSVD_L>DSVD_GCV>Tikhonov_GCV(大于号代表 优于)，其他方法因误判率过高或不稳定暂不讨论。 从图 6 可以看出，标准 ESN 模型的预测误判 率随 N 值 的增 大而减小， 但并未降至 最低，在 700~1 000 之间仍有较大的波动；DSVD_L 较 ESN 模型有了明显的改善，且在 N>600 时开始出现 0 错 误率；DSVD_GCV 和 Tikhonov_GCV 的分布曲线较 为接近，N≥250 时开始出现 0 错误率。因此，从模 型的预测准确率可以看出 DSVD_GCV≈ Tikhonov_ GCV>DSVD_L>标准 ESN。 图 5 回判精度对比图 Fig.5 Comparison of re-discrimination accuracy 在回判精度方面，由图 5 可知，6 种方法有着 类似于图 4 的分布特点，也具有相似的结论，故在 模 型 的 回 判 精 度 方 面 有 ： DSVD_L>DSVD_GCV> Tikhonov_GCV。 过拟合问题通常是由于模型过多的学习样本中 的局部特征，而失去了对全局特征的描述。因此， 综合图 4、图 5 可以看出，采用伪逆法的 ESN 模型 对训练样本是一种无偏差学习，继承了样本中所有 特征要素；而采用了有偏估计的正则化判别模型并 没有出现上述问题，这样的做法可以有效防止模型 过多学习样本的局部特征，从而避免模型过拟合。 由于 Tikhonov_L、TSVD_L 和 TSVD_GCV 模型误 判率高且不稳定，故不作为分析的重点。 图 6 预测误判率对比图 Fig.6 Comparison of the prediction error rate 图 7 预测精度对比图 Fig.7 Comparison of prediction accuracy 在模型预测精度方面，DSVD_GCV 和 Tikho- nov_GCV 模型在较低 N 值情况下，仍有较高的预测 精度，在 1 000>N>300 范围内，模型的预测精度不受 N 值的影响；而标准 ESN 和 DSVD_L 只有在较大的 N 值才有较高的预测精度。因此，综合图 6 和图 7 可以 看出，采用 DSVD_GCV 和 Tikhonov_GCV 法的判别 模型在预测精度和准确率方面有着明显的优势。 综合上述分析可以得出：基于 DSVD_GCV 法 的 ESN 判别模型在 4 项评估指标中有着突出的表 现，模型对 N 值的要求较低，具有计算速度快、复 杂程度低、泛化能力强的特点；而基于 Tikhonov_ GCV 法 ESN 模型虽然在预测效果方面近似等于 DSVD_GCV 模型，但回判效果却不及 DSVD_GCV 模型；而基于 DSVD_L 法的 ESN 判别模型的回判 效果好，但预测效果对 N 值的依赖性较强，模型复 杂程度高。 5.4 判别结果与分析 为进一步验证与分析 DSVD_GCV_ESN 模型判 别结果的稳定性与准确性，同时避免样本选取偶然 性，重新随机选取第 4、9 和 13 号样本作为待测样 本，分别对应 1、2、3 类突水类型，其余样本做训 练样本。与 2.2 节网络参数设定步骤一致，N 值分 别取 300 和 1 000，具体参数见表 2。 中国煤炭期刊网 www.chinacaj.net
    第 1 期 表 2 ESN 网络参数设定 Table 2 Setting of ESN network parameters 结构 fout finter tanh R 0.2 ISin, out, back D/% [0.2 0.3 0] 1 11×[300, 1 000]×1 sigmoid 将 整 理 好 的 样 本 数 据 载 入 建 立 好 的 DSVD_ 李垣志等: 矿井突水水源判别的 ESN 正则化模型 · 113 · GCV_ESN 和标准 ESN 模型中，分别运行 100 次， 判别结果见表 3，标准均方根误差(Enrmse)分布曲线 如图 8 所示。 表 3 判别结果 Table 3 Discrimination results 预测输出 模型 ESN DSVD_GCV ESN DSVD_GCV 运行次数 100 100 100 100 N/个 误判率/% 期望输出 [1，2，3] 300 [1，2，3] 300 [1，2，3] 1 000 [1，2，3] 1 000 49 0 12 0 [1.073 6，2.021 5，2.946 9] [0.976 7，1.977 3，2.992 1] [0.991 6，2.048 3，2.938 2] [1.010 3，2.030 9，2.934 0] 果表明： 最佳 Enrmse 平均 Enrmse 最差 Enrmse 0.601 3 0.293 1 0.362 5 0.220 5 0.310 7 0.120 2 0.192 7 0.108 7 0.053 8 0.019 3 0.045 5 0.042 5 a. 对于同一种正则化方法，采用 GCV 法计算 的正则化参数的判别效果优于 L 曲线法。 b. DSVD_GCV 正则化方法可以有效地解决模 型病态解的问题，计算出的 Wout 更具合理性，有效 解决了 ESN 模型过拟合问题，增强了模型的泛化能 力，样本的预测精度显著提高。 c. DSVD_GCV 正则化方法受 N 值影响较小， 能够将映射关系控制为最优，同时又能获得高质量 的模型输出，有效解决了 ESN 模型 N 值难以确定、 判别精度低和稳定性差的问题。因此，基于 DSVD_ GCV 正则化方法的 ESN 模型是一种能够快速、准 确、高效的判别矿井突水来源的新方法。 参考文献 [1] 张海鹏. 浅析煤矿中的水灾害防治[J]. 中国安全生产科学技 术，2008，4(5)：100–103. ZHANG Haipeng. Probe into prevention and control of water disaster in coal mine[J]. Journal of Safety Science and Technol- ogy，2008，4(5)：100–103. [2] 钱家忠，吕纯，赵卫东，等. Elman 与 BP 神经网络在矿井水 源判别中的应用[J]. 系统工程理论与实践，2010，30(1)： 145–150. QIAN Jiazhong，LYU Chun，ZHAO Weidong，et al. Comparison of application on Elman and BP neural networks in discriminat- ing water bursting source of coal mine[J]. Systems Engineer- ing-Theory & Practice，2010，30(1)：145–150. [3] 徐星，郭兵兵，王公忠. 人工神经网络在矿井多水源识别中的 应用[J]. 中国安全生产科学技术，2016，12(1)：181–185. XU Xing，GUO Bingbing，WANG Gongzhong. Application of artificial neural network in recognition mine multiple water sources[J]. Journal of Safety Science and Technology，2016， 12(1)：181–185. [4] 秦波，吴庆朝，张娟娟，等. 基于 PSO 优化 SVM 的转炉炼钢 用氧量预测研究[J]. 测控技术，2014，33(12)：121–124. 图 8 模型误差分布曲线 Fig.8 Model error distribution curve 由表 3 和图 8 可知，N=300 时，标准 ESN 判别 模型在 100 次运行中判别精度波动较大，误判率高 达 49%；而 DSVD_GCV_ESN 模型的 3 项 Enrmse 指 标均明显低于标准 ESN 模型，准确率达到了 100%； N=1 000 时，标准 ESN 模型的预测精度有所提高， 波动有下降，但仍有 12%的误判率；而 DSVD_GCV_ ESN 模型的判别精度和波动情况仍维持在较低水 平，变化不明显。表明了增加储备池规模对该模型 的判别效果没有明显的影响。即：DSVD_GCV 正则 化方法能够使 ESN 模型以较少的模型代价获得更高 的模型效益，同时解决了模型 N 值难以确定、判别 精度低、稳定性差及过拟合问题。 6 结 论 通过对某矿 26 个突水样本的水化学特征的分 析，发现不同含水层的水化学特征较为相近，给水 源判别带来了一定的难度。因此，本文建立了标准 ESN 水源判别模型，同时又针对该模型在训练过程 中易出现病态解的问题进行了分析，分别采用 6 种 正则化方法予以解决，并通过实例进行了验证。结 中国煤炭期刊网 www.chinacaj.net
    · 114 · 煤田地质与勘探 第 46 卷 QIN Bo，WU Qingchao，ZHANG Juanjuan，et al. Blowing oxygen volume prediction of BOF steelmaking based on PSO-SVM[J]. Measurement & Control Technology，2014， 33(12)：121–124. [5] 焦李成，杨淑媛，刘芳，等. 神经网络七十年：回顾与展望[J]. 计算机学报，2016，39(8)：1697–1716. JIAO Licheng，YANG Shuyuan，LIU Fang，et al. Seventy years beyond neural networks：retrospect and prospect[J]. Chinese Journal of Computers，2016，39(8)：1697–1716. [6] 李垣志，牛国庆，刘慧玲. 改进的 GA-BP 神经网络在矿井突 水水源判别中的应用[J]. 中国安全生产科学技术，2016， 12(7)：77–81. LI Yuanzhi，NIU Guoqing，LIU Huiling. Application of im- proved GA-BP neural network in the identification of mine water inrush sources[J]. Journal of Safety Science and Technology， 2016，12(7)：77–81. [7] 王江荣，黄建华，罗资琴，等. 基于粗糙集的 Logistic 回归模 型在矿井突水模式识别中的应用[J]. 煤田地质与勘探，2015， 43(6)：70–74. WANG Jiangrong，HUANG Jianhua，LUO Ziqin，et al. Ap- plication of Logistic regression model based on rough set in recognition of mine water inrush pattern[J]. Coal Geology & Ex- ploration，2015，43(6)：70–74. [8] 柴毅，周海林，付东莉，等. 基于 ESN 和 PSO 的非线性模型 预测控制[J]. 控制工程，2011，18(6)：864–867. CHAI Yi，ZHOU Hailin，FU Dongli，et al. Nonlinear model predictive control based on ESN and PSO[J]. Control Engineer- ing of China，2011，18(6)：864–867. [9] 于永兵. 基于改进 ESN 的混沌时间序列预测方法的研究[D]. 鞍山：辽宁科技大学，2012. [10] 胡海峰，伦淑娴. 基于 Leaky-ESN 的光伏发电输出功率预测[J]. 电子设计工程，2016，24(17)：15–17. HU Haifeng，LUN Shuxian. The output power foresting based on Leaky-ESN[J]. Electronic Design Engineering，2016，24(17)： 15–17. [11] 吴佳东. 基于回声状态网络的网络流量预测研究[D]. 兰州： 兰州大学，2016. [12] 杨飞. 基于回声状态网络的交通流预测模型及其相关研究[D]. 北京：北京邮电大学，2012. [13] 聂凤琴，许光泉，关维娟，等. 马氏距离判别模型在矿井突水 水源判别中应用[J]. 地下水，2013，35(6)：41–42. NIE Fengqin，XU Guangquan，GUAN Weijuan，et al. Appli- cation of Ma Distance discriminant model on water source iden- tification of mine water inrush[J]. Ground Water，2013，35(6)： 41–42. [14] 乔俊飞，李瑞祥，柴伟，等. 基于 PSO-ESN 神经网络的污水 BOD 预测[J]. 控制工程，2016，23(4)：463–467. QIAO Junfei，LI Ruixiang，CHAI Wei，et al. Prediction of BOD based on PSO-ESN neural network[J]. Control Engineering of China，2016，23(4)：463–467. [15] 韩敏，任伟杰，许美玲. 一种基于 L_1 范数正则化的回声状 态网络[J]. 自动化学报，2014，40(11)：2428–2435. HAN Min，REN Weijie，XU Meiling. An improved echo state network via L1-norm regularization[J]. Acta Automatica Sinica， 2014，40(11)：2428–2435. [16] 范千，张宁. 改进的果蝇优化与 Tikhonov 正则化相结合的病 态问题稳健解法[J]. 测绘学报，2016，45(6)：670–676. FAN Qian，ZHANG Ning. Ill-conditioned problems robust so- lution of improved fruit fly optimization algorithm combining with Tikhonov regularization method[J]. Acta Geodaetica et Cartographica Sinica，2016，45(6)：670–676. [17] 阮百尧，葛为中. 奇异值分解法与阻尼最小二乘法的对比[J]. 物探化探计算技术，1997，19(1)：47–49. RUAN Baiyao，GE Weizhong. Singular value decomposition method and damping least square solution[J]. Computing Tech- niques for Geophysical and Geochemical Exploration，1997， 19(1)：47–49. [18] 欧明，甄卫民，於晓，等. 一种基于截断奇异值分解正则 化的电离层层析成像算法[J]. 电波科学学报，2014，29(2)： 345–352. OU Ming，ZHEN Weimin，YU Xiao，et al. A computerized ionospheric tomography algorithm based on TSVD regulari- zation[J]. Chinese Journal of Radio Science，2014，29(2)： 345–352. [19] 胡彬. 基于模型函数方法的正则化参数选取[D]. 抚州：东华 理工大学，2012. (责任编辑 张宏) 中国煤炭期刊网 www.chinacaj.net
    分享到：
    赞 收藏

    相关推荐

    资料库

    开发技术

    共收录19306份资料，累计14个分类，关注成员有19位，主要包括：Actionscript,Javascript,PHP,VB,Perl,Delphi,Python,C#,C,Java,C++,Web开发,硬件开发,其它

    热门标签

    Actionscript Javascript PHP VB Perl Delphi Python C# C Java C++ Web开发 硬件开发 其它

    最新资料