２６１ 杨　波　吴　宁　智能化综采管理平台中多源异构数据处理 ２０２０年 智能化综采管理平台中 多源异构数据处理 杨　波，吴　宁 （陕西陕煤黄陵矿业有限公司，陕西 延安　７２７３０７） 摘　要：针对智能化综采管理平台存在的信息孤岛以及子系统割裂等煤矿建设中存在的一系列问 题，提出了智能化综采管理平台中的多源异构数据处理系统为主体的智能化煤矿建设体系架构。 通过对大数据的采集、存储、分析以及系统实现，在井下构建智能化的多源异构大数据平台，成功建 成了各个子系统之间能够统一管理、信息之间能够共享的格局。分析认为，多源异构数据处理系统 可实现各类多源异构数据的高效传输和快速处理分析，能消除信息孤岛，以及设备持续 开采的周期寿命进行预警预判和自动分析。 关键词：智能化综采；多源异构数据；数据仓库；数据处理 中图分类号：ＴＤ６７２　　　文献标志码：Ｂ　　　文章编号：１６７１－７４９Ｘ（２０２０）０３－０１６２－０４ Ｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａｐｒｏｃｅｓｓｉｎｇｉｎｉｎｔｅｌｌｉｇｅｎｔ ｆｕｌｌｙｍｅｃｈａｎｉｚｅｄｍｉｎｉｎｇｍａｎａｇｅｍｅｎｔｐｌａｔｆｏｒｍ ＹＡＮＧＢｏ，ＷＵＮｉｎｇ （ＳｈａａｎｘｉＳｈａｎｍｅｉＨｕａｎｇｌｉｎｇＭｉｎｉｎｇＣｏ．，Ｌｔｄ．，Ｙａｎ’ａｎ７２７３０７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｖｉｅｗｏｆｔｈｅｐｒｏｂｌｅｍｓｅｘｉｓｔｉｎｇｉｎｔｈｅｃｏａｌｍｉｎｅｃｏｎｓｔｒｕｃｔｉｏｎｓｕｃｈａｓｔｈｅｉｎｆｏｒｍａｔｉｏｎｉｓｌａｎｄａｎｄｔｈｅｓｕｂｓｙｓｔｅｍ ｓｐｌｉｔｉｎｔｈｅｉｎｔｅｌｌｉｇｅｎｔｆｕｌｌｙｍｅｃｈａｎｉｚｅｄｍｉｎｉｎｇｍａｎａｇｅｍｅｎｔｐｌａｔｆｏｒｍ，ｔｈｅｉｎｔｅｌｌｉｇｅｎｔｃｏａｌｍｉｎｅｃｏｎｓｔｒｕｃｔｉｏｎｓｙｓｔｅｍａｒｃｈｉｔｅｃ ｔｕｒｅｗｉｔｈｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍａｓｔｈｅｍａｉｎｂｏｄｙｉｎｔｈｅｉｎｔｅｌｌｉｇｅｎｔｆｕｌｌｙｍｅｃｈａｎｉｚｅｄｍｉｎｉｎｇ ｍａｎａｇｅｍｅｎｔｐｌａｔｆｏｒｍｗａｓｐｒｏｐｏｓｅｄ．Ｔｈｒｏｕｇｈｔｈｅｃｏｌｌｅｃｔｉｏｎ，ｓｔｏｒａｇｅ，ａｎａｌｙｓｉｓａｎｄｓｙｓｔｅｍｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｂｉｇｄａｔａ，ａｎｉｎｔｅｌｌｉ ｇｅｎｔｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｂｉｇｄａｔａｐｌａｔｆｏｒｍｗａｓｂｕｉｌｔｉｎｔｈｅｍｉｎｅ，ｗｈｉｃｈｒｅａｌｉｚｅｓｔｈｅｐａｔｔｅｒｎｏｆｕｎｉｆｉｅｄｍａｎａｇｅｍｅｎｔａｎｄ ｉｎｆｏｒｍａｔｉｏｎｓｈａｒｉｎｇａｍｏｎｇａｌｌｓｕｂｓｙｓｔｅｍｓ．Ｔｈｅａｎａｌｙｓｉｓｓｈｏｗｓｔｈａｔｔｈｅｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｃａｎ ｒｅａｌｉｚｅｔｈｅｅｆｆｉｃｉｅｎｔｔｒａｎｓｍｉｓｓｉｏｎａｎｄｒａｐｉｄｐｒｏｃｅｓｓｉｎｇａｎａｌｙｓｉｓｏｆａｌｌｋｉｎｄｓｏｆｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａ，ｅｌｉｍｉｎａｔｅｔｈｅｉｎ ｆｏｒｍａｔｉｏｎｉｓｌａｎｄ，ａｎｄｃｏｎｔｉｎｕｏｕｓｌｙｃａｒｒｙｏｕｔｔｈｅｅａｒｌｙｗａｒｎｉｎｇａｎｄａｕｔｏｍａｔｉｃａｎａｌｙｓｉｓｏｆｅｑｕｉｐｍｅｎｔｗｏｒｋｉｎｇｃｏｎｄｉｔｉｏｎｓ． Ｋｅｙｗｏｒｄｓ：ｉｎｔｅｌｌｉｇｅｎｔｆｕｌｌｙｍｅｃｈａｎｉｚｅｄｍｉｎｉｎｇ；ｍｕｌｔｉｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａ；ｄａｔａｗａｒｅｈｏｕｓｅ：ｄａｔａｐｒｏｃｅｓｓｉｎｇ ０　引言 煤矿综采自动化技术对实现煤炭安全、高效的 回采具有非常重要的意义，是国家经济发展所需煤 炭供应的先决条件。国家“十五”“十一五”期间以 收稿日期：２０１９－１０－３１ 作者简介：杨　波（１９８３—），男，陕西渭南人，２０１５年毕业于西北工 业大学机械制造机器自动化专业，助理工程师，现从事矿井采掘管理 方面的工作。 来，我国煤炭开采技术及装备取得重大进步，推动了 煤矿安全高效绿色开采技术的发展，建成了一大批 综合机械化和高自动化程度的现代化矿井，生产效 率、安全指标和煤炭产量大幅度提高［１－４］。国内煤 矿企业也在积极探索综采自动化技术的研究，并进 行了多方面的尝试，取得了显著进步。但由于综采 工作面复杂的生产过程，庞大的综采设备系统，各设 备作业条件协同复杂，动作繁多，且对动作的逻辑顺 序、准确性、响应速度要求高，所以针对其监控和管 中国煤炭行业知识服务平台www.chinacaj.net

第 ３期 杨　波　吴　宁　智能化综采管理平台中多源异构数据处理 ３６１ 理面临着各设备控制方式分散、无法实现快速、准确 要负责数据的校验、传输、共享，大部分功能重复开 的 协 作，不 能 充 分 发 挥 设 备 性 能，生 产 效 率 较 低［５－８］。而且综采工作面自动化系统以过程化控制 为核心，与生产管理过程脱节，未进行高效实时的实 发，造成系统臃肿，改动困难。而现有设备数据采集 没有统一的数据标准、采集标准，在使用采集数据 时，需要根据每种提供的格式进行解析、转换，增加 现信息的集成和互通，不能有效的对综采关键设备 了出错机率与重复工作量。并且，现有设备所生成 进行管理，无法为生产管理者提供决策和建议。因 的数据格式多样，包含结构化、半结构化和非结构化 此，综采自动化系统的统一管理平台应运而生，但对 数据。因此，多源异构数据的处理就成为智能化综 于智能化综采管理平台中多源异构数据的处理仍需 采管理平台运转的核心引擎。 进一步探究。 １　智能化综采管理平台应用现状 ２　多源异构大数据处理框架 ２．１　数据采集与 ＥＴＬ 现有的安全生产监测监控系统，多是局部性、少 量指标的检测［９－１１］。同时，因为生产厂商以及系统 建设两者在时期上存在差异，所有子系统在通信协 数据处理系统架构：智能化综采管理平台中数 据来源十分广泛，例如，运输三机、采煤机等各种生 产器械、电液控制等器械系统、各种传感器的安全监 议和接入技术上不能够实现统一，子系统之间存在 较大的数据结构差异，同时具有多源性和异构性的 特点。煤矿井下设备（包含各装备、机器、仪器等电 测 数 据、用 户 操 作 行 为 数 据、故 障 及 报 警 数 据 等［１２－１４］。这些数据通过各自本身的监控系统及各 种终端设备直接传输到云端，由于各设备的生产厂 子设施）的数据采集均通过监控系统直接从设备上 商不同，且暂无统一的数据标准，所以采集的数据格 采集。设备厂商对不同专业设备开发对应的监控系 统从设备上实时获取数据。对煤矿而言，数据只能 在监控系统中查看，不能在其它系统中实时使用；对 开发商来讲，每个监控系统既要负责数据的采集，又 式多样，存在结构化、半结构化和非结构化数据，形 成多源异构数据，并存在重复数据的可能［１５－１７］。多 源异构数据处理系统架构，如图 １所示。 ＥＴＬ：全名ＥｘｔｒａｃｔＴｒａｎｓｆｏｒｍＬｏａｄ，是用来描述  Z [ %     T U  V S       2 W S X Y    Z  "   \ ] 0 ^ (,1, 1  $./ ,,-- $./ J K 7 8  P  Q R J K     #  N O   7 8     #  J K ! " 7 8 J K L M  ( ) &*     + G 5 6    ( )   4 5 H 8 6  F    G 5 6  F     + 2 3     3 < = 4 5 6   7 8  <   _   ` a    $                         D E   2   &'              I 8 0   :   A 3 <    3 4 ( ) * + ,  # B C 3 <   +   #   ! "     8 9 : ; 8 9 : ;    2 (   ' " @ A 3 < 9 : ;    # $   1    #     % &   ' !" > ?   5 6  7 '    - . / 0  " #$%$   $%&   1   !          )   * + , - + . - + / 0                                          ! " #  # $ % & '       ( 图 １　多源异构数据处理系统架构 将数据 从 来 源 端 经 过 抽 取 （ｅｘｔｒａｃｔ）、转 换 （ｔｒａｎｓ ｆｏｒｍ）、加载（ｌｏａｄ）至目的端的过程，同时也是构建 数据仓库至关重要的一个环节，用户通过数据源抽 取出自己需要的数据，经过数据清洗，最终将数据按 照预先定义好的数据仓库模型加载到数据仓库中 去。其中数据清洗包含：①对不精确数据的清洗。 中国煤炭行业知识服务平台www.chinacaj.net

４６１ 陕　西　煤　炭　　　　　　　　　　　　　　　　　　　　２０２０年 首先就是要识别出数据中的异常。在识别数据中的 的计算模型、框架和平台。利用其并行计算的特点 异常时，最常用的方法就是统计学的方法。给每个 属性赋予对应的权重是它的核心思想，对每个属性 对低价值密度数据进行批量处理分析。 ２．３　数据处理 字段值的平均值和标准差进行统计，依据此为每一 系统对于数据的处理分为高价值密度数据和低 个属性建立一个置信区间，通过查看属性值是否在 置信区间内来判断属性是否异常；②重复数据的清 洗。在数据仓库中，最常见的数据质量问题就包括 相似重复数据，不同系统的集成一般会导致大量重 价值密度数据两个部分。 低价值密度数据处理：数据的价值密度与数据 量成反比，数据量越庞大，其价值密度越低。因此对 于低价值密度的庞大数据，利用 ＭａｐＲｅｄｕｃｅ对大数 复记录生成，因此需要判断两条数据是否相似或相 据并行计算的能力，采用分布式队列流式计算方法， 同，从而对相似重复数据进行集中的清洗。 ２．２　数据存储 进行数据管理和分析挖掘。低价值密度数据的数据 管理包括 Ｈａｄｏｏｐ集群配置管理、应用管理、资源监 根据数据集不同的特点和用途，采用不同的数 控、安全管理、告警管理等。分析挖掘则是利用分析 据库进行存储操作。 Ｇｂａｓｅ／Ｏｒａｃｌｅ：Ｇｂａｓｅ和 Ｏｒａｃｌｅ两者都是 ＳＱＬ数 据库，都遵从 ＳＱＬ语句，语法也差不多。最大的区 别是表结构不同，Ｏｒａｃｌｅ是传 统 行 列 式，小 库 比 较 快，大库靠索引提高效率。Ｇｂａｓｅ是分布式，数据不 是按行列来排列而是按区块分布的，所以小库的速 度一般般，但是大库比如 ＴＢ级，效率惊人，数据库 越大 Ｇｂａｓｅ优势越明显。因此采用 Ｇｂａｓｅ和 Ｏｒａｃｌｅ 挖掘算法库中的自然语言、分类算法、推荐算法、聚 类算法、关联分析等算法对数据进行统计分析、效果 监控、反馈学习和系统监控。 高价值密度数据处理：对于高价值密度数据，由 于其数据量相对较小可以进行更详细的数据定义、 数据筛选、分析定制和算法管理工作。 ２．４　功能实现 多源异构数据处理系统目前已在智能化综采管 对高价值密度数据进行存储及处理。 ＳＱＬｏｎＨａｄｏｏｐ：在 ＳＱＬｏｎＨａｄｏｏｐ系统中，有两 理平台实现运行。通过持续数据采集，实现对生产 设备的预警预判；通过数据的交叉分析，实现对各综 种架构，一种是基于某个运行时，框架构建出查询引 擎，典型案例是 Ｈｉｖｅ；另一种是模仿过去关系数据 库的 ＭＰＰ架构，就是依据过去的 ＭＰＰ数据库架构 创建一个专门的系统，于是就有了 Ｉｍｐａｌａ，Ｐｒｅｓｔｏ等 等。Ｈｉｖｅ具有高扩展性的特点，能够将集群的规模 采自动化生产过程中的事件关联性分析决策。通过 数据的积累，丰富企业决策依据；实现数据的保护以 及数据存储，让生产数据具有继承传递性。 ３　结语 自由扩展，一般不需要重启服务；还具有高延展性， 多源异构数据处理系统针对煤矿生产的数据特 支持用户自定义函数，用户可以根据需求来实现自 己的函数；同时还具备高容错性，ＳＱＬ在节点出现差 错时仍可完成执行；将复杂 ＭＲ任务编写为 ＳＱＬ语 性，可实现各类多源异构数据的高效传输，快速处理 分析。此外，可以消除信息孤岛，建立统一的数据传 输网络与数据处理中心；针对煤矿综采的各个环节 句，提高开发效率；灵活的数据存储等。但是也存在 的数据采集，结合专家经验进行开采的安全性预判， 非常明显的缺点，具有延迟性，性能还有待提升；索 进而对设备持续开采的周期寿命进行预警预判和自 动分析。 参考文献： 引功能还不够完善，效率较低；不支持事务类操作。 因此将其作为低价值密度数据的数据仓库。 ＭａｐＲｅｄｕｃｅ：ＭａｐＲｅｄｕｃｅ是一种编程模型，主要 用于大规模数据集（大于 １ＴＢ）的并行运算。概念 “Ｍａｐ（映射）”和“Ｒｅｄｕｃｅ（归约）”，是它们的主要思 想，它具有从函数式编程语言以及从矢量编程语言 里借来的特性。ＭａｐＲｅｄｕｃｅ对不会分布式并行编程 情况下的程序人员提供了极大的便利，并能在分布 式系统上运行自己的程序，是面向大数据并行处理 ［１］　王国法．综采自动化智能化无人化成套技术与装 备发展方向［Ｊ］．煤炭科学技术，２０１４，４２（９）：３０－ ３４． ［２］ 王金华，黄乐亭，李首滨，等．综采工作面智能化 技术与装备的发展［Ｊ］．煤炭学报，２０１４，３９（８）： １４１８－１４２３． ［３］ 高小强，杜福银，蔡爱国．变频驱动刮板输送机负 载特性及调速的智能控制策略研究［Ｊ］．矿山机 中国煤炭行业知识服务平台www.chinacaj.net

第 ３期 杨　波　吴　宁　智能化综采管理平台中多源异构数据处理 械，２０１１，３９（１１）：１２－１６． ［４］ 王凯．基于刮板输送机负载预测的采煤机调速技 术研究［Ｄ］．徐州：中国矿业大学，２０１５． ［５］ 谷勇．基于模糊控制的采煤机截割自动调速控制 系统［Ｊ］．煤矿机械，２０１３，３４（１２）：１５１－１５３． ［６］ 邱锦波．滚筒采煤机自动化与智能化控制技术发 展及应用［Ｊ］．煤炭科学技术，２０１３，４１（１１）：１０－ １３． ［７］ 王国法．煤矿综采自动化成套技术与装备创新和 发展［Ｊ］．煤炭科学技术，２０１３，４１（１１）：１－５． ［８］ 曹哲哲，肖曲．大采高智能化综采工作面矿压监 测探讨［Ｊ］．陕西煤炭，２０１８，３７（５）：１３６－１３８． ［９］ 王金华．我国煤矿开采机械装备及自动化技术新 进展［Ｊ］．煤炭科学技术，２０１３，４１（１）：１－４． ５６１ ［１１］ 于月森，左腾，周娟，等．薄煤层综采工作面自动 化技术综述［Ｊ］．工矿自动化，２０１３，３９（５）：２７－ ３０． ［１２］ 高小强．综采工作面自动化系统研究及在神东的 应用［Ｊ］．煤矿机械，２０１７，３８（３）：１１８－１２０． ［１３］ 卢超．基于 ＣＡＮ总线分布式矿井温湿度监测系统 研发［Ｊ］．煤炭科学技术，２０１１，３９（９）：９４－９９． ［１４］ 孙继平．安全高效矿井通信系统技术要求［Ｊ］．工 矿自动化，２０１３，３９（８）：１－５． ［１５］ 战江波，宋建成，耿蒲龙．基于 ＣＡＮ总线的矿用通 信分站的研究［Ｊ］．工矿自动化，２０１１，３７（１０）：５１ －５５． ［１６］ 孙继平．矿井通信技术与系统 ［Ｊ］．煤炭科学技 术，２０１０，３８（１２）：１－３． ［１０］ 吴宁，杨波．大采高智能化采煤控制技术在黄陵 二号煤矿的发展［Ｊ］．陕西煤炭，２０１９，３８（６）：１０３ －１０６． ［１７］ 袁臣虎，王臻，李秀艳，等．基于 ＭＯＤＢＵＳ协议的 触摸屏与 ＴＭＳ３２０Ｆ２８１２串行通信研究［Ｊ］．天津 工业大学学报，２０１０，２９（２）： 檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪 （上接第 １１３页） 中的应用［Ｊ］．河北地质大学学报，２０１９，４２（３）： ６１－６４． 参考文献： ６３－６７． ［１］　周琛杰．高密度电法与 ＡＭＴ在断裂构造调查中的 综合应用综合物探技术在采空区勘探中的应用 ［Ｊ］．工程地球物理学报，２０１７，１４（３）：３００－３０７． ［２］ 李生生，高晓耕，周禹良，等．综合物探技术在采 空区勘探中的应用［Ｊ］．煤矿安全，２０１６，４７（７）： ６２－６５． ［３］ 李柬谷．地面 －巷道瞬变电磁法探测采空区积水 的应用［Ｊ］．陕西煤炭，２０２０，３９（１）：１５５－１５９，１３５． ［４］ 王江，谢永毅，李志军，等．煤矿多层采空区勘察 中综合 物 探 方 法 的 应 用 ［Ｊ］．西 部 探 矿 工 程， ２０１８，３０（１１）：１１４－１１６，１２１． ［５］ 曹静，吴灿灿．地面瞬变电磁法对采空区赋水情 况的应用研究［Ｊ］．长春工程学院学报（自然科学 版），２０１７，１８（２）：１００－１０３． ［６］ 王轩．瞬变电磁法在山西某矿采空区含水性探测 ［７］ 敬复兴．峰峰矿区 ２号煤层瓦斯赋存规律及主控 因素研究［Ｄ］．焦作：河南理工大学，２０１０． ［８］ 熊剑飞，胡建强，刘忠喜．瞬变电磁法在采空区探 测中 的 应 用 ［Ｊ］．陕 西 煤 炭，２０１９，３８（４）：１６３－ １６６，１２２． ［９］ 陈继宏，罗强．瞬变电磁法在煤矿采空区勘探中 的应用［Ｊ］．云南化工，２０１９，４６（２）：１４７－１４９． ［１０］ 陈义伟．瞬变电磁法和钻探验证在煤矿防治水中 的应用［Ｊ］．陕西煤炭，２０１８，３７（Ｓ１）：１３７－１４０． ［１１］ 严良俊，徐世浙，胡文宝，等．中心回线瞬变电磁 测深全区视纵向电导解释方法［Ｊ］．浙江大学学 报（理学版），２００３，３０（２）：２３６－２４０． ［１２］ 张军，李貅，赵莹，等．瞬变电磁虚拟波场高分辨 成像技 术 研 究 ［Ｊ］．地 球 物 理 学 进 展，２０１１，２６ （３）： １０７７－１０８４． 檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪 （上接第 ９１页） ［１２］ 刘洪，李吉峰，张家安，等．考虑可靠性的中压配 电系 统 供 电 能 力 评 估 ［Ｊ］．电 力 系 统 自 动 化， ２０１７，４１（１２）：１５４－１６０． ［１０］ 韦涛，马钊，苏剑，等．配电网规划计算分析软件 研发与应用［Ｊ］．南方电网技术，２０１６，１０（５）：３８－ ４４． ［１３］ 崔立忠，张瑞雪，刘涛，等．复杂配电自动化系统 可靠性计算及设备布局规划［Ｊ］．电力系统自动 化，２０１７，４１（２０）：８４－９１． ［１１］ 潘明明，丁坚勇，周凯，等．基于分层搜索算法的 超高层建筑供用电可靠 性 评 估 ［Ｊ］．电 网 技 术， ２０１５，３９（６）：１６３１－１６３６． 中国煤炭行业知识服务平台www.chinacaj.net