logo资料库

SuperMap GIS 10i大数据GIS技术白皮书v1.0.pdf

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：15.25M 资料格式：pdf 举报 版权申诉
第1页 / 共209页
第2页 / 共209页
第3页 / 共209页
第4页 / 共209页
第5页 / 共209页
第6页 / 共209页
第7页 / 共209页
第8页 / 共209页
资料共209页，剩余部分请下载后查看
    阅读须知：本资料的版权为北京超图软件股份有限公司所有，受 文档编号： PC2018-09-28-01 《中华人民共和国著作权法》和著作权国际公约的保护。未经北京 版 本 号： v2.2 超图软件股份有限公司书面许可，不得以任何方式或理由对该资料 阅读范围： 客户 合作伙伴 的任何部分进行使用、复制、修改、抄录、传播或与其它产品捆绑 销售 研发 售前 售后 使用、销售，侵权必究。公司相关人员也请严格按照右侧范围限制 传播范围： 公开 超图集团内部 超图公司内部 要求进行相关执行。 文档类型： 销售工具 技术文档 □竞品 □其他 SuperMap GIS 10i 大数据 GIS 技术白皮书 （v1.0） 北京超图软件股份有限公司 超图研究院 12/20/2019
    目录 第 3 章 3.1. 目录 ............................................................................................................................................................................... 2 概述 ....................................................................................................................................................... 6 第 1 章 大数据时代来临 ................................................................................................................................... 6 1.1. 大数据产业 ........................................................................................................................................... 6 1.2. 大数据时代 GIS 面临的机遇与挑战 ................................................................................................... 7 1.3. 空间大数据技术 ................................................................................................................................... 9 第 2 章 空间大数据内涵 ................................................................................................................................... 9 2.1. 空间大数据支撑技术.......................................................................................................................... 10 2.2. 2.2.1. 跨平台 GIS 技术 ......................................................................................................................... 10 2.2.2. 云原生 GIS 技术 ......................................................................................................................... 11 空间大数据核心技术.......................................................................................................................... 11 2.3.1. 空间大数据存储.......................................................................................................................... 11 2.3.1.1.面临问题 ................................................................................................................................. 11 2.3.1.2.存储类型 ................................................................................................................................. 12 2.3.2. 空间大数据计算.......................................................................................................................... 13 2.3.2.1.数据计算模式演变 .................................................................................................................. 13 2.3.2.2.MapReduce 与 Spark 的对比 .................................................................................................. 17 2.3.3. 流数据处理 ................................................................................................................................. 19 2.3.4. 空间大数据可视化 ...................................................................................................................... 20 SuperMap 大数据 GIS 技术 ............................................................................................................... 22 SuperMap 大数据 GIS 技术体系........................................................................................................ 22 3.1.1. 大数据支撑技术.......................................................................................................................... 24 3.1.1.1.跨平台 GIS 技术 ..................................................................................................................... 24 3.1.1.2.云原生 GIS 技术 ..................................................................................................................... 25 SuperMap 大数据技术 ................................................................................................................ 25 3.1.2.1.SuperMap 大数据接入 ............................................................................................................ 26 3.1.2.2.SuperMap 大数据存储 ............................................................................................................ 27 3.1.2.3.SuperMap 大数据分析 ............................................................................................................ 38 3.1.2.4.SuperMap 流数据处理 ............................................................................................................ 40 3.1.2.5.SuperMap 与 Spark 的融合 ..................................................................................................... 40 3.1.2.6.SuperMap 大数据服务管理 .................................................................................................... 43 3.1.2.7.SuperMap 大数据可视化 ........................................................................................................ 49 3.1.2.8.SuperMap 大数据运维管理 .................................................................................................... 50 SuperMap 大数据 GIS 基础软件架构 ................................................................................................ 51 SuperMap 大数据 GIS 技术特点........................................................................................................ 53 3.3.1. 全平台支持大数据能力 .............................................................................................................. 53 3.3.2. 全流程体现大数据技术 .............................................................................................................. 54 3.3.3. 全方位降低使用门槛 .................................................................................................................. 55 3.3.4. 全天候保证快速高效 .................................................................................................................. 57 3.3.5. 全自动实现随需所用 .................................................................................................................. 59 3.3.6. 全体系实现多端接入 .................................................................................................................. 60 3.1.2. 2.3. 3.2. 3.3.
    3.3.7. 全方面提供分析算子 .................................................................................................................. 61 3.3.8. 全产品适用不同场景 .................................................................................................................. 63 SuperMap 空间大数据技术方案 ........................................................................................................ 64 应用场景 ............................................................................................................................................. 64 产品选型 ............................................................................................................................................. 64 技术体系 ............................................................................................................................................. 65 4.3.1. 空间大数据存储管理 .................................................................................................................. 67 4.3.1.1. 空间大数据 .................................................................................................................. 67 4.3.1.2. 空间大数据治理 .......................................................................................................... 71 4.3.1.3. 空间大数据引擎 .......................................................................................................... 76 4.3.2. 空间大数据分析计算 .................................................................................................................. 80 4.3.3. 空间大数据可视化 ...................................................................................................................... 93 技术方案 ............................................................................................................................................. 94 部署架构方案 ..................................................................................................................................... 95 4.5.1. 单机试验环境.............................................................................................................................. 95 4.5.2. 集群生产环境.............................................................................................................................. 96 4.5.3. 云原生大数据生产环境 .............................................................................................................. 97 典型案例 ............................................................................................................................................. 97 4.6.1. 航空业 ......................................................................................................................................... 97 4.6.2. 公安行业 ................................................................................................................................... 101 4.6.3. 智慧城市行业............................................................................................................................ 105 4.6.4. 交通行业 ................................................................................................................................... 108 4.6.5. 规划行业 ................................................................................................................................... 112 4.6.6. 地理信息行业............................................................................................................................ 118 SuperMap 物联网技术方案 .............................................................................................................. 120 物联网 ............................................................................................................................................... 120 5.1.1. 概述 ........................................................................................................................................... 120 5.1.2. 物联网技术架构........................................................................................................................ 121 5.1.3. 物联网与 GIS 的融合 ............................................................................................................... 122 应用场景 ........................................................................................................................................... 124 产品选型 ........................................................................................................................................... 125 技术体系 ........................................................................................................................................... 125 5.4.1. 流数据接入 ............................................................................................................................... 125 5.4.2. 流数据分析处理........................................................................................................................ 126 5.4.3. 流数据存储 ............................................................................................................................... 129 5.4.4. 流数据输出 ............................................................................................................................... 130 5.4.5. 流数据可视化............................................................................................................................ 131 5.4.6. 存档(历史)大数据挖掘 ............................................................................................................. 133 技术方案 ........................................................................................................................................... 135 部署架构方案 ................................................................................................................................... 136 5.6.1. 单机试验环境............................................................................................................................ 136 5.6.2. 集群生产环境............................................................................................................................ 137 典型案例 ........................................................................................................................................... 138 5.7.1. 船舶行业 ................................................................................................................................... 138 第 4 章 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 第 5 章 5.1. 5.2. 5.3. 5.4. 5.5. 5.6. 5.7.
    第 6 章 6.1. 6.2. 6.3. 6.4. 6.5. 5.7.2. 公安行业 ................................................................................................................................... 141 5.7.3. 民航行业 ................................................................................................................................... 144 5.7.4. 环保气象行业............................................................................................................................ 146 SuperMap 矢量经典空间数据技术方案 .......................................................................................... 148 应用场景 ........................................................................................................................................... 148 产品选型 ........................................................................................................................................... 148 技术体系 ........................................................................................................................................... 149 6.3.1. 海量空间数据分布式存储 ........................................................................................................ 150 6.3.2. 分布式空间处理和空间分析 .................................................................................................... 152 6.3.2.1. 数据处理 .................................................................................................................... 153 6.3.2.2. 邻近分析 .................................................................................................................... 157 6.3.2.3. 空间叠加 .................................................................................................................... 158 6.3.2.4. 位置查找 .................................................................................................................... 160 6.3.3. 分布式矢量数据可视化 ............................................................................................................ 161 技术方案 ........................................................................................................................................... 162 部署架构方案 ................................................................................................................................... 164 6.5.1. 单机试验环境............................................................................................................................ 164 6.5.2. 集群生产环境............................................................................................................................ 164 6.5.3. 云原生大数据生产环境 ............................................................................................................ 165 典型案例 ........................................................................................................................................... 166 6.6.1. 某省测绘局大数据资源中心建设 ............................................................................................ 166 6.6.2. 原国土大数据资源中心建设 .................................................................................................... 170 6.6.3. 不动产登记大数据资源中心建设 ............................................................................................ 176 6.6.4. 农业地理大数据平台建设 ........................................................................................................ 179 SuperMap 栅格经典空间数据技术方案 .......................................................................................... 185 7.1．应用场景 .................................................................................................................................................. 185 7.2．产品选型 .................................................................................................................................................. 186 7.3．技术体系 .................................................................................................................................................. 186 7.3.1．栅格大数据存储............................................................................................................................ 187 7.3.1.1. 基于“分布式数据库”存储方式 .......................................................................................... 187 7.3.1.2. 基于“文件+数据库”混合存储方式 .................................................................................... 188 7.3.2．栅格大数据分布式计算 ................................................................................................................ 189 7.3.2.1. 数据处理.............................................................................................................................. 189 7.3.2.2. 代数运算.............................................................................................................................. 191 7.3.2.3. 栅格统计.............................................................................................................................. 192 7.3.2.4. 地形分析.............................................................................................................................. 195 7.3.2.5. 影像分析.............................................................................................................................. 197 7.3.2.6. 空间插值.............................................................................................................................. 198 7.3.2.7.定制栅格函数处理链 ............................................................................................................ 199 7.3.3.分布式栅格数据可视化 ................................................................................................................... 200 7.4．技术方案 .................................................................................................................................................. 201 7.5. 部署架构方案 ........................................................................................................................................... 202 7.5.1.单机试验环境 .................................................................................................................................. 203 7.5.2.集群生产环境 .................................................................................................................................. 203 6.6. 第 7 章
    第 8 章 7.5.3.云原生大数据生产环境 ................................................................................................................... 204 SuperMap 基于云架构的 GIS 大数据建设方案 .............................................................................. 205 8.1.总体架构 ..................................................................................................................................................... 205 8.1.1. 基础设施层 .................................................................................................................................... 206 8.1.2. 数据资源层 .................................................................................................................................... 207 8.1.3. 平台服务层 .................................................................................................................................... 207 8.1.4. 行业应用层 .................................................................................................................................... 208
    第1章 概述 1.1. 大数据时代来临 近几年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信 息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。最早提出大数 据时代到来的是全球知名咨询公司麦肯锡，发布了一份报告——《大数据：创新、 竞争和生产力的下一个新领域》。报告指出，大数据已经渗透到当今每一个行业 和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示 着新一波生产率增长和消费者盈余浪潮的到来。报告还提到，“大数据”源于数据 生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过 数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。 绝大多数的大数据，都需要而且可以与地理时空数据融合，而基于位置的地 理大数据近几年也呈爆发式的增长。如：Facebook 每天会生成 300TB 以上与位 置相关的日志数据；Twitter 的 63261 个用户 30 天可以产生约 1500 万条位置签 到记录；淘宝网每天交易数千万笔，约 20TB 数据，均含有物流位置信息；广州 每日新增城市交通运营数据记录达 12 亿以上，数据量达到 150 到 300GB；上海 平安城市监控摄像头超过 160 万只，每天产生的位置监控数据达 PB 级；等等。 特别是随着移动互联网的普及，越来越多的用户在不停的“众筹”数据，例如 手机信令数据、社交媒体数据、商品交易数据等等。各个企事业单位也都在试图 从“数据海洋”中挖掘出“数据宝藏”，以能够更好的为企事业的发展提供指导和决 策，更好的适应未来的发展趋势。 1.2. 大数据产业 大数据已成为国策。2014 年，大数据首次写入《政府工作报告》，《报告》 指出，要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业 发展。2015 年 9 月，国务院正式印发《促进大数据发展行动纲要》，全面推进 我国大数据发展和应用，加快建设数据强国。2016 年国务院印发《“十三五”国
    家信息化规划》，将大数据列为国家重点的发展工程和任务。2017 年 1 月，工 信部印发《大数据产业发展规划（2016－2020 年）》，全面部署“十三五”时期 大数据产业发展工作，加快建设数据强国，为实现制造强国和网网络强国提供强 大的产业支撑。 大数据是传统产业转型升级的重要驱动力。大数据与传统行业的融合，以及 在业务、生产、管理、商业模式等各环节的创新，是大数据与传统产业协同发展 的关键。如何应用大数据，成为大数据时代赢得竞争的关键。 空间信息是大数据的重要分支，无论是出行大数据、医疗大数据、商业大数 据，都或多或少地带有空间信息属性。空间大数据作为大数据产业的重要支撑， 其发展趋势成为了专家学者们争相讨论的焦点。 国家测绘地理信息局副局长李朋德阐述了空间大数据创新发展的新思路：把 “一带一路”沿线和区域的大坐标关联起来，形成基础地理数据和系列的地图成 果，用于规划、建设、感知，借助互联网时代的物联网、云计算和大数据技术， 时空数据在数字空间串接起来，形成物理世界的虚拟再现，支持混合现实的智能 化管理，为地理信息产业发展提供全新的渠道和原动力。 知卓集团创始人陶闯在《2017 中国空间大数据产业趋势》报告中指出：物联 网、云计算、大数据、人工智能的迅速发展，正在催生一个庞大的空间大数据产 业链。他认为，空间大数据是全球政府管理和经济发展的基础设施，随着产业的 迅速发展，空间大数据将会在社会经济的各个领域发挥不可替代的重要作用，尤 其是在智慧城市和智慧汽车领域。 1.3. 大数据时代 GIS 面临的机遇与挑战 移动互联网的高速发展，让我们所谓的大数据 80%都与地理位置相关，“位 置”连接一切，位置服务无所不在，地理位置大数据应用不断拓展。地理大数据 相当于桥梁，精准的空间位置服务可以实时感知道路拥堵、给城市“治病”、控制 人类疫情、改变城市生活质量，甚至助力美国总统选举。 在 2017 年 4 月首届中国空间大数据产业高峰论坛上，中国工程院院士李建 成表示，地理空间信息数据是大数据的重要来源之一，这也将成为测绘地理信息 产业中的一次重大变革。空间大数据绝不仅仅只是为了更加精准地描述地理实
    体，更重要的是结合分析功能在海量数据中发现规律和预测趋势。同时，空间大 数据虽然数据价值大，但价值密度低因而导致实时分析决策能力不足，如何从中 有针对性地提取感兴趣的目标信息，信息量不够丰富，以及时效性差等是应用过 程中的巨大挑战。 大数据最基本的特征之一就是数据量巨大，以 GIS 空间大数据为例，面临着 不断累积的数据存量和仍然不断增加的数据增量，用户面临的数据量已经从 GB 级、TB 级向 PB 级发展，但是仍然有大量的用户通过集中的关系型数据库进行 存储，面临逐步增加的数据容量，集中式存储模式已经无法承载如此大的数据量， 同时也无法为计算分析提供高效的存储保障。 越来越多的用户不仅需要接入传统测绘数据类型，如矢量数据和影像数据， 还需要接入新型测绘数据类型如倾斜摄影模型、BIM、激光点云等，同时还需要 接入带有地理位置的 IT 大数据，系统接入的数据类别也越来越多，越来越繁杂。 前两种数据类型还有相对比较规范的数据标准，而 IT 大数据还处于模态多样、 杂乱无章、标准不统一、时空尺度不统一、精度不统一等的阶段，如何梳理成可 信数据也成为一大挑战。 如今人们无时无刻不在制造数据，数据也在实时的发生变化，用户也更愿意 第一时间获取数据并使其产生价值。以前传统 GIS 处理的是静态数据，现在的 数据已经 98%是动态的数据，只有 2%是静态数据，与以前相比是倒过来的。现 在主要的数据是动态数据，少量的是静态数据。龚建雅院士也提出了“实时 GIS 是未来的发展趋势，在统一的空间大数据框架下，基于传感网的实时动态 GIS 可以实时管理与分析城市内部的人流、物流和事件流，因而能够在智慧城市中发 挥重要作用”。如何能够接入多源的传感设备，快速高效处理实时数据，同时动 态实现实时数据的可视化展示也是 GIS 要面临的一大挑战。 当然更大的挑战就是如何从空间大数据中，通过 GIS 技术去实现数据挖掘， 通过 GIS 的空间分析、空间查询和空间可视化等技术优势为用户提供指导和决 策。这就需要 GIS 具有大数据的相关技术支持。在主流的 IT 技术体系下，已经 有相对成熟完善的大数据技术支持，从各种各样类型的大数据中，快速获得有价 值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及 其集成。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料