logo资料库

大数据平台方案设计.docx

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：22.97M 资料格式：docx 举报 版权申诉
第1页 / 共153页
第2页 / 共153页
第3页 / 共153页
第4页 / 共153页
第5页 / 共153页
第6页 / 共153页
第7页 / 共153页
第8页 / 共153页
资料共153页，剩余部分请下载后查看
    1.1需求分析
    1.1.1采购范围与基本要求
    1.1.2建设内容要求
    1.1.2.1人口库
    1.1.2.2法人库
    1.1.2.3地理信息库
    1.1.2.4视频库
    1.1.2.5大数据处理平台
    1.1.2.6数据管理服务平台
    1.2设计方案
    1.2.1总体平台设计
    1.2.1.1总体架构
    1.2.1.2体系结构图
    1.2.1.3总体流程图
    1.2.2人口基础数据库设计
    1.2.2.1数据接收服务
    1.2.2.2中心数据查询
    1.2.2.3决策支持子系统
    1.2.2.4授权管理
    1.2.2.5数据清洗比对管理
    1.2.2.6信息核验
    1.2.2.7系统管理
    1.2.3法人基础数据库设计
    1.2.3.1系统管理
    1.2.3.2授权服务
    1.2.3.3接收服务
    1.2.3.4信息服务
    1.2.3.5统计分析
    1.2.4地理信息基础数据库设计
    1.2.4.1基础数据
    1.2.4.2平台建设
    1.2.4.3GIS平台
    1.2.5视频基础数据库设计
    1.2.5.1建设规划
    1.2.5.2设计方案
    1.2.6大数据处理平台
    1.2.6.1大数据基础平台
    1.2.6.2大数据多维分析查询系统
    1.2.6.3大数据智能分析系统
    1.2.7数据管理服务平台
    1.2.7.1数据治理与监控系统
    1.2.7.2数据服务集成管理系统
    1.2.7.3大数据展现门户
    1.3实施方案
    1.3.1项目组织实施
    1.3.2突发事件处置
    1.3.3项目验收
    1.3.4项目交付
    1.3.5项目管理与质量保障
    1.3.6培训方案
    项目技术方案 大数据平台方案设计 1.1 需求分析 1.1.1 采购范围与基本要求 建设 XX 高新区开发区智慧园区的人口库（12 万居民）、法人库(1200 家企业)、 地理信息库(已建设区域 35 平方公里的 3 维电子地图、未建设区域 80 平方公里的航 拍电子地图)、视频库(1000 个摄像点)、大数据处理平台、数据管理服务平台。 1.1.2 建设内容要求 1.1.2.1 人口库 人口库的基本信息以公安部门户籍和暂住人口信息为基础，整合人社、计生、 民政、教育等多个部门信息资源，建设统一规范的人口库和人口信息服务平台。 (1)人口库的内容目录 序号 信息目录(一级) 信息目录（二级） 可能的信息源单位 人口基本信息 人员车辆信息 社居民区服务信息 社区党建信息 社居民区服务信息 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 人员信息（常驻） 人员信息（暂住） 户籍成员信息 死亡信息 驾驶人员信息 机动车信息 电动车信息 房主信息 房屋变动信息 党员信息 培养党员信息 党员流入信息 党员流出信息 准生证信息 婚前检查信息 孕前检查信息 婚育证信息 节育手术信息 计生处罚信息 1 公安局 公安局（交警系统） 房管局、村（居）委会 组织人社局、 村（居）委会 社会发展局
    序号 信息目录(一级) 信息目录（二级） 可能的信息源单位 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 卫生信息 民政信息 社保基本信息 养老保险信息 社区卫生服务机构信息 医疗机构信息 医疗资源信息 卫生许可信息 社会组织信息 区域地名信息 社会发展局 社会发展局 最低保障收入人员信息 精准扶贫对象信息 村居管理委员会 单位信息 参保人员信息 退休待遇信息 转移人员信息 失业信息 失业登记和失业保险信息 城镇职工基本医疗保险账户信 医疗信息 息 门慢信息 组织人社局 定点医疗机构和定点零售药店 信息 伤残认定信息 工伤信息 劳动能力鉴定信息 工伤待遇信息 (2)人口信息服务平台功能需求 数据库层：能够安全存储人口库的内容目录中列出的信息内容，对居民、企业、 政府提供安全的人口信息服务，为人口大数据分析提供基本数据源。 应用支撑层：包括门户框架、数据库维护、报表组件、数据挖掘等，用于为应 用层提供应用支撑。数据挖掘提供常见的数据分析/挖掘工具、通用算法，利用大数 据平台的计算能力进行分析，对人口库数据进行数据挖掘与发现，提供有价值的分 析结果。 应用层：包括人口信息服务、人口专题分析、公共服务等。 1.1.2.2 法人库 法人库以工商部门的企业信息为基础，整合各参建部门系统中的法人信息，如 机构代码、机构名称、机构类型、经济行业、业务经营范围、机构地址、法定代表 人等字段信息，建成标识统一、结构科学、查询快捷、动态管理的法人信息库。制 定与交换平台对应的相关标准、制度和规范管理体系，实现工商局、地税局、国税 2
    局、质量技术监督局等法人数据相关业务部门之间的网络互联和业务数据的实时交 换与应用。 (1)法人库的内容目录 序号 信息目录(一级) 信息目录（二级） 可能的信息源单位 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 企业基本信息 法人信息 工商质监局，企业 股东(投资者)信息 工商注册信息 税务信息 企业经营信息 工商质监局 税务局 企业 地址与联系信息 工商登记信息 工商变更信息 工商注销信息 工商吊销信息 税务登记信息 税务注销信息 税务登记验换证信息 企业发票信息 组织架构 发展战略 品牌 产品与服务信息 人力资源信息 高端技术和设备 财务报表 资质信息 信用信息 荣誉信息 文化 违规处罚等不良信息 (2)法人信息服务平台功能需求 数据库层：能够安全存储法人库的内容目录中列出的信息内容，对居民、企业、 政府提供安全的法人信息服务，为法人大数据分析提供基本数据源。 应用支撑层：包括门户框架、数据库维护、统计与报表组件、数据挖掘等，用 于为应用层提供应用支撑。数据挖掘提供常见的数据分析/挖掘工具、通用算法，利 用大数据平台的计算能力进行分析，对法人库数据进行数据挖掘与发现，提供有价 值的分析结果。 应用层：包括法人信息服务、法人专题分析、公共服务等。 3
    1.1.2.3 地理信息库 以国土资源部空间地理数据框架作为基础，采用分布式存储并行计算的技术思 路统一搭建地理信息库，再与智慧园区建设涉及的各类专题图层进行融合、关联， 实现统一共享，逐渐形成 XX 高新区权威、丰富的地理信息数据库。要求根据不同信 息资源类别，提供数据库表结构设计。 地理信息库维护文件主要提供地图基本操作、地图测量、图层控制、空间分析 等信息服务功能。 地理信息库配置一套高性能 GIS 工具软件，基于高性能云 GIS 平台搭建，实现 空间数据的统一管理，完成空间数据检查、转换、入库、管理、制图显示、服务发 布等一系列空间数据分析处理功能。 (1)地理信息库的内容目录 序号 信息目录(一级) 信息目录（二级） 可能的信息源单位 电子地图数据 三维电子地图：已建设区域 30 平方公里 国土资源部、中标单位 航拍电子地图：未建设区域 60 平方公里 测量 地理实体数据 建筑、道路、水系、绿地、农田等 三维模型数据 城市部件数据 规划数据 POI 数据 已建设区域 30 平方公里，分等级实现重点城区 精细三维模型数据和其它地区简易模型数据 路灯、交通灯、屏显、导示牌、标志性行道树、 线缆、地下管网等 规划用地数据 企业(项目)数据 国土资源部、中标单位 测量 中标单位测量、建设 城管等部门 规划局 规划局、办公室等 1 2 3 4 5 6 (2)地理信息库管理平台功能需求 数据处理：格式转换、坐标转换、属性编辑、数据裁切。 数据质检：矢量数据检查、栅格数据检查、三维模型数据检查、元数据检查。 入库更新：矢量数据入库、影像数据入库、三维模型数据入库、元数据入库。 数据输出：矢量数据提取、栅格数据提取。 查询浏览：地图浏览、数据加载、SQL 查询、空间查询、数据对比浏览、元数据 查询。 历史数据管理：历史版本数据比较、版本数据提取。 系统管理：权限管理、日志管理、备份恢复。 4
    1.1.2.4 视频库 (1)视频库的内容目录 序号 信息目录(一级) 信息目录（二级） 可能的信息源单位 视频 视频目录 视频文件 视频特征 视频特征文件 1 2 (2)视频库管理平台功能需求 视频监控系统 数字摄像装置 与视频监控系统的接口、视频入库、视频目录管理、视频文件管理、视频特征 文件生成、视频检索、视频异常发现等。 1.1.2.5 大数据处理平台 (1)大数据基础平台 提供基础管控、基础服务的大数据基础支撑功能。大数据基础平台要充分利用 目前先进的大数据处理技术，保证系统技术的前瞻性和先进性。大数据基础平台要 求提供海量数据的采集、存储、计算、接口服务能力；需要满足海量、异构的大数 据的存储、共享、开放及分析挖掘方面的要求；需要采用主流的大数据的技术架构， 全面满足结构化数据、半构化数据及非结构化数据的存储、处理及计算要求；提供 多种数据采集工具，支持多种格式数据采集；提供接口服务，供二次开发应用等。 大数据基础平台要求能够管理大数据中心集群的物理服务器资源，控制分布式 程序运行，隐藏下层故障恢复和数据冗余等细节，为大数据处理平台提供统一的管 理、监控、维护等日常管理功能。主要包括：资源管理、安全管理、运维管理、集 群部署及监控、任务调度等功能，同时配备友好的管理界面。 ①数据采集要求 大数据处理平台数据主要来自数据资源中心，包括基础库(人口库、法人库、地 理信息库、视频库)数据、主题库(业务数据库)数据和互联网数据，同时也支持其他 外部系统数据来源。数据采集系统要求提供多种数据采集工具，支持多种格式数据 采集。对于结构化数据、非结构化数据以及网络数据采用不同的采集工具进行数据 导入。支持多种数据采集方式，比如 ETL、FTP、文件导入导出、关系数据库数据等。 ②分布式存储要求 平台能够根据结构化数据和非结构数据的不同特点，分别提供数据仓库和分布 式列式数据库存储服务，底层支撑技术支持分布式文件系统，所有的数据可以形成 5
    多份副本均匀分布存储在各个服务节点的存储上，保证数据可靠性和提高读写效率。 ③大数据计算引擎要求 离线计算引擎（Mapreduce）：离线分布式计算作为一个海量结构化数据离线处 理与分析服务，着力于实时性要求不高的海量数据（TB/PB 级别）离线处理。支持并 行化、容错、数据分布、负载均衡。离线计算引擎需要具有 PB 级的存储处理能力和 计算吞吐能力，支持多应用多实例并发同时计算并隔离应用数据和程序的能力。 支持 Mapreduce 等批量数据分布式计算框架。 支持分布式内存计算框架。 支持作业查询预处理调度算法，可根据业务属性对指定的多个队列按照优先级 的配置进行任务的提交。 具备高可靠性，支持主控节点双机，避免单点故障不可恢复。 具备高度可扩展，可动态增加/削减计算节点，真正实现弹性计算。 支持离线计算组件界面配置化，可以对配置进行查看和修改，并立刻生效。 支持离线计算组件性能指标界面可视化，通过界面实时监控组件性能指标。 支持多租户权限管理能力，支持不同用户之间的资源隔离。 支持多应用多实例并发同时计算并隔离应用数据和程序的能力。 内存计算引擎（Spark）：基于内存的迭代计算框架，适用于需要多次操作特定 数据集的应用场合。由于中间输出和结果可以保存在内存中，从而不再需要读写分 布式文件系统，能更好地适用于数据挖掘与机器学习等需要迭代的算法。 支持作业查询预处理调度算法，可以根据业务属性对指定的多个队列按照优先 级的配置进行任务的提交。 支持审计日志可查询，在管理运维的界面中可以进行内存计算引擎日志的查询。 支持相关存储目录规整，对内存计算引擎的数据目录进行规整，修改默认配置， 并提供界面上的修改配置的地方。 支持配置界面化，能够在管理运维界面上对内存计算引擎的配置进行查看和修 改，并能够同步到前台立刻生效。 支持通过界面展示性能指标，能够在界面上查看内存计算引擎的性能指标数据。 支持 on Yarn 等方式，在管理运维界面上安装服务，可以在安装的时候，选择 On Yarn 等的方式安装。 6
    支持内存计算引擎的 Master 的 HA 等，可以对内存计算引擎的 master 角色进行 HA 等部署，以保证该节点的高可用性。 实时计算引擎（例如 spark streaming、Storm）：实时分布式计算需要提供大吞 吐量的实时流式数据处理。要求保证高可靠性的前提下让数据处理更加实时，具备 低延时、容错和分布计算特性。采用分布式计算框架提供实时计算服务，可按需扩 容。支持高并发低延时的数据处理。 计算引擎：支持 SPARK STREAMING 等实时计算框架、STORM 分布式流式计算框架 两种计算框架功能。 支持对流数据的处理，数据可以建立关联处理。 高效处理数据：支持消息的分流、合流、聚合的消息处理。 数据按业务分析，可支持不同的应用接入，并对应不同的应用输出计算结果。 事件监测：对数据处理低延时，满足事件监控等实时性要求很高的场景。 具备高可靠性，支持主控节点双机，具备自动容错能力，避免单点故障不可恢 复。 效。 支持实时计算组件界面配置化，可以对配置进行查看和修改，配置修改立刻生 支持实时计算组件性能指标界面可视化，通过界面实时监控实时计算组件性能 指标。 ④全文搜索引擎（例如 solr） 提供丰富的查询语言，同时实现可配置、可扩展并对查询性能进行优化，提供 一个完善的功能管理界面。可以实现集中式的配置信息、自动容错、查询时自动负 载均衡、自动分发的索引和索引分片和事务日志等多种特色功能。 可以对搜索引擎集合进行快照，可以周期、定时创建集合快照，对索引数据进 行备份。 提供搜索引擎数据切换自动化工具，一键式操作实现搜索引擎数据从一个集群 切换到另外一个集群，安全可靠。 提供搜索引擎节点扩容数据重分布自动化工具，搜索引擎节点扩容后数据均匀 的重分布到新增节点上，负载均匀的分担到各节点上。 支持搜索引擎服务自动拉起功能，提高可靠性。除管理平台界面手工停止服务 7
    之外的异常服务停止后都会自动拉起，保证服务连续可用。 ⑤资源管理（例如 yarn） 资源管理要求能够实现调度和分配集群的内存和计算等资源给上层应用和服务， 能够管理运行在集群节点上的任务的生命周期和资源使用，提供静态资源池和动态 资源池功能。在多用户运行环境中，能够支持计算额度和访问控制，作业优先级和 资源抢占，达到在保障公平的前提下，有效地共享集群资源。支持 VIP 队列管理， 支持根据业务需要指定作业在指定的计算节点上运行，隔离重点任务和普通任务， 保障重点任务的物理资源。要求给出详细的设计方案。资源管理能够面向海量数据 处理和大规模计算类型的复杂应用提供统一的资源管理和调度。提供通用的并行计 算框架，要求兼容批量分布式计算、内存分布式计算、流式计算等多种编程模式。 具备高可扩展性，支持作业定点调度，支持优先级高的作业优先分配到资源。能够 自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成。 支持作业定点调度，指定作业在哪些主机上运行，隔离重点任务和普通任务。 支持队列增加优先级属性，优先级高的作业优先分配到资源。 支持白名单功能，限制客户端向集群的 resourcemanager 提交作业。 支持提交权限，限制无权用户提交作业并运行。 支持队列属性修改图形化，在图形化界面中配置新增、修改、删除队列属性。 支持队列属性增加“最大作业提交数”属性，在图形化界面中新增“最大作业 提交数”属性可配置 ⑥分布式协作服务（例如 Zookeeper） 分布式协作服务提供分布式、高可用的协作服务，可以用来构建分布式应用。 它能为分布式文件系统、分布式列式数据库、离线计算、资源管理与调度、数据仓 库等大数据组件提供重要的功能支撑。在分布式应用中，通常需要分布式协作服务 来提供可靠的、可扩展的、分布式的、可配置的协调机制来统一各系统的状态。 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ⑦安全管理 安全管理能够提供以用户为单位的身份认证和授权，能够对集群数据资源和服 务进行访问控制，包括系统用户、应用用户的身份和权限管理，日志管理等。 8
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料