基于Hadoop的海量数据存储平台设计与开发.pdf-资料库

计算机研究与发展Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　ＩＳＳＮ　１０００－１２３９?ＣＮ　１１－１７７７?ＴＰ４９（Ｓｕｐｐｌ．）：１２－１８，２０１２基于Ｈａｄｏｏｐ的海量数据存储平台设计与开发崔　杰１　李陶深１　兰红星２１（广西大学计算机与电子信息学院２（广西工业和信息化委员会南宁　（ｃｕｉｊｉｅｔｉａｎｌｏｎｇ＠１６３．ｃｏｍ）南宁　　５３０００４）　５３００２２）Ｄｅｓｉｇｎ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｔｈｅ　Ｍａｓｓ　Ｄａｔａ　Ｓｔｏｒａｇｅ　Ｐｌａｔｆｏｒｍ　Ｂａｓｅｄ　ｏｎ　ＨａｄｏｏｐＣｕｉ　Ｊｉｅ１，Ｌｉ　Ｔａｏｓｈｅｎ１，ａｎｄ　Ｌａｎ　Ｈｏｎｇｘｉｎｇ２１（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｅｌｅｃｔｒｏｎｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ，Ｇｕａｎｇｘｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ５３０００４）２（Ｇｕａｎｇｘｉ　Ｉｎｄｕｓｔｒｙ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　Ｃｏｍｍｉｔｔｅｅ，Ｎａｎｎｉｎｇ５３００２２）Ａｂｓｔｒａｃｔ　Ｗｉｔｈ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ａｎｄ　ｕｔｉｌｉｚａｔｉｏｎ　ｏｆ　ＢｅｉＢｕ　Ｂａｙ　Ｍａｒｉｎｅ　ｅｃｏｌｏｇｉｃａｌ　ｒｅｓｏｕｒｃｅｓ，ｍａｓｓｍａｒｉｎｅ　ｓｃｉｅｎｃｅ　ｄａｔａ　ｒａｐｉｄｌｙ　ｅｍｅｒｇｅ　ｉｎ　ｌａｒｇｅ　ｎｕｍｂｅｒｓ　ａｎｄ　ｉｔ　ｉｓ　ｖｅｒｙ　ｉｍｐｏｒｔａｎｔ　ｔｏ　ｕｓｅ　ａ　ｍａｓｓ　ｄａｔａ　ｓｔｏｒａｇｅｐｌａｔｆｏｒｍ　ｔｏ　ｍａｎａｇｅ　ａｎｄ　ｓｔｏｒｅ　ｔｈｅｓｅ　ｓｃｉｅｎｃｅ　ｄａｔａ　ｒｅａｓｏｎａｂｌｅ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｕｔｓ　ｆｏｒｗａｒｄ　ｔｈｅ　ｍａｎａｇｅｍｅｎｔａｎｄ　ｓｔｏｒａｇｅ　ｔｈｅ　ｍａｓｓ　ｍａｒｉｎｅ　ｓｃｉｅｎｃｅ　ｄａｔａ　ｍｅｔｈｏｄｓ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｄｉｓｔｒｉｂｕｔｅｄ　ｃｏｍｐｕｔｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ，ｂｕｉｌｄｓ　ｔｈｅ　ｍａｓｓ　ｍａｒｉｎｅ　ｓｃｉｅｎｃｅ　ｄａｔａ　ｓｔｏｒａｇｅ　ｐｌａｔｆｏｒｍ　ｓｏｌｕｔｉｏｎｓ，ｄｅｓｉｇｎｓ　ａｎｄ　ｄｅｖｅｌｏｐｓ　ａ　ｍａｓｓ　ｄａｔａｓｔｏｒａｇｅ　ｐｌａｔｆｏｒｍ　ｂａｓｅｄ　ｏｎ　Ｈａｄｏｏｐ　ｂｙ　ｕｓｉｎｇ　Ｌｉｎｕｘ　ｃｌｕｓｔｅｒ　ｔｅｃｈｎｏｌｏｇｙ．Ｔｈｉｓ　ｓｙｓｔｅｍ　ｗｈｉｃｈ　ｃｏｎｓｉｓｔｓ　ｏｆｆｉｖｅ　ｍｏｄｕｌｅｓ　ｉｎｃｌｕｄｅｓ　ｓｙｓｔｅｍ　ｍａｎａｇｅｍｅｎｔ　ｍｏｄｕｌｅ，ｐａｒａｌｌｅｌ　ｌｏａｄｉｎｇ　ｓｔｏｒａｇｅ　ｍｏｄｕｌｅ，ｐａｒａｌｌｅｌ　ｑｕｅｒｙｍｏｄｕｌｅ，ｄａｔａ　ｄｉｃｔｉｏｎａｒｙ　ｍｏｄｕｌｅ，ｂａｃｋｕｐ　ａｎｄ　ｒｅｃｏｖｅｒｙ　ｍｏｄｕｌｅ　ａｎｄ　ｉｔ　ｃａｎ　ａｃｈｉｅｖｅ　ｔｏ　ｓｔｏｒｅ　ｍａｓｓｉｖｅａｍｏｕｎｔｓ　ｏｆ　ｍａｒｉｎｅ　ｓｃｉｅｎｃｅ　ｄａｔａ．Ｔｈｅ　ｓｙｓｔｅｍ　ｍｏｄｕｌｅ　ａｃｈｉｅｖｉｎｇ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｉｓ　ｓｙｓｔｅｍ　ｅｎｊｏｙｓｇｏｏｄ　ｓａｆｅｔｙ，ｒｅｌｉａｂｉｌｉｔｙ，ｅａｓｙ　ｍａｉｎｔｅｎａｎｃｅ　ａｎｄ　ｇｏｏｄ　ｅｘｐａｎｓｉｂｉｌｉｔｙ．Ｋｅｙ　ｗｏｒｄｓ　ｍａｓｓ　ｄａｔａ　ｓｔｏｒａｇｅ；ｍａｒｉｎｅ　ｓｃｉｅｎｃｅ　ｄａｔａ；Ｈａｄｏｏｐ；ｄｉｓｔｒｉｂｕｔｅｄ　ｃｏｍｐｕｔｉｎｇ摘　要　随着北部湾海洋生态资源的开发和利用，海量海洋科学数据飞速涌现出来，利用海量数据存储这里提出了一种基于分布式计算技术进行管理和存集群技术，设计开系统由五大模块组成，有系统管理模块、并行加载存储模块、．系统模块实现结果表平台合理管理和存储这些科学数据显得极为重要储海量海洋科学数据方法，构建了海量海洋科学数据存储平台解决方案，采用发一个基于并行查询模块、数据字典模块、备份恢复模块，能够实现存储海量海洋科学数据明，该系统安全可靠、易维护、具有良好的可扩展性Ｈａｄｏｏｐ的海量数据存储平台Ｌｉｎｕｘ．．．关键词海量数据存储；海洋科学数据；Ｈａｄｏｏｐ；分布式计算　中图法分类号　ＴＰ３１１．１３随着《北部湾经济区发展规划》颁布实施，以北　　部湾经济区海洋为研究样本的系列重大基础研究专项和重大科学研究项目正在逐一展开，届时将产生海量的海洋科学数据，这些数据具有海量、复杂、多样、异构、动态变化等特性而且目前各项目的海洋科学数据均缺乏统一的采集和存储的标准及规范，．收稿日期：２０１２－０１－０４基金项目：国家自然科学基金项目（６０９６３０２２）；广西自然科学基金重点项目（桂科自　　（Ｌ３００２４９）；广西研究生教育创新计划项目（ＧＸＵ１１Ｔ３２５５０）０８３２０５６）；广西大学拔尖创新团队建设计划项目

崔　杰等：基于Ｈａｄｏｏｐ的海量数据存储平台设计与开发３１如何存储和管理海量的海洋科学形成“数据孤岛”．数据，使这些数据得到高效的利用，成为进行海洋科因此构建一个北部湾海洋学研究项目的关键之一．显示层：为用户提供方便、易用和友好界面，普通用户可以通过页面浏览和查询海洋数据，高级用户可以利用系统提供的公共接口，扩展系统［４］．ＡＰＩ科学数据存储平台是目前充分发挥各重大基础科学业务逻辑层：并行处理海量海洋科学数据，并对研究项目研究效益的现实途径，也是北部湾经济区可持续发展的必然要求．传统的对大规模数据处理大多使用分布式的高性能计算、网格计算等技术，需要耗费昂贵的计算资源，而且对于如何把大规模数据有效分割和计算任务的合理分配都需要繁琐的编程才能实现，而分布式技术的发展正好可以解决以上的问Ｈａｄｏｏｐ题．Ｈａｄｏｏｐ是Ａｐａｃｈｅ开源组织的一个分布式计算整个平台系统配置管理．数据资源层：是整个平台的基础，存储和管理海量海洋科学数据．１．２　平台总体功能设计从系统功能角度考虑，可以将整个系统分层，３如图所示：２框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，构建一个具有高可靠性和良好扩展性分布式文件系统（Ｈａｄｏｏｐ的并行分布式系统，Ｈａｄｏｏｐ编程Ｄｉｓｔｒｉｂｕｔｅｄ　Ｆｉｌｅ　Ｓｙｓｔｅｍ，ＨＤＦＳ）、ＭａｐＲｅｄｕｃ模型和分布式数据库是其三大核心技术［１－３］．分集群技术的基础上，利用本文在ＬｉｎｕｘＨＢａｓｅＨａｄｏｏｐ布式技术，对北部湾海量海洋科学数据高效的处理后存储到可扩展的分布式数据库中，设计并实现一个易扩展的高效的海量数据存储管理系统．图２　系统功能分层设计平台总体设计１　平台总体框架结构１．１　结合海量数据异构性、分布性、多样性等特点，层从系统编程实现角度考虑，本系统采用架构设计，使结构更加清晰，系统易于扩展体架构如图系统整．ＭＶＣ　３所示：１１第层是数据访问层对于海量数据存储，在存．取数据时不会只局限对一种数据库的操作，本层需要对各种数据库提供的不同数据源进行屏蔽，提供数据库访问服务，这样系统才能够适应处理存储海量数据的要求，具有较好的可扩展性和完备性，方便管理和部署．第２层是数据处理层数据处理层作为整个系．统的核心，同时也是本系统设计开发的重点内容它．集群技术等，提供了采用分布式数据库技术、Ｌｉｎｕｘ对海量数据的并行加载存储等主要功能［５］．该层通过对海量数据并行处理，把处理后的数据存储到本系统的分布式数据库中，同时还提供了保证系统能够正常运行的管理支撑服务．５该层分为个功能模块：系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块．１）系统管理模块又分为：负载平衡管理、系统日志管理、对象事务管理、系统远程部署管理、自主系统管理模块：对系统实现分布式管维护管理等．理负载平衡用于存储节点的负载均衡和容错管理；．日志管理用户记录系统运行的运行轨迹、关键事件图１　平台整体框架结构

４１计算机研究与发展　２０１２，４９（增刊）和状态记录等；对象事务管理用来对系统事务处理及其一致性进行管理；系统远程部署管理用来对远程集群的部署和配置，实现系统整体最优运行状态；自主维护管理用来对系统自身运行状态的监测，根据具体运行状态进行自我调整以上功能在．基础平台中可以通过合理配置其组件来实Ｈａｄｏｏｐ现，让各个组件协同工作达到最优．２）并行加载存储模块又分为：并行数据加载模所示：模块、并行存储模块等如图块、并行ＥＴＬ．３图３　并行加载存储模块组成并行加载存储模块：提供对海量数据的并行加并行加载模块将数据从其他外载、处理和存储功能设中导入平台的．ＨＤＦＳ；并行模块用来对中的原始数据进行处理得到存储数据；并行ＥＴＬＨＤＦＳ存储模块提供对处理后的数据进行存储［６］．３）并行查询模块：提供对海量数据的并行查询、用户自定义事务处理等功能．４）数据字典模块：为系统配置一个全局的数据字典，用于维护并行数据库的元数据信息．５）备份恢复模块：提供对系统存储数据的备份管理、备份存储、备份恢复等功能，增强系统的安全性和容错性．第３层是业务应用层分为基于用户．界面ＧＵＩ和基于算法库ＡＰＩ．１）基于用户ＧＵＩ界面：用户可以通过简单应用的操作界面工具，进行海量数据处理存储．２）基于算法库用系统，调用算法库中的所需的应用功能．ＡＰＩ：对于高级用户可以编写应来扩展本系统，实现ＡＰＩ平台网络拓扑结构１．３　．４从图中可以看出平台由多个数据库服务器和应用服务器组成，这些数据库服务器可以在同一地域，也可分布在不同地域随着数据量的增大和应用需求的复杂变化，平台可以很容易的扩展，而这些变动对用户来说都是透明的，并且现有的关系型数据库系统也可以整合到该平台中，通过去异构化处理共同为用户提供存储服务［７］，从而为用户透明地提供存储和管理海量海洋科学数据的功能该平台可以安全、稳定、不间断的为政府、企业、个人等用户提供海量数据存储服务，使北部湾海洋科学数据能够得到妥善的存储管理，更大地发挥其研究利用价值，为北部湾经济建设服务．．图４　平台网络拓扑结构图

崔　杰等：基于Ｈａｄｏｏｐ的海量数据存储平台设计与开发１．４　平台数据库整体设计结合北部湾海洋自身特点，分析其海量数据的结构类型，对北部湾海洋科学数据存储平台数据库建设做以下整体设计，主要包括个类型数据库［８－１３］．１２１）北部湾沿海生态数据库包括：北部湾海洋．植物物种数据库；北部湾大型底栖生物物种数据库；北部湾动物物种及标本数据库；名贵、珍稀、濒危海洋动物数据库；海洋经济鱼、虾、贝、藻数据库；海水养殖动物（或鱼类，包括：外来养殖物种）种质资源元数据库；海洋生物模式标本数据库等．２）北部湾沿海遥感地理空间数据库包括：资．源卫星数据库；遥感卫星图像检索数据库；北部湾沿海地貌数据库等．３）北部湾沿海重点海域海底基础环境空间数全面及时记录北部湾沿海重点海域海底基础据库．环境的基本情况，包括数字地形地貌、海底底质性质与分布特征，及海底沉积物粒度分析、矿物分析、地球化学分析、微古分析结果及海洋钻探计划（ＯＤＰ）勘测信息等．４）海洋基础地理地图数据库内容包括：海岸．线及滩涂，岛屿、礁石、浅滩，海域水深及地形（等深线），沿岸陆域水系，陆地地形（等高线），重要的居民地，交通网，境界线（国界、省市界、县界、领海基线等），地名和地理名称及相关要素注记，区域界线等．包括：营养盐．数据库；温盐深声学数据库；流速数据库；海面气象数据库；潮汐数据库；波浪数据库等提供水文循环、．大气对流、闪电、恶劣天气等大尺度的数据共享，包括实时和历史的数据５）北部湾沿海海洋水文数据库．６）北部湾沿海环境数据库包括：潮汐预报信．息数据库；海洋台站数据库；海流资料数据库；海洋气象观测资料数据库；海洋环境质量数据库等．７）北部湾海洋经济数据库包括：北部湾海洋．综合经济数据库；海洋水产数据库；海洋石油天然气数据库；海滨砂矿数据库；海洋盐业数据库；沿海造船数据库；海洋交通运输数据库；北部湾沿海旅游数据库等．８）北部湾海洋资源数据库包括：北部湾沿海．海岛概况数据库；沿海主要港口码头泊位及吞吐能力数据库；沿海盐场资源数据库；海洋石油天然气资源数据库；海洋旅游资源数据库；海洋自然保护区数据库；潮汐能资源数据库；波浪能资源数据库；潮流能资源数据库和海底电缆管道资源数据库等５１．９）海洋标准数据库主要收集与海洋、水产相．关的国家标准和行业标准，全部为ＰＤＦ格式．１０）海洋法规数据库收集与海洋、水产有关的．中国法律、行政法规、部委规章、司法解释、地方法规、港澳台相关法律、国际条约及中共中央政策、其他机构文件库、判例案例、论文、合同范本等．１１）中外文海洋数据库分水产养殖、水产品加．工贮藏与综合利用、水生生物学、海洋生物学、海洋生物工程、海洋渔业、海洋化学、海洋环境与污染治理、海洋地质、海洋管理、物理海洋学等专题同时，．也收录了中国大陆公开发表的海洋、水产方面的期刊论文，以全文的形式反映我国海洋、水产专业的学术发展水平．１２）海洋音视频数据库收录与海洋、水产有关．的音视频方面的文献，这些音视频文献可以使用通用的媒体播放器播放，并可提供下载服务．目前数据收集工作正在进行中，数据库的建设也在同步进行，把海量科学数据经过处理存储起来统一管理．海量数据存储平台开发２　根据本平台功能设计，存储平台最主要的部分是数据处理层，而在实现数据处理层时，数据的并行加载存储模块成为了整个平台实现的核心，Ｈａｄｏｏｐ分布式技术为该平台提供了数据存储和数据处理的模型及方法［１４－１５］．储海量源数据，通过ＭａｐＲｅｄｕｃｅ处理这些海量源数据，然后采用分布式数据库存储处理后的海量数据，以此来实现对海量海洋科学数据的存储管理分布式文件系统存分布式计算模型来ＨａｄｏｏｐＨＢａｓｅ使用．２．１　Ｈａｄｏｏｐ分布式文件系统ＨＤＦＳ是分布式计算的存储基础，它具有高容错性，可以部署在廉价的硬件设备上，用来存储海量数据集，并且提供了对数据读写的高吞吐率［７－８］．为北部湾海洋科学数据提供了海量存储的基ＨＤＦＳ础，作为未处理的源数据集保存在文件系统中Ｈａｄｏｏｐ分布式Ｍａｓｔｅｒ?Ｓｌａｖｅ和很多个ＮａｍｅＮｏｄｅ一个ＤａｔａＮｏｄｅ．ＮａｍｅＮｏｄｅ是主控服务器，管理文件系统元数据它执行文件系统的命名空间操作，比如打开、关闭、重命名文件或组成．．采用ＨＤＦＳ的体系结构，集群中由

６１计算机研究与发展　２０１２，４９（增刊）ＤａｔａＮｏｄｅ目录，还决定数据块到．ＤａｔａＮｏｄｅ存储实际的数据，负责处理客户的读写请求，依照的命令，执行数据块的创建、复制、删除的设计大大ＮａｍｅＮｏｄｅ等工作一个集群只有一个的映射．简化了系统架构体系结构如图．ＮａｍｅＮｏｄｅ所示：５图６　ＭａｐＲｅｄｕｃｅ计算模型Ｒｅｄｕｃｅ来ｋ值进行Ｇｒｏｕｐ以元组，对这些元组分割成操作，形成新的 ?ｋ，ｌｉｓｔ（ｖａｌｕｅ）? 个片段进行并行的操作，最后输出到分布式数据库中保存起Ｒ．ＭａｐＲｅｄｕｃｅ计算模型的实现是由ＪｏｂＴｒａｃｋｅｒＭａｐ任务和ＴａｓｋＴｒａｃｋｅｒ这两类服务调度的和．ＪｏｂＴｒａｃｋｅｒ是主控服务器，只有一个，负责调度和管理任务分配给空ＴａｓｋＴｒａｃｋｅｒ，把ＴａｓｋＴｒａｃｋｅｒ，并负责监控任务的运行情况；闲的是从服务，可以有多个，负责执行任ＴａｓｋＴｒａｃｋｅｒ是运行在一组相同务的节点上的，即计算机点和存储节点通常在一起，方便高效地调度任务ＭａｐＲｅｄｕｃｅＲｅｄｕｃｅＨＤＦＳ通常和．．２．３　ＨＢａｓｅ分布式数据库ＨＢａｓｅ是一个功能强大的分布式数据存储系３．数据行有统，基于列存储数据记录种基本类型定义：行关键字（Ｒｏｗ　Ｋｅｙ），时间戳（Ｔｉｍｅ　Ｓｔａｍｐ）和每行包括一个可排序的行关键字，是列（Ｃｏｌｕｍｎ）．一个可选的时间戳，每次数据行在表中的唯一标示．某些列中可以有数据也可以没有列定义为：?ｆａｍｉｌｙ?：?ｌａｂｅｌ? ．（?列族?：?标签?），通过这两部分唯一指定一个数据的存储列计数据操作都有一个相关联的时间戳海量的海洋科学数据经过．ＭａｐＲｅｄｕｃｅ．值作为行关键字进行分布式算以后就可以按其存储，实现存储和管理海量数据功能数据的存储如表Ｋ所示：１海洋有关科学．表１　数据存储示例行关键字时间戳列?ＩＤ? 列?ｔｙｐｅ? ｈａｌｏｂｉｏｓＴ８Ｔ５Ｔ２１ｔｙｐｅ：ｐｌａｎｔ　ｗａｔｅｒｗｅｅｄｓｔｙｐｅ：ａｎｍｉａｌ　ｆｉｓｈ对以行名称为ｈａｌｏｂｉｏｓ，在时刻Ｔ２对列族ＩＤ图５　ＨＤＦＳ体系结构ＮａｍｅＮｏｄｅ使用事务日志（ＥｄｉｔＬｏｇ）来记录ＨＤＦＳ元数据的每次变化，使用映像文件（ＦｓＩｍａｇｅ）存储文件系统的命名空间，包括数据块到文件的映射、文件的属性等等的核事务日志和映像文件是ＨＤＦＳ．心数据结构．ＮａｍｅＮｏｄｅ启动时，它将从磁盘中读取映像文件和事务日志，把事务日志的事务都应用到内存中的映像文件上，然后将新的元数据刷新到本地磁盘新的映像文件中．ＨＤＦＳ节点，辅助它会定期从还设计有特殊的Ｓｅｃｏｎｄａｒｙ　ＮａｍｅＮｏｄｅＮａｍｅＮｏｄｅ处理映像文件和事务日志．ＮａｍｅＮｏｄｅ上复制映像文件和事务日志到临时目录，合并生成新的映像文件后再重新上传到更新映像文件并清理ＮａｍｅＮｏｄｅ，ＮａｍｅＮｏｄｅ事务日志，使得事务日志的大小始终控制在某个特定的限度下．２．２　ＭａｐＲｅｄｕｃｅ编程就是“任务的分解与结果的汇总”．把分解后多ＭａｐＲｅｄｕｃｅ把任务分解成为多个任务，ＲｅｄｕｃｅＭａｐ任务处理的结果汇总起来，得到最终结果把从．中读取的待处理的海量海洋科学数据分解成ＨＤＦＳ许多小数据集，每一个小数据集都并行处理，处理后存储到分布式数据库归纳如下：数据集分割 ?ｋ１，．ｖ１?ｍａｐ?ｋ２，ｖ２?ｃｏｍｂｉｎｅ?ｋ２，ｌｉｓｔ（ｖ２）?ｒｅｄｕｃｅ?ｋ３，ｖ３? 结果输出计算模型如图所示．６．将海量海洋科学数据分割个片段进行并行操作，然后形成中间态键值对 ?ｋ，ｖａｌｕｅ?，接着ＭＭａｐ

崔　杰等：基于Ｈａｄｏｏｐ的海量数据存储平台设计与开发７１对列族ｔｙｐｅ：ｐｌａｎｔ添加对列族Ｔ８ｔｙｐｅ：ａｎｍｉａｌ及本地存储本地计算的处理模式，为高效的处理海量海洋数据作了基础准备．的添加数据“１”，在时刻Ｔ５数据 “ｗａｔｅｒｗｅｅｄｓ”，在时刻添加数据“ｆｉｓｈ”．ＨＢａｓｅ部分组成主要由主服务器、子表服务器和客户端主服务器作为的中心，管理整个３集群中的所有子表服务器，监控每个子表服务器的运行情况等子表服务器接收来自主服务器的分配ＨＢａｓｅ．．的子表、处理客户端的读写请求、缓冲区回收、压缩客户端主要负责查找用户子表和分割子表等功能．所在的子表服务器地址信息．平台还可以整合现有的关系型数据库，通过去这里异构化处理共同提供海量数据存储服务［１６－１７］．对关系型数据库开发由于篇幅原因不再赘述．海量存储平台特性３　结束语４　本文设计并开发了基于学数据存储平台采用．的海量海洋科ＬｉｎｕｘＨａｄｏｏｐ集群技术、并行分布式分布式平台［１４－１５］作为基础，并行Ｈａｄｏｏｐ分布式文件系统、Ｍａｐ?ＲｅｄｕｃｅＨＢａｓｅ数据库技术作为处理海量数数据库技术、以主要以ＨＤＦＳ计算模型以及据方法，在大量的廉价普通计算机上搭建该平台，达到了高效存储和管理北部湾海量海洋科学数据的要求目前该海量数据存储平台还在开发中，平台模块．实现的结果表明，系统具有良好扩展性和易维护性，系统采用的技术路线和设计方法是有效和可行的．以往海洋科学数据存储系统大多采用传统的集参考文献群、网格计算技术，耗费昂贵的计算资源且效率不高，可靠性不强等，这里与本平台原型作以下比较如表所示２．表２　本平台和以往海洋数据存储系统的比较特性种类以往海洋数据存储平台基于Ｈａｄｏｏｐ海洋数据存储平台设计理念共享数据资源和高性能计算高端计算机（服务器，集群）单一低效可变但有限非虚拟化组成功能性能容量资源应用类型科学计算通用计算和存储平台，共享资源廉价ＰＣ可实现丰富，高扩展性，按需增加高效且高可靠性按需提供虚拟化数据处理综上所述，本平台基于分布式技术，使编程和实现起来都比较容易，能够高效地存储管理海量数据，具体来说有以下特性：Ｈａｄｏｏｐ１）可扩展性２）经济性．运行在廉价的．基于具有存储可扩展和计算可扩展性．的海量存储平台可以ＨａｄｏｏｐＰＣ上，无需昂贵的大型机．３）安全可靠性．ＨＤＦＳ的备份恢复机制以及的任务监控机制保证了分布式处理的ＭａｐＲｅｄｕｃｅ可靠性．４）高效性分布式文件系统的高效数据交互以．［１］Ｈａｙｅｓ　Ｂ．Ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ，２００８，５１（７）：９－１１［２］Ｈａｄｏｏｐ．［２０１０－１２－０６］．ｈｔｔｐ：??ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ? ［３］陈康，郑纬民云计算：系统实现与研究现状．．软件学报，２００９，２０（５）：１３３７－１３４８［４］Ａｒｍｂｒｕｓｔ　Ｍ，Ｆｏｘ　Ａ，Ｇｒｉｆｆｉｔｈ　Ｒ，ｅｔ　ａｌ．Ａｂｏｖｅ　ｔｈｅ　ｃｌｏｕｄｓ：Ａｂｅｒｋｅｌｙ　ｖｉｅｗ　ｏｆ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ．Ｂｅｒｋｅｌｙ，ＣＡ，ＵＳＡ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃａｌｉｆｏｒｎｉａ，２００９［５］Ｐａｒｂｈａｋａｒ　Ｃｈａｇａｎｔｉ．Ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　ｗｉｔｈ　Ａｍａｚｏｎ　ＷｅｂＳｅｒｖｉｃｅｓ．Ｐａｒｔ　５：Ｄａｔａｓｅｔ　ｐｒｏｃｅｓｓｉｎｇ　ｉｎ　ｔｈｅ　ｃｌｏｕｄ　ｗｉｔｈＳｉｍｐｌｅＤＢ．２００９．［２０１０－１２－２８］．ｈｔｔｐ：??ｗｗｗ．ｉｂｍ．ｃｏｍ? ｄｅｖｅｌｏｐｅｒｗｏｒｋｓ?ｌｉｂｒａｒｙ?ａｒ－ｃｌｏｕｄａｗｓ５? ［６］Ｄｅａｎ　Ｊ，Ｇｈｅｍａｗａｔ　Ｓ．ＭａｐＲｅｄｕｃｅ：Ｓｉｍｐｌｉｆｉｅｒ　ｄａｔｅｐｒｏｃｅｓｓｉｎｇ　ｏｎ　ｌａｒｇｅ　ｃｌｕｓｔｅｒｓ．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ，２００８，５１（１）：１０７－１１３联邦式异构数据库应用系统的集成框架和实现［７］李俊，李勇技术的研究．计算机应用研究，２００１，１８（４）：１９－２２．［８］科学数据共享工程项目组．科学数据共享工程门户网站．［２０１０－１２－１０］．ｈｔｔｐ：??ｗｗｗ．ｓｃｉｅｎｃｅｄａｔａ．ｃｎ．２０１０［９］地球系统科学数据共享网项目组地球系统科学数据共享．网．［２０１０－１２－１０］．ｈｔｔｐ：??ｗｗｗ．ｇｅｏｄａｔａ．ｃｎ．２０１０［１０］国家测绘局．测绘科学数据共享服务网．［２０１０－１２－１０］．ｈｔｔｐ：??ｓｍｓ．ｗｅｂｍａｐ．ｃｎ．２０１０［１１］国家海洋信息中心海洋科学数据共享中心．．［２０１０－１２－１０］．ｈｔｔｐ：??ｗｗｗ．ｍｄｓ．ｓｃｉｅｎｃｅｄａｔａ．ｃｎ．２０１０［１２］国家气象局中国气象科学数据共享服务网．．［２０１０－１２－１０］．ｈｔｔｐ：??ｃｄｃ．ｃｍａ．ｇｏｖ．ｃｎ．２０１０［１３］基础科学数据共享服务网．基础科学数据共享服务网．［２０１０－１２－１０］．ｈｔｔｐ：??ｗｗｗ．ｎｓｄｃ．ｃｎ．２０１０

８１计算机研究与发展　２０１２，４９（增刊）［１４］陆嘉恒，文继荣，孟小峰，等京：清华大学出版社，２０１０分布式系统及云计算概论．北．会员，主要研究方向为云计算数据处理、并行分布式计算、信息安全研究．［１５］刘鹏云计算．北京：电子工业出版社，２０１０．［１６］Ｂａｋｉｓ　Ｎ，Ａｏｕａｄ　Ｇ，Ｋａｇｉｏｇｌｏｕ　Ｍ．Ｔｏｗａｒｄｓ　ｄｉｓｔｒｉｂｕｔｅｄｐｒｏｄｕｃｔ　ｄａｔａ　ｓｈａｒｉｎｇ　ｅｎｖｉｒｏｎｍｅｎｔｓ．Ａｕｔｏｍａｔｉｏｎ　ｉｎＣｏｎｓｔｒｕｃｔｉｏｎ，２００７，１２（１６）：５８６－５９５数据仓库概述［１７］余华鸿，李颖，张玉川．计算机与信息技术，．２００７，１０（１３）：７９－９９　　崔杰男，１９８６　　年生，硕士研究生，中国计算机学会　李陶深男，１９５７年生，博士，教授，中国计算机学会高　　级会员，主要研究方向为分布式数据库、网络信息安全、网络路由算法、无线网络Ｍｅｓｈ．兰红星男，１９５６年生，博士，研究员，主要研究方向为　　计算机网络与并行分布式计算、网络信息安全　．

资料库

基于Hadoop的海量数据存储平台设计与开发.pdf

相关推荐

大数据

热门标签

最新资料