logo资料库

平台维护规范.doc

发布时间：2022-06-15 发布人：admin 分类：说明书 资料大小：1.29M 资料格式：doc 举报 版权申诉
第1页 / 共29页
第2页 / 共29页
第3页 / 共29页
第4页 / 共29页
第5页 / 共29页
第6页 / 共29页
第7页 / 共29页
第8页 / 共29页
资料共29页，剩余部分请下载后查看
    1概述
    1.1背景
    1.2目的
    1.3范围
    2硬件准备
    3实施
    3.1软件准备
    3.2HBASE服务器规划
    3.3HBASE安装部署
    3.4HBASE参数配置
    3.5HBASE备份恢复
    3.5.1常用的在线备份方案及其比较
    3.5.2原理
    3.5.2.1Replication 总体结构
    3.5.2.2Replication 工作流程
    3.5.2.3Replication Class 简介
    3.5.2.4Replication Zookeeper上的结构
    3.5.2.5Replication Failover
    3.5.3部署
    3.5.3.1Master 集群配置文件
    3.5.3.2Slave 集群配置文件
    3.5.3.3Master 集群配置
    3.5.3.4Slave集群配置
    3.6HBASE监控
    3.6.1hbase的监控配置说明
    3.6.2hadoop基于ganglia的监控框架
    3.6.3hbase regionserver中RPC metric的计算采集
    3.6.4hbase中JVM监控数据的计算采集
    3.6.5hbase中regionserver进程相关metric的计算采集
    3.6.5.1region的metric采集
    3.6.5.2blockcache相关的metric采集
    3.6.5.3读写请求的metric采集
    3.6.5.4dfs操作的metric采集
    3.6.5.5compact与split的操作数据采集
    3.6.5.6handler的metric采集
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 HBASE 安装部署、参数设置、备份、恢复、 监控规范 普元信息技术股份有限公司 2014 年 10 月 1 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 目录 1 概述..................................................................................................................................................................3 1.1 1.2 1.3 背景.................................................................................................................................................3 目的.................................................................................................................................................4 范围.................................................................................................................................................4 2 硬件准备..........................................................................................................................................................5 3 实施..................................................................................................................................................................5 3.3 3.4 3.6 3.1 3.2 3.5 软件准备.........................................................................................................................................5 HBASE 服务器规划..........................................................................................................................5 HBASE 安装部署..............................................................................................................................5 HBASE 参数配置..............................................................................................................................9 HBASE 备份恢复............................................................................................................................10 3.5.1 常用的在线备份方案及其比较...................................................................................................10 3.5.2 原理...............................................................................................................................................12 3.5.2.1 Replication 总体结构 ............................................................................................12 3.5.2.2 Replication 工作流程 ............................................................................................13 3.5.2.3 Replication Class 简介 .......................................................................................... 14 3.5.2.4 Replication Zookeeper 上的结构...........................................................................15 3.5.2.5 Replication Failover................................................................................................16 3.5.3 部署...............................................................................................................................................18 3.5.3.1 Master 集群配置文件 ........................................................................................... 18 3.5.3.2 Slave 集群配置文件 ..............................................................................................20 3.5.3.3 Master 集群配置 ................................................................................................... 20 3.5.3.4 Slave 集群配置 .......................................................................................................20 HBASE 监控....................................................................................................................................20 3.6.1 hbase的监控配置说明................................................................................................................21 3.6.2 hadoop基于ganglia的监控框架..............................................................................................21 3.6.3 hbase regionserver中RPC metric的计算采集....................................................................22 3.6.4 hbase中JVM监控数据的计算采集............................................................................................23 3.6.5 hbase中regionserver进程相关metric的计算采集............................................................24 region 的 metric 采集 .............................................................................................25 3.6.5.1 3.6.5.2 blockcache 相关的 metric 采集 ............................................................................. 26 3.6.5.3 读写请求的 metric 采集 ........................................................................................ 26 3.6.5.4 dfs 操作的 metric 采集 .......................................................................................... 27 compact 与 split 的操作数据采集.........................................................................28 3.6.5.5 3.6.5.6 handler 的 metric 采集........................................................................................... 29 2 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 1 概述 1.1 背景 随着 OSS 域各个系统的建设，系统间数据共享的需求也越来越多。目前，贵州移动的 网管系统在总部规范指导下，按需逐年建设而成的。这些系统实现对通信网络和业务平台的 管理，支撑配置管理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。但是， 面向网元和网络的分专业网管，难以支持以客户感知为核心、面向端到端业务实现的运维管 理新要求。越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑，实际生产分 析场景需要将多类型、多专业的性能、质量等数据的进行集中管理，并建立模型关联，准实 时、非实时分析需求并存。 CMOSS2.0 明确提出了数据集成和共享平台的技术架构要求。包括服务总线和数据总线。 数据集成和共享平台作为所有系统的交互桥梁，能够实现全面支持 CMOSS 规范中的所有共享 模式，提升系统稳定性及业务吞吐量；提供基于标准模型的数据共享服务，以解决数据开放 共享问题。建设效果直接影响到中国移动的 IT 业务能力和 IT 功能支撑能力。 根据集团 CMOSS2.0 技术规范的要求，结合贵州移动在网管领域对数据共享的具体需求。 贵州移动规划建立网络数据共享平台，通过对生产系统数据准实时的采集，将数据汇总到数 据共享平台上。利用目前业界最新的数据分析和处理技术，按照不同的业务视角利用采集到 数据，为企业运营提供技术决策依据。同时，由于统计分析使用的数据和生产运营的数据分 离，可以较少对正式系统的影响，从而保障生产系统运营更加稳定、可靠。 由于数据来自各个专业系统，需要面对不同的厂商、不同的技术架构。在数据共享平 台的建设过程中，存在数据标准化、服务标准化、大数据处理等问题。这些问题是数据集成 和共享平台建设成功的关键，需要重点解决。 1) 对现有网管数据从生产到消费的全流程梳理，形成网管数据血缘关系和数据地图，以作 为网管数据统一建模、集成共享的基础； 2) 根据数据地图，建立可扩展的、面向底层数据源和上层应用灵活适配的网管数据模型， 作为数据共享中心模型标准。 3) 研究海量数据共享技术和模式，对数据库共享、数据编排、服务共享等数据共享技术和 3 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 模式进行评估，制定符合网络数据中心的共享技术标准。 4) Hadoop 是当前大数据处理常用的技术，但 Hadoop NoSQL 和多接点的特点，为应用开发 和平台维护带来一定的难道。通过技术服务，对 Hadoop 应用开发提供参考标准和技术支持， 研究并制定 Hadoop 平台的维护标准。 1.2 目的 1) 形成对网管数据地图与数据模型标准的梳理，作为在建数据共享中心的规范与指导； 2) 研究海量数据的处理与分析技术、模式，为后续进一步建立针对大数据的数据共享中心 提供可行方案与指导。 为了达到上述目标，本项目分解为四个子项目，各子项目工作内容如下： 1)网络数据地图研究子项目  对现有网管数据从生产到消费的全流程梳理，形成网管数据血缘关系和数据地图， 以作为网管数据统一建模、集成共享的基础； 2) 网络数据共享模型标准研究子项目  根据数据地图，建立可扩展的、面向底层数据源和上层应用灵活适配的网管数据模 型，作为数据共享中心模型标准。 3) 网络数据共享技术标准子项目  研究海量数据共享技术和模式，对数据库共享、数据编排、服务共享等数据共享技 术和模式进行评估，制定符合网络数据中心的共享技术标准。 4) 网络数据共享平台维护标准子项目  数据共享平台采用 Hadoop 架构，多种技术共存，方案相对复杂，NoSQL 和多节点 的特点，为应用开发和平台维护带来一定的难道。通过技术服务，对应用开发提供 参考标准和技术支持，研究并制定平台的维护标准。 1.3 范围 该文档是用于指导贵州移动网络共享平台 HBASE 安装部署、参数设置、备份、恢复、监 控的规范。 4 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 2 硬件准备 设备用途 操作 系统 设备 数量 设备 数量 主机名 IP 说明 2 14 CXNDSP_HDP_01 CXNDSP_HDP_02 CXNDSP_HDP_03 CXNDSP_HDP_04 ………... CXNDSP_HDP_16 控制服务器 数据节点 Hadoop 服 务器 Centos6.2 Centos6.2 16 3 实施 3.1 软件准备 HADOOP 软件已经正确安装完成。 3.2 HBASE 服务器规划 Hadoop 版本：hadoop-1.2.1 Hbase 版本：hbase-0.94.19 zookeeper 版本：hbase 自带 主机名 HADOOP 功能 Hbase 功能 zookeeper 功能 CXNDSP-HDP-01 Master/NameNode Master HQuorumPeer CXNDSP-HDP-02 Slave/DataNode DataNode HRegionServer CXNDSP-HDP-03 Slave/DataNode DataNode HQuorumPeer/HRegionServer CXNDSP-HDP-04 Slave/DataNode DataNode HQuorumPeer/HRegionServer CXNDSP-HDP-05 Slave/DataNode DataNode HQuorumPeer/HRegionServer … … … … CXNDSP-HDP-15 Slave/DataNode DataNode HQuorumPeer/HRegionServer CXNDSP-HDP-16 Slave/DataNode DataNode HQuorumPeer/HRegionServer 3.3 HBASE 安装部署 1、 hbase 软件下载 官网：http://www.apache.org/dyn/closer.cgi/hbase/ 下载当前稳定版“hbase-0.94.19.tar.gz” 2、 下载后解压到 HADOOP 系统用户下:/opt/cloud/ hbase-0.94.19 5 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 3、 配置  文件 1: hbase-env.sh 主要修改： a) JAVA 环境配置 export JAVA_HOME=/usr/java/jdk1.6.0_45/ b) HBASE_CLASSPAT, 利于 Hbase 与 Hadoop 关联 export HBASE_CLASSPATH=/opt/cloud/hadoop-1.2.1/conf c) 设置使用 Hbase 自带 ZOOKEEPER export HBASE_MANAGES_ZK=true d) 参考： hbase-env.sh  配置文件 2: hbase-site.sh a) hbase.rootdir 这个目录是 region server 的共享目录，用来持久化 HBase 需要先创建该目录:hadoop fs -mkdir hdfs://CXNDSP-HDP-01:9000/hbase b) distributed 是指定开启集群分布式,true 为开启 c) master 是指定 master 的机子和端口 d) quorum 是指定放 zookeeper 机子,被指定的机器上会运行 HQuorumPeer 进程 e) dataDir 是指定临时目录，建议为${hadoop.tmp.dir}/hbase f) 参考： hbase-site.xml hbase参数.htm  配置文件 3: regionservers a) HregionServer 节点，配置为 hadoop 的 datanode 节点即可 4、 驱动包 因为 Hbase 与 Hadoop 有版本支持对应关系，所以要将 Hadoop 根目录下的驱动包 放到 Hbase 的 lib 目录，同时删除 Hbase 的 lib 下的旧版本的 hadoop-core-***包： 将 6 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 覆盖到 5、 安装到其他节点 将当前配置好的 Hbase 同步到其他节点机： scp -r /opt/cloud/hbase-0.94.19/ hadoop@CXNDSP-HDP-02:/opt/cloud/ scp -r /opt/cloud/hbase-0.94.19/ hadoop@CXNDSP-HDP-03:/opt/cloud/ scp -r /opt/cloud/hbase-0.94.19/ hadoop@CXNDSP-HDP-04:/opt/cloud/ …… …… scp -r /opt/cloud/hbase-0.94.19/ hadoop@CXNDSP-HDP-15:/opt/cloud/ scp -r /opt/cloud/hbase-0.94.19/ hadoop@CXNDSP-HDP-16:/opt/cloud/ 6、 启动 HBASE: Bin/Start-hbase.sh 启动完成后 JPS 查看进程： 7 / 29
    中国移动通信集团贵州有限公司 2014 年网络部网管数据集成与共享标准技术服务项目 也可网页浏览： http://172.17.1.1:60010/master-status 7、 进入：Hbase shell ，安装成功 8 / 29
    分享到：
    赞 收藏

    相关推荐

    资料库

    后端

    共收录2142份资料，累计10个分类，关注成员有19位，主要包括：Perl,Docker,Delphi,VB,PHP,Java,C,C#,Python,C++

    热门标签

    Perl Docker Delphi VB PHP Java C C# Python C++

    最新资料