logo资料库

ClouderaManager 管理手册 中文版.pdf

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：4.57M 资料格式：pdf 举报 版权申诉
第1页 / 共41页
第2页 / 共41页
第3页 / 共41页
第4页 / 共41页
第5页 / 共41页
第6页 / 共41页
第7页 / 共41页
第8页 / 共41页
资料共41页，剩余部分请下载后查看
    Cloudera Manager 管理手册 2018 年 3 月 23 日
    1. 介绍 ................................................................................................................................................................ 1 2. 基本功能 ......................................................................................................................................................... 1 2.1. 管理功能................................................................................................................................................................... 2 2.1.1. 集群安装 ......................................................................................................................................................... 2 2.1.2. 集群配置 ......................................................................................................................................................... 4 2.2. 监控功能................................................................................................................................................................. 13 2.2.1. 集群及服务实时监控 ..................................................................................................................................... 14 2.2.2. 节点级别监控 ................................................................................................................................................ 17 2.2.3. 自定义报警监控............................................................................................................................................. 17 2.2.4. 自定义图表 .................................................................................................................................................... 18 2.2.5. 页面自定义 .................................................................................................................................................... 18 2.2.6. 高可靠监视及报警 ......................................................................................................................................... 19 2.2.7. 日志自动清理 ................................................................................................................................................ 20 2.3. 诊断功能................................................................................................................................................................. 21 2.3.1. 周期性服务诊断............................................................................................................................................. 21 2.3.2. 主动集群诊断 ................................................................................................................................................ 21 2.3.3. 操作提示 ....................................................................................................................................................... 22 2.3.4. 日志收集及检索............................................................................................................................................. 22 2.4. 集成功能................................................................................................................................................................. 23 2.4.1. 安全配置 ....................................................................................................................................................... 23 2.4.2. Cloudera Manager API .................................................................................................................................. 24 3. 高级功能 ....................................................................................................................................................... 27 3.1. 软件滚动升级 ......................................................................................................................................................... 27 3.2. 数据审计................................................................................................................................................................. 38 3.3. 安全集成向导 ......................................................................................................................................................... 39 3.3.1. Kerberos 集成 ................................................................................................................................................ 39 3.3.2. 外部安全认证集成 ......................................................................................................................................... 41 4. 重要管理任务介绍 ........................................................................................................................................ 42 4.1. 多租户资源管理能力 ............................................................................................................................................... 42 4.1.1. 资源分配运维监控工具 .................................................................................................................................. 42 4.1.2. 动态资源隔离能力（基于 YARN） ..................................................................................................................... 43 4.1.3. 静态资源隔离能力（基于 Linux 容器技术） .................................................................................................. 43 5. 监控指标 ....................................................................................................................................................... 45 5.1. 部分样例状态指标 .................................................................................................................................................. 46 5.1.1. HDFS 指标 ..................................................................................................................................................... 46 5.1.2. MapReduce 指标 ........................................................................................................................................... 46 5.1.3. HBase 指标 .................................................................................................................................................... 47 5.2. 部分样例报警指标 .................................................................................................................................................. 47 5.2.1. Hive ............................................................................................................................................................... 47 5.2.2. HDFS ............................................................................................................................................................. 48 5.2.3. MapReduce ................................................................................................................................................... 48 5.2.4. HBase ............................................................................................................................................................ 49 cloudera.com
    1. 介绍 Cloudera Manager 是 Hadoop 生态领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager 对 Hadoop 的每个组件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过 Cloudera Manger， 运维人员得以提升服务质量，提高合规性并降低管理集群成本。 产品介绍 Cloudera Manager 的设计目的是为了使得对于企业数据中心的管 理变得简单和直观。通过 Cloudera Manager，可以更方便地部署， 并且集中式操作完整的大数据软件栈。该应用软件会自动化安装， 从而减少了部署集群的时间。通过 Cloudera Manager 可以提供 一个集群范围内的节点实时运行状态视图。同时，还提供了一个中 央控制台，可用于配置集群。不仅如此，Cloudera Manager 通过包含一系列的报告和诊断工具，可以帮助您优化集 群性能，从而提高利用率。Cloudera Manager 能够为您提供以下 的功能 ： ● 自动化 Hadoop 安装过程，大幅缩短部署时间 ● 提供实时的集群概况，例如节点、服务的运行状况 ● 提供了集中的中央控制台对集群的配置进行管理更改 ● 包含全面的报告和诊断工具，帮助优化性能和利用率 Cloudera Manager 的架构如上图所示，主要由如下几部分组成： Client s Admin Console API Cloudera Repository Server S P T T H DB Agent 3 Agent 4 Agent 1 Agent 2 ● 服务端 /Server ：Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件，配置，开始 和停止服务，以及管理服务运行的集群。 ● 代理 /agent ：安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。 ● 数据库 /Database ：存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述 的 Cloudera 管理器服务和监视后台程序使用不同的逻辑数据库。 ● Cloudera Repository ：用于软件分发的Cloudera 软件仓库。 ● 客户端 /Clients ：提供了一个与 Server 交互的接口 ： ■ 管理平台 /Admin Console ：提供一个基于网页的交互界面帮助管理员管理集群和 Cloudera Manager 。 ■ API ：为开发者提供了创造自定义 Cloudera Manager 程序的 API。 2. 基本功能 Cloudera Manager 作为 Hadoop 大数据平台的管理工具，旨在帮助用户更容易地使用 Hadoop。其基本功能主要可以分为 四大模块：管理功能、监控功能、诊断功能和集成功能。 此部分内容在免费版本 Cloudera Express 产品以及商业版本中可用。 1
    2.1. 管理功能 由于 Hadoop 是一个分布式的系统，由多台服务器组成一个集群，相对于传统的单节点运行的应用系统，由于节点数的增多。 Hadoop 的管理更加复杂。CM 提供的管理功能如下： 2.1.1. 集群安装 2.1.1.1. 自动化安装 Cloudera Manager（以下简称 CM）提供了强大的 Hadoop 集群部署能力， 能够批量的自动化部署节点。安装一个 Hadoop 集群大体只需要 3 个步骤。 步骤一：添加需要安装的节点： 步骤二：安装需要的组件 2
    步骤三：分配角色 产品介绍 2.1.1.2. 批量部署 Hadoop 本身是一个分布式的系统，因此在安装时，需要对每一个节点进行组件的安装，并且由于是开源软件，其安装过 程相对比较复杂，Hadoop 每个组件都需要做很多的配置工作，如果手动去完成这个工作，工作量将会非常庞大。针对这 种情况，CDH 提供了 Cloudera Manager 来自动化安装部署 Hadoop。大大缩短了 Hadoop 的安装时间，同时也简化了 Hadoop 安装过程。 CDH 的安装针对不同的客户环境，提供了多种不同的安装方式： 1. 如果用户的集群能够访问到 Cloudera 的网站，直接可以连接Cloudera Repository远端源进行完全自动化的安装。 2. 如果用户的集群不能够访问公网，则只需要在集群内部建立一个本地软件仓库，然后再进行自动化的集群部署 其中上述提到的自动化安装的过 程如下 : 1. 安装环境准备，下载 Cloudera Manager 以及 CDH 的安装文件，安装 JDK，yum 等基本软件。 2. 挑选一台节点，安装 Cloudera Manager，用户只需要启动安装脚本即可，通常情况下 2 分钟就能够完成。 3. Cloudera Manger 是一个 Web 应用，提供了基于浏览器的界面，用户可以通过浏览器可视化的进行 CDH 的安装部署。 4. 通过 Cloudera Manager 界面，添加其他需要安装的节点，选择要安装的 Hadoop 组件，以及每个节点承担的角色， 选择安装，Cloudera Manager 会自动的将需要安装的软件分发到对应的节点，并完成安装。 5. 同时 Cloudera Manager 会提供一个默认的 CDH 配置，并且提供了配置的管理界面，供用户在后续进行定制化的配置。 6. 在安装过程中，如果任意一台机器安装出现问题，Cloudera Manager 都会进行汇报，并提供日志，供用户分析，解决问题。 7. 当所有节点的软件都安装完成之后，Cloudera Manager 会启动所有的服务。 3
    从上述的安装过程可以看出，CDH 的安装主要体现两个特点，批量化以及自动化。只需要在其中一个节点完成，其他节点都 可以进行批量化的自动安装。 2.1.2. 集群配置 2.1.2.1. 可视化参数配置界面 Hadoop 包含许多的组件，不同的组件都包含各种各样的配置，并且分布于不同的主机之上。CM 针对这种情况提供了界面 化的参数配置功能，并且能够自动的部署到每个节点。 2.1.2.2. 模版化配置 Cloudera Manager 提供了参数配置组的概念，配置组主要是应对在实际情况中，可能存在同一个集群，节点之间存在不同 的硬件配置，或者相同配置承担不同作用的情况，这种情况下不同的节点可能需要进行不同的参数配置。 例如下图所示，NodeManager Default Group 中的所有节点的配置都是相同的。 4
    Cloudera Manager 可以自动监测硬件和角色的配置从而智能的创建不同的配置组。同时，用户也可以手工创建配置组，并 选择配置继承至现有的配置组，具体步骤如下 ： 步骤一：新建配置组并命名，如下是一个 NodeManager 类型的配置组，叫做 NodeManager Test Group，其缺省配置继 承至NodeManager Default Group： 产品介绍 步骤二：为配置组选择服务器： 5
    步骤三：将服务器移动至新建配置组： 步骤四：确认配置页中新建的配置组生效，且包含新添加的服务器： 步骤五：对配置组的配置进行修改。所有修改会在并且只在配置组内服务器生效： 6
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料