最新Cloudera Manager中文手册.pdf-资料库

lh_rf13410-10954739-4744302542853604492.pdf-第1页.png

第1页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第2页.png

第2页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第3页.png

第3页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第4页.png

第4页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第5页.png

第5页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第6页.png

第6页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第7页.png

第7页 / 共44页

lh_rf13410-10954739-4744302542853604492.pdf-第8页.png

第8页 / 共44页

Cloudera Manager 产品介绍 1. 介绍 Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过 Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。 Cloudera Manager 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过 Cloudera Manager，可以方便地部署，并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程，从而减少了部署集群的时间。通过 Cloudera Manager 可以提供一个集群范围内的节点实时运行状态视图。同时，还提供了一个中央控制台，可以用于配置集群。不仅如此，Cloudera Manager 通过包含一系列的报道和诊断工具，可以帮助您优化集群性能，并且提高利用率。 Cloudera Manager 能够为您提供以下的功能：  自动化 Hadoop 安装过程，大幅缩短部署时间；  提供实时的集群概况，例如节点、服务的运行状况；  提供了集中的中央控制台对集群的配置进行更改。  包含全面的报告和诊断工具，帮助优化性能和利用率。

Cloudera Manager 的架构如上图所示，主要由如下几部分组成：  服务端/Server：Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。  代理/agent：安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。  数据库/Database：存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的 Cloudera 管理器服务和监视后台程序使用不同的逻辑数据库。  Cloudera Repository：用于软件分发由 Cloudera 软件仓库。  客户端/Clients：提供了一个与 Server 交互的接口：  管理平台 /Admin Console ：提供一个管理员管理集群和 Cloudera Manage 的基于网页的交互界面。  API：为开发者提供了创造自定义 Cloudera Manager 程序的 API。 2. 功能此部分内容在免费版本 Cloudera Express 产品以及商业版本中可用。

2.1. 管理 2.1.1. 参数配置 2.1.1.1. 可视化参数配置界面

2.1.1.2. 过期设置报警配置过期需要重启客户端配置过期

2.1.1.3. 智能参数验证及优化 2.1.2. 管理员权限管理对系统管理员、数据库管理员及其他管理员必须授予不同级别的管理权限。 2.2. 监控 Cloudera Manager 提供了许多监控功能，用于监测群集（主机，服务守护进程）健康、组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能：  服务监控查看服务和角色实例级别健康检查的结果，并通过图表显示，有助于诊断问题。如果健康检查发现某个组件的状态需要特别关注甚至已经出现问题，系统会对管理员应该采取的行动提出建议。同时，系统管理员还可以查看上的服务或角色上操作的执行历史，也可以查看配置更改的审计日志。  主机监控监控群集内所有主机的有关信息，包括：哪些主机上线或下线，主机上目前消耗的内存，主机上运行的角色实例分配，不同的机架上的主机分配等等。汇总视图中显示了所有主机群集，并且可以进一步查看单个主机丰富的细节，

包括显示主机关键指标的直观图表。  行为监控 Cloudera Manager 提供了列表以及图表的方式来查看集群上进行的活动，不仅显示当前正在执行的任务行为，还可以通过仪表盘查看历史活动。同时提供了各个作业所使用资源的许多统计，系统管理员可以通过比较相似任务的不同性能数据以及比较查看同一任务中不同执行的性能数据来诊断性能问题或行为问题。  事件活动监控界面可以查看事件，并使它们用于报警和搜索，使得系统管理员可以深入了解发生集群范围内所有相关事件的历史记录。系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。  报警通过配置 Cloudera Manager 可以对指定的事件产生警报。系通过管理员可以针对关键事件配置其报警阈值、启用或禁用报警等，并通过电子邮件或者通过 SNMP 的事件得到制定的警报通知。系统也可以暂时抑制报警事件，此限制可以基于个人角色、服务、主机、甚至整个集群配置，使得进行系统维护/故障排除时不会产生过多的警报流量。  审计事件 Cloudera Manager 记录了有关服务、角色和主机的生命周期的事件，如创建角色或服务、修改角色或服务配置、退役主机和运行 Cloudera Manager 管理服务命令等等。系统管理员可以通过管理员终端查看，界面提供了按时间范围、服务、主机、关键字等字段信息来过滤审计事件条目。  可视化的时间序列数据图表系统管理员可以通过搜索度量数据，系统将根据指定规则创建数据，组（方面）数据的图表，并把这些图表保存到用户自定义的仪表板。  日志介绍如何访问日志中的各种考虑到你正在查看当前上下文的方式。例如，监控服务时，你可以轻松地点击一个链接，查看相关的特定服务的日志条目，通过相同的用户界面。当查看关于用户的活动信息，您可以方便地查看了作业运行时所用的作业的主机上发生的相关日志条目。  报告 Cloudera Manager 可以将收集到的历史监控数据统计生成报表，比如按目录查看集群作业活动的用户、按组或作业 ID 查看有关用户的磁盘利用率，用

户组的历史信息等。这些报告可以根据选定的时间段（每小时，每天，每周，等等）汇总数据，并可以导出为 XLS 或 CSV 文件。同时系统管理员还可以管理包括搜索和配额等 HDFS 目录设置。 2.3. 批量部署 Hadoop 本身是一个分布式的系统，因此在安装时，需要对每一个节点进行组件的安装，并且由于是开软软件，其安装过程相对比较复杂，Hadoop 每个组件都需要做很多的配置工作，如果手动去完成这个工作，工作量将会非常可观。针对这种情况，CDH 提供了 Cloudera Manager 来自动化安装部署 Hadoop。大大缩短了 Hadoop 的安装时间，同时也简化了安装 Hadoop 的过程。 CDH 的安装针对不同的客户环境，提供了多种不同的安装方式： 1. 如果用户的集群能够访问到 Cloudera 的网站，直接可以进行完全自动化的安装。 2. 如果用户的集群不能够访问公网，则只需要在集群内部建立一个软件仓库，然后再进行自动化的集群部署其中上述提到的自动化安装的过程如下: 1. 安装环境准备，下载 Cloudera Manager 以及 CDH 的安装文件，安装 JDK， yum 等基本软件。 2. 挑选一台节点，安装 Cloudera Manager，用户只需要启动安装脚本即可，通常情况下 2 分钟就能够完成。 3. Cloudera Manger 是一个 Web 应用，提供了基于浏览器的界面，用户可以通过浏览器可视化的进行 CDH 的安装部署。 4. 通过 Cloudera Manager 界面，添加其他需要安装的节点，选择要安装的 Hadoop 组件，以及每个节点承担的角色，选择安装，Cloudera Manager 会自动的将需要安装的软件分发到对应的节点，并完成安装。 5. 同时 Cloudera Manager 会提供一个默认的 CDH 配置，并且提供了配置的管理界面，供用户在后续进行定制化的配置。 6. 在安装过程中，如果任意一台机器安装出现问题，Cloudera Manager 都会进行汇报，并提供日志，供用户分析，解决问题。

7. 当所有节点的软件都安装完成之后，Cloudera Manager 会启动所有的服务。从上述的安装过程可以看出，CDH 的安装主要体现两个特点，批量化以及自动化。只需要在其中一个节点完成，其他节点都可以进行批量化的自动安装。 2.4. 集成 2.4.1. 安全集成通常在一个企业内部，都会对验证系统作集中的部署，例如使用 AD，LDAP 等验证服务作为集中式的验证服务器，提供对所有业务系统的验证工作。为了方便 Hadoop 大数据平台与原有验证系统的集成，CM 提供了丰富的集成功能，只需要在界面，进行简单的配置，即可完成。 2.4.2. ClouderaManager API Cloudera 产品具有开放的特性，这种开放性的其中一个体现就是 CM 提供了丰富的 API，供客户调用，基本上所有在界面上提供的功能，通过 API 都可以完成同样的工作。Cloudera Manager API 支持的功能包括配置和服务生命周期管理、服务健康信息和指标，并允许配置 Cloudera Manager 本身。API 复用 Cloudera Manger 管理控制台（Cloudera Manager Admin Console）相同的主机和端口，无需额外的操作流程或参数配置。API 支持 HTTP 基本身份验证（HTTP Basic Authentication），接受与 Cloudera Manger 管理控制台相同的用户和凭据。并且这些 API 都是标准的 REST API，使用 HTTP 标准的 CRUD 所有的请求和响应都可以用 JSON（JavaScript Object Notation）来表示，基本上所有的业务系统都应该支持，通过这些 API，能够方便的将 CM，集成到企业原有的集中管理系统。下面是一些可以通过 Cloudera Manager API 做的操作：  通过编程部署整个 Hadoop 集群。 Cloudera Manger 支持 HDFS、 MapReduce、Yarn、Zookeeper、HBase、Hive、Oozie、Hue、Flume、 Impala、Solr、Sqoop、Spark 和 Accumulo 等；  配置各种 Hadoop 服务并验证；  开展服务和角色的管理行为，如启动、停止、重新启动、故障转移等，同时提供了更先进的工作流程，如设立高可用性和退役；

资料库

最新Cloudera Manager中文手册.pdf

相关推荐

操作系统

热门标签

最新资料