logo资料库

Cloudera Manager一步步详细部署文档(离线parcels存储库方式）.docx

发布时间：2022-06-05 发布人：admin 分类：说明书 资料大小：1.47M 资料格式：docx 举报 版权申诉
第1页 / 共25页
第2页 / 共25页
第3页 / 共25页
第4页 / 共25页
第5页 / 共25页
第6页 / 共25页
第7页 / 共25页
第8页 / 共25页
资料共25页，剩余部分请下载后查看
    一、文档内容
    二、软硬件环境
    2.1.软件信息
    2.2.硬件信息
    三、集群部署流程
    3.1.管理结点部署
    3.1.1 环境准备
    3.1.2 CDH软件套件下载及配置
    3.2.工作结点部署
    3.2.1 环境准备
    3.2.2 配置迁移
    四、集群创建与验证
    4.1创建集群
    4.2 验证集群
    4.2.1.MapReduce验证
    4.2.2.Hive验证
    Cloudera Manager 安装手册(离线 parcels 存储库方式) 文档版本 v1.0 时间：2016/5/18
    目录 一、文档内容 .................................................................................................................................... 3 二、软硬件环境................................................................................................................................ 3 2.1.软件信息 .............................................................................................................................. 3 2.2.硬件信息 .............................................................................................................................. 4 三、集群部署流程 ............................................................................................................................ 5 3.1.管理结点部署 ...................................................................................................................... 5 3.1.1 环境准备 .................................................................................................................. 5 3.1.2 CDH 软件套件下载及配置 ..................................................................................... 6 3.2.工作结点部署 ...................................................................................................................... 9 3.2.1 环境准备 .................................................................................................................. 9 3.2.2 配置迁移 ................................................................................................................10 四、集群创建与验证...................................................................................................................... 11 4.1 创建集群 ............................................................................................................................ 11 4.2 验证集群 ........................................................................................................................... 22 4.2.1.MapReduce 验证 .....................................................................................................22 4.2.2.Hive 验证 ................................................................................................................ 24
    一、文档内容 Cloudera Manager（简称 CM）是快速部署大数据分析平台的高效工具，用于管理 CDH 集群，可实现节点安装、服务配置等功能，通过 Web 界面操作配置提高了 Hadoop、Spark 等分析平台的配置可见度，且降低了集群参数设置的复杂度。 本文档描述了部署 Cloudera Manager 大数据分析平台的具体过程，大数据分析平台组成 结构如图 1-1 所示。主要包括以下几个部分工作： 1. 采用离线 parcel 存储库方式手动部署 Cloudera Manager； 2. 利 用 搭 建 好 的 Cloudera Manager 管 理 工 具 进 行 大 数 据 分 析 平 台 （ 包 括 HDFS,MapReduce,Hue,Hive,Impala 等组件）的快速自动化部署，并监控整个工作集 群； 3. 通过向主结点提交任务对部署的工作集群可用性进行验证，包括 MapReduce 验证和 Hive 验证。 本集群访问 URL 地址：http://172.44.3.20:7180/cmf/login 图 1-1 组成结构图 二、软硬件环境 2.1.软件信息 各软件版本信息如下：
    (1) Cloudera Manager v5.5.2-1，其中包括如下组件： cloudera-manager-agent-5.5.2-1.cm552.p0.16.el7.x86_64.rpm cloudera-manager-daemons-5.5.2-1.cm552.p0.16.el7.x86_64.rpm cloudera-manager-server-5.5.2-1.cm552.p0.16.el7.x86_64.rpm cloudera-manager-server-db-2-5.5.2-1.cm552.p0.16.el7.x86_64.rpm enterprise-debuginfo-5.5.2-1.cm552.p0.16.el7.x86_64.rpm jdk-6u31-linux-amd64.rpm oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm (2) CDH v5.5.2，其中包括如下组件： CDH-5.5.2-1.cdh5.5.2.p0.4-el7.parcel manifest.json 2.2.硬件信息 本集群主机明细信息，如表 1-1 所示： 主机名 IP 地址 描述 操作系统 cms.tisson.cn 172.44.3.20 集群监控 和管理 CentOS-6.5-x86_64- minimal cdh01.tisson.cn 172.44.3.21 主结点 cdh02.tisson.cn cdh03.tisson.cn cdh04.tisson.cn cdh05.tisson.cn cdh06.tisson.cn cdh07.tisson.cn cdh08.tisson.cn cdh09.tisson.cn cdh10.tisson.cn cdh11.tisson.cn cdh12.tisson.cn(备用) 172.44.3.22 172.44.3.23 172.44.3.24 172.44.3.25 172.44.3.15 172.44.3.27 172.44.3.28 172.44.3.16 172.44.3.17 172.44.3.18 172.44.3.19 CentOS-7.2-x86_64- Minimal 计算结点 表 1-1 配置 24 CPUs 48GB Memory 1TB Disk 24 CPUs 48GB Memory 1TB Disk 16 CPUs 32G Memory 1TB Disk
    三、集群部署流程 3.1.管理结点部署 3.1.1 环境准备 Step 01：安装操作系统 1 安装操作系统，本文管理结点安装 CentOS-6.5-x86_64-minimal 操作系统，安装流程 略。 Step 02：关闭并禁用防火墙 1 为了确保各个集群结点间通常通讯，我们需要关闭并禁用管理结点上的防火墙。 #service iptables stop #chkconfig iptables off Step 03：关闭 Linux 安全内核 1 打开 vi /etc/sysconfig/selinux 配置文件，设置 SELINUX=disabled。 Step 04：配置网络 1 打开 vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置文件，将 IP、掩码和网关等信息 配置如下： Step 05：配置 DNS 1 打开 vi /etc/resolv.conf 配置文件，将 DNS 配置信息配置如下： Step 06：配置域名解释 hosts 1 打开 vi /etc/hosts 配置文件，将域名解释信息配置如下： Step 07：安装时间同步 ntp 组件
    yum 安装并开机启用时间同步服务 ntp 1 #yum install ntp –y #service ntpd start #chkconfig ntpd on Step 08：安装 Httpd 服务组件 yum 安装并开机启用 httpd 服务组件 1 #yum install httpd –y #service httpd start #chkconfig httpd on Step 09：安装 createrepo 组件 yum 安装 createrepo 组件 1 #yum install createrepo –y Step 10：重启系统 1 为确保上述配置修改生效请务必重启操作系统。 #reboot 3.1.2 CDH 软件套件下载及配置 Step 01：下载 cloudera 管理器 RPM 包 1 浏览器访问如下 URL 地址，将部署 cloudera 管理器需要的 RPM 包下载并存储本地。 http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.2/RPMS/x86_64/ Step 02：下载 CDH parcel 包 1 浏览器访问如下 URL 地址，将部署 CDH parcel 包下载并存储本地。 http://archive-primary.cloudera.com/cdh5/parcels/5.5.2/ Step 03：配置 cloudera 管理器 RPM 包本地 repo 源 1 利用 rz 命令（需要安装 lrzsz 组件）将 cloudera 管理器 RPM 软件包放置到管理结点 任意目录（如~/tools/cloudera/cm）； 2 执行 createrepo 创建源； #createrepo . 3 将 RPM 包以及生成的 repodata 目录拷贝到/var/www/html/cm 目录，执行如下命令； #cp –rf * /var/www/html/cm 4 浏览器访问如下 URL 地址，RPM 目录文件如图 3-1 所示。 http://172.44.3.20/cm/
    Step 04：本地 yum 配置文件 1 创建打开 vi /etc/yum.repos.d/myrepo.repo 并加入如下内容。 图 3-1 Step 05：配置本地 CDH parcel 存储库 1 利 用 rz 命 令 （ 需 要 安 装 lrzsz 组 件 ） 将 CDH parcel 包 放 置 到 管 理 结 点 /var/www/html/cdh/parcels/5.5.2 目录； 2 浏览器访问如下 URL 地址，CDH parcel 包如图 3-2 所示。 http://172.44.3.20/cdh/parcels/5.5.2/ Step 06：安装并启动 cloudera 服务 图 3-2
    1 安装 JDK； #yum install oracle-j2sdk1.7 -y 2 安装 Cloudera 管理器服务器； # yum install cloudera-manager-daemons cloudera-manager-server -y 3 安装内置数据库； # yum install cloudera-manager-server-db-2 -y 4 启动内置数据库； # service cloudera-scm-server-db start 5 启动 Cloudera 管理器服务器。 # service cloudera-scm-server start Step 06：访问 cloudera 管理界面 1 浏览器访问如下 URL 地址，登录界面如图 4 所示。至此，cloudera 管理结点配置完 成。 http://172.44.3.20:7180/cmf/login
    分享到：
    赞 收藏

    相关推荐

    资料库

    服务器应用

    共收录358份资料，累计8个分类，关注成员有19位，主要包括：Proxy,DNS,群集服务,FTP,Mail服务器,Web服务器,虚拟化,其它

    热门标签

    Proxy DNS 群集服务 FTP Mail服务器 Web服务器 虚拟化 其它

    最新资料