logo资料库

CDH6.3安装指南.pdf

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：1.27M 资料格式：pdf 举报 版权申诉
第1页 / 共23页
第2页 / 共23页
第3页 / 共23页
第4页 / 共23页
第5页 / 共23页
第6页 / 共23页
第7页 / 共23页
第8页 / 共23页
资料共23页，剩余部分请下载后查看
    1.概述
    2.介质下载
    2.1.Cloudera Manger下载
    2.2.CDH6.3.0下载
    2.3.文件目录
    3.虚拟机环境
    4.基础配置（所有节点）
    4.1.修改机器名
    4.2.静态IP设置
    4.3.关闭防火墙、禁止防火墙开机自启
    4.4.配置hosts
    4.5.安装jdk8
    4.6.安装mysql驱动
    4.7.ssh无密码登录
    4.8. 配置时间同步 NTP
    5.Mysql安装（db-mysql节点）
    6.创建CDH数据库（db-mysql节点）
    7.Cloudera-manager-agent安装（node节点）
    8.Cloudera Manager安装（master节点）
    8.1.安装Httpd服务
    8.2.配置资料库
    8.3.配置yum源
    8.4.安装Cloudera Manager Server
    8.5.配置数据库
    8.6.启动服务
    8.7.服务安装
    8.7.1.欢迎界面
    8.7.2.版本选择
    8.7.3.选择主机
    8.7.4.集群名称
    8.7.5.选择安装的node节点
    8.7.5.1.节点没有安装过cloudera-scm-agengt服务
    8.7.5.2.节点安装过cloudera-scm-agengt服务
    8.7.6.安装Parcels
    CDH6.3.0 安装指南 部门：大数据应用部 编制：麻继钧 日期：2019 年 8 月 30 日 1
    目录 1. 概述.........................................................................................................................................................1 2. 介质下载.................................................................................................................................................1 2.1. Cloudera Manger 下载............................................................................................................1 2.2. CDH6.3.0 下载........................................................................................................................... 2 2.3. 文件目录......................................................................................................................................2 3. 虚拟机环境.............................................................................................................................................4 4. 基础配置（所有节点）.........................................................................................................................4 4.1. 修改机器名.................................................................................................................................. 4 4.2. 静态 IP 设置................................................................................................................................4 4.3. 关闭防火墙、禁止防火墙开机自启......................................................................................... 4 4.4. 配置 hosts.................................................................................................................................. 5 4.5. 安装 jdk8.................................................................................................................................... 5 4.6. 安装 mysql 驱动........................................................................................................................ 6 4.7. ssh 无密码登录........................................................................................................................... 6 4.8. 配置时间同步 NTP.................................................................................................................. 6 5. Mysql 安装（db-mysql 节点）..........................................................................................................8 6. 创建 CDH 数据库（db-mysql 节点）.............................................................................................. 9 7. Cloudera-manager-agent 安装（node 节点）........................................................................... 11 8. Cloudera Manager 安装（master 节点）.....................................................................................12 8.1. 安装 Httpd 服务...................................................................................................................... 12 8.2. 配置资料库............................................................................................................................... 12 2
    8.3. 配置 yum 源............................................................................................................................. 12 8.4. 安装 Cloudera Manager Server......................................................................................... 13 8.5. 配置数据库............................................................................................................................... 13 8.6. 启动服务................................................................................................................................... 14 8.7. 服务安装................................................................................................................................... 15 8.7.1. 欢迎界面.........................................................................................................................15 8.7.2. 版本选择.........................................................................................................................15 8.7.3. 选择主机.........................................................................................................................16 8.7.4. 集群名称.........................................................................................................................17 8.7.5. 选择安装的 node 节点.................................................................................................. 17 8.7.6. 安装 Parcels.................................................................................................................... 19 3
    1.概述 CDH，全称 Cloudera's Distribution, including Apache Hadoop。是 Hadoop 众多分支 中对应中的一种，由 Cloudera 维护，基于稳定版本的 Apache Hadoop 构建，提供了 Hadoop 的核心（可扩展存储、分布式计算），最为重要的是提供基于 web 的用户界面。 CDH 的优点：版本划分清晰，更新速度快，支持 Kerberos 安全认证，支持多种安装方式（如 Yum、rpm 等）。 2.介质下载 CDH 分为 Cloudera Manager 管理平台和 CDH parcel（parcel 包含各种组件的安装包）。 这里采用 CDH6.2.0。 2.1. Cloudera Manger 下载 地址：https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/，如图： ASC 文件：https://archive.cloudera.com/cm6/6.3.0/allkeys.asc，另存为：allkeys.asc 下载的文件保存在“cloudera-repos”目录下。 1
    2.2. CDH6.3.0 下载 地址为：https://archive.cloudera.com/cdh6/6.3.0/parcels/，由于操作系统为 CentOS7， 需要下载以下文件，如图： 2.3. 文件目录 将下载的文件传到虚拟机机上（新建文件夹 data）、目录结构如下: data └─cdh6.3 ├─cloudera-repos-6.3.0 │ allkeys.asc 2
    cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm │ │ │ │ │ │ │ ├─mysql-5.7 mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar mysql-connector-java-5.1.47.tar.gz │ │ │ └─parcel-6.3.0 CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1 CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256 manifest.json 整个安装介质可以从百度云盘下载。 链接：https://pan.baidu.com/s/1CNK_VTWVA6OrKqdpS0Zqvg 提取码：4jmv 3
    3.虚拟机环境 操作系统 内存 硬盘 Hostname IP Centos7.4 Centos7.4 Centos7.4 Centos7.4 Centos7.4 2 4 3 3 3 50G 50G 50G 50G 50G db-mysql 192.168.1.200 master 192.168.1.201 node1 192.168.1.202 node2 192.168.1.203 node3 192.168.1.204 4.基础配置（所有节点） 4.1. 修改机器名 分别修改 5 台机器名为 db-mysql，master，node1，node2，node3： hostnamectl set-hostname your_hostname 4.2. 静态 IP 设置 yum install -y vim vim /etc/sysconfig/network-scripts/ifcfg-ens192 —> BOOTPROTO=static systemctl restart network 4.3. 关闭防火墙、禁止防火墙开机自启 systemctl stop firewalld.service 4
    systemctl disable firewalld.service vim /etc/selinux/config —> SELINUX=disabled (修改) 4.4. 配置 hosts vim /etc/hosts 192.168.1.200 db-mysql 192.168.1.221 master 192.168.1.222 node1 192.168.1.223 node2 192.168.1.224 node3 4.5. 安装 jdk8 rpm -qa | grep java # 查询已安装的 java yum remove java* # 卸载 cd /data/cdh6.3/cloudera-repos-6.3.0 rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm vim /etc/profile 末尾添加 #java export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 5
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料