logo资料库

RedHat6.7-CDH-5.11.0离线安装步骤及问题解决.docx

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：1.27M 资料格式：docx 举报 版权申诉
第1页 / 共19页
第2页 / 共19页
第3页 / 共19页
第4页 / 共19页
第5页 / 共19页
第6页 / 共19页
第7页 / 共19页
第8页 / 共19页
资料共19页，剩余部分请下载后查看
    1. 关于CDH和Cloudera Manager
    2.系统环境
    2.1.硬件环境
    2.2.软件环境：
    3.基础配置
    3.1.host配置
    3.2.关闭防火墙和selinux
    3.3.ssh无密码登录
    3.4.ntp时间同步
    3.5.Linux内核页回收swappiness参数
    3.6.禁用透明大页
    3.7.Jdk1.8安装
    3.8.安装配置MySQL(主节点)
    3.9.配置本地yum源
    4.Cloudera Manager安装
    4.1.下载rpm安装包
    4.2.master节点安装
    4.3.slave节点安装
    4.4.初始化数据库
    5.CDH服务安装
    5.1.制作本地parcel
    5.2.配置软件
    5.3.查看日志
    5.4.Q&A
    CDH-5.11.0 安装和配置 1. 关于 CDH 和 Cloudera Manager................................................................................................................ 2 2. 系统环境........................................................................................................................................................... 2 2.1. 硬件环境................................................................................................................................................2 2.2. 软件环境：........................................................................................................................................... 3 3. 基础配置........................................................................................................................................................... 3 3.1. host 配置................................................................................................................................................ 3 3.2. 关闭防火墙和 selinux ........................................................................................................................3 3.3. ssh 无密码登录.....................................................................................................................................4 3.4. ntp 时间同步 .........................................................................................................................................4 3.5. Linux 内核页回收 swappiness 参数 .............................................................................................. 5 3.6. 禁用透明大页.......................................................................................................................................6 3.7. Jdk1.8 安装.............................................................................................................................................6 3.8. 安装配置 MySQL(主节点)................................................................................................................7 3.9. 配置本地 yum 源................................................................................................................................ 7 4. Cloudera Manager 安装.............................................................................................................................. 9 4.1. 下载 rpm 安装包.................................................................................................................................9 4.2. master 节点安装.................................................................................................................................. 9 4.3. slave 节点安装......................................................................................................................................9 5. CDH 服务安装.................................................................................................................................................10 5.1. 制作本地 parcel................................................................................................................................ 10 5.2. 配置软件............................................................................................................................................. 10 5.3. 查看日志............................................................................................................................................. 16 5.4. Q&A .......................................................................................................................................................16
    1. 关于 CDH 和 Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是 cloudera 公司开发的 一个快速部署、高效管理 Hadoop 和其各种组件的一个商业化产品。主要分为两部分， 分别为 Cloudera Manager 和 CDH 软件包。其中 Cloudera Manager 负责集群的部署与 管理。CDH 软件包囊括了 hdaoop 各类的组件的安装包，例如 hive、hdfs、Spark 等等。 Cloudera Manager 则是为了便于在集群中进行 Hadoop 等大数据处理相关的服务 安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark 等服务的安装配置管理 做了极大简化。 CDH 安装分为基础环境安装、Cloudera Manager 安装和 CDH 组件安装，以及安装 过程中遇到的问题和解决办法。 本次安装 CM 是采用 RPM 安装。 官方共给出了 3 中安装方式：第一种方法必须要求所有机器都能连网，由于最近各 种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败， 重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实 现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是 我之所以选择离线安装的原因。 2. 系统环境 2.1. 硬件环境 CDH 节点硬件要求： CDH 节点 系统盘目录及空间 ／ /var/log /var/lib /opt 100GB 50GB 50GB 50GB 数据盘 6 块磁盘 ，格式化为 XFS 或 ext4，每 个磁盘容量 1TB，挂载为： /data1 /data2 /data3 当前虚拟机硬件条件：由于磁盘是一个整体，所以不必分盘 主机 IP 主机名 角色 系统 核数 内存 磁盘大小
    192.169.10.101 192.169.10.102 192.169.10.103 192.169.10.104 cdh01 cdh02 cdh03 cdh04 master Slave Slave Slave RHEL-6.5-x86_64 RHEL-6.5-x86_64 RHEL-6.5-x86_64 RHEL-6.5-x86_64 2 2 2 2 12G 4G 4G 4G 100G 100G 100G 100G 2.2. 软件环境： 虚拟机：VMware 10 操作系统： JDK：1.7（官网版本要求） cm：cloudera-manager5.11.0 CDH：cdh5.11.0 3. 基础配置 以下操作均在 root 下进行： 由于 Hadoop 是数据基础平台，包含文件系统，为避免有 Hadoop 操作权限问题出现，最好 在 root 用户下安装。 3.1. host 配置 1) 修改主机名 vim /etc/sysconfig/network 各台主机 honstname 改名为对应的名称 service network restart 重启网卡生效。 如果没有生效，配置 hosts 含主机名，并关掉终端会话再打开。 2) 添加 hosts vim /etc/hosts 192.169.10.101 node01 192.169.10.102 node02 192.169.10.103 node03 192.169.10.104 node04 3.2. 关闭防火墙和 selinux 1）关闭防火墙(每个节点) service iptables stop chkconfig iptables off
    2）关闭 selinux(重启生效) vim /etc/selinux/config SELINUX=disabled 3.3. ssh 无密码登录 1）各个节点安装 ssh，在每一个节点根目录下执行以下操作： ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件 2）将公钥追加到 authorized_keys，在每个节点执行该操作： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3）修改权限，在每个节点执行 chmod 600 ~/.ssh/authorized_keys 4）将 id_rsa.pub 从当前结点分发到其他各个节点 scp ~/.ssh/id_rsa.pub root@node0x:~/ 5）在出当前节点之外的每个节点将远程复制过来的公钥追加到 authorized_keys 里面 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 6）当前节点执行 ssh node0x 测试效果 7）在剩下的每个节点重复以上 4）5）6）操作 3.4. ntp 时间同步 1) 修改时区（改为中国标准时区） ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 2) 安装 NTP（每个节点），一般系统都已经包含，所以这一步可以忽略。 yum install ntp 3) 配置 NTP vim /etc/ntp.conf master 配置：(如果有外网的情况下，选用复旦大学 ntp 服务器)
    没有外网的情况下，以主节点为标准时间服务器： slave 配置：（同步 master） 3）开启所有节点 NTP 服务 service chkconfig ntpd on ntpd start 4）查看同步效果 命令：ntpstat 3.5. Linux 内核页回收 swappiness 参数 Linux 内核参数 vm.swappiness，值的范围为 0~100，表示系统什么时候开始进行物理内存 与虚拟内存的交换。举个例子，系统总内存为 64G，vm.swappiness 为 60，表示在系统内存 使用 64*0.4=25.6G 的时候开始物理内存与虚拟内存的交换，这个动作势必会影响系统的性 能。Cloudera 建议将 Linux 内核页回收 swappiness 参数： /proc/sys/vm/swappiness 设置 为 0~10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以 在重启后保存该设置。 这里设置为 0. echo 0 > /proc/sys/vm/swappiness 这样操作重启机器还是还原，要永久改变
    重启永久生效： 编辑 vim /etc/sysctl.conf Linux 内核页回收 swappiness 参数设置之后，不会再出现以下错误： 3.6. 禁用透明大页 首先查看透明大页是否启用，[always] never 表示已启用，always [never]表示已禁用 cat /sys/kernel/mm/redhat_transparent_hugepage/defrag [always] madvise never 如果是启用状态，修改/etc/rc.local 文件并添加以下两行， echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled 永久生效编辑 vim /etc/rc.local 在最后追加： echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled 上述修改要重启才能生效，如果希望暂时生效，可以直接运行上面两个命令。 禁用透明大页后不会在安装检查的时候出现以下第二个报错： 3.7. Jdk1.8 安装 Cloudera 建议不要使用 OpenJDK，因此手动安装 JDK，而不用 yum 安装。 1) 卸载自带 java rpm -qa | grep java yum remove java*
    2）安装 jdk（每个节点 rpm 安装） rpm -ivh jdk1.7.0_67.rpm 3）配置 java 环境（每个节点配置，当然可以一个节点配置完了使用 scp 分发） 在/etc/profile 中加入： export JAVA_HOME=/usr/java/jdk1.7.0_67 export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin 4) 使配置生效（每个节点） source /etc/profile 3.8. 安装配置 MySQL(主节点) 通过离线安装 mysql 服务器。 chkconfig mysqld on 设置开机启动，并 service mysqld start 启动 mysql 服务， 设置 root 的初试密码：mysqladmin -u root password '123456'。 mysql -uroot -p 进入 mysql 命令行，创建以下数据库： #为 hive 建库 hive create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; #activity monitor create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; #为 oozie 建库 oozie create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; #为 hue 建库 hue create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 设置 root 授权访问以上所有的数据库： #授权 root 用户在主节点拥有所有数据库的访问权限 grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option; flush privileges; 3.9. 配置本地 yum 源 1）配置 os 本地 yum 源 对 master 操作 挂载相同系统版本的 iso 镜像文件 mkdir /mnt/rhel65 mount /dev/cdrom /mnt/rhel65 mkdir /var/www/html/repos/os
    cp -r /mnt/rhel65/repodata /var/www/html/repos/os/ cp -r /mnt/rhel65/Packages /var/www/html/repos/os/ 配置 yum 源配置文件 vim /etc/yum.repos.d/rhel65.repo rhel65.repo 文件内容： [rhel65] name=rhel65 baseurl=http://bigdata-poc-shtz-1/repos/os/ enabled=1 gpgcheck=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release 测试： yum clean all yum list 能列出所有 rpm 文件 OK 对 slave 操作 scp rhel65.repo root@bigdata-poc-shtz-3:/etc/yum.repos.d/ 测试： yum list 能列出所有 rpm 文件 OK 2）配置 cm 本地 yum 源 对 master 操作 配置 yum 源配置文件 vim /etc/yum.repos.d/cloudera-manager.repo cloudera-manager.repo 文件内容： [cloudera-manager] name = Cloudera Manager, Version 5.11.0 baseurl = http://22.188.80.158/repos/cm/ gpgcheck = 0 从官网下载 repodata 中文件 http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11.0/ 存放在目录/var/www/html/repos/cm/repodata 测试： yum clean all yum list| grep cloudera 能列出所有 rpm 文件 OK 对 slave 操作 scp rhel65.repo root@bigdata-poc-shtz-3:/etc/yum.repos.d/ 测试： yum list 能列出所有 rpm 文件
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料