logo资料库

CDH5.15.1离线安装文档.docx

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：1.63M 资料格式：docx 举报 版权申诉
第1页 / 共28页
第2页 / 共28页
第3页 / 共28页
第4页 / 共28页
第5页 / 共28页
第6页 / 共28页
第7页 / 共28页
第8页 / 共28页
资料共28页，剩余部分请下载后查看
    第1章概述
    1.1文档说明
    1.2关于CDH和ClouderaManager
    1.3术语介绍
    第2章环境要求
    2.1物理机规划
    2.1.1物理机配置
    2.1.2文件分区
    2.2虚拟主机规划
    2.2.1物理机配置
    2.2.2IP地址规划
    2.2.3文件分区
    2.3软件下载与安装
    第3章服务器集群准备
    3.1内核参数
    3.2最大文件打开数
    3.3JDK安装
    3.3.1卸载已有JDK
    3.3.2安装Oracle JDK1.8
    3.3.3JDK配置
    3.4MySQL离线安装
    3.4.1下载
    3.4.2安装
    3.4.3测试
    3.5关闭防火墙
    3.6配置Hosts
    3.7配置NTP时间同步
    3.8ssh免密码登录配置（每一台）
    第4章Cloudrea Manager安装
    4.1Server端安装
    4.2Agent端安装
    第5章CDH集群安装
    5.1配置集群主机
    5.2安装服务，包括hadoop，yarn，hbase等
    第6章安装时遇到的问题
    6.1节点启动时找不到pstree命令
    6.2数据库初始化时失败
    第7章附件
    CDH5.15.1 离线安装手册 北京爱狄特信息科技有限公司 2018 年 11 月
    目录 1.1 1.2 1.3 3.1 3.2 3.3 3.4 3.5 3.6 第 1 章 概述............................................................................................................... 1 文档说明................................................................................................................................1 关于 CDH 和 CLOUDERAMANAGER..................................................................................................1 术语介绍................................................................................................................................2 第 2 章 环境要求....................................................................................................... 3 主机规划................................................................................................................................4 软件下载与安装 ....................................................................................................................5 第 3 章 服务器集群准备........................................................................................... 6 JDK 安装..................................................................................................................................... 6 MYSQL 安装..................................................................................................................................9 关闭防火墙..........................................................................................................................12 配置 HOSTS............................................................................................................................ 12 配置 NTP 时间同步..............................................................................................................13 SSH 免密码登录配置（每一台） .............................................................................................14 CLOUDREA MANAGER 安装........................................................................14 SERVER 端安装 ............................................................................................................................14 AGENT 端安装 ............................................................................................................................. 18 CDH 集群安装.......................................................................................... 19 配置集群主机 ......................................................................................................................19 安装服务，包括 HADOOP，YARN，HBASE 等............................................................................23 第 6 章 安装时遇到的问题..................................................................................... 25 节点启动时找不到 PSTREE 命令..........................................................................................25 数据库初始化时失败 ..........................................................................................................25 第 7 章 附件............................................................................................................. 26 第 4 章 第 5 章 2.1 2.2 4.1 4.2 5.1 5.2 6.1 6.2 i
    第 1 章 概述 1.1 文档说明 本文是针对 LinuxCentos7 服务器与 CDH5.15.1 的安装手册。 1.2 关于 CDH 和 ClouderaManager CDH(Cloudera's Distribution, includingApache Hadoop)，是 Hadoop 众多分支中的一种，由 Cloudera 维护，基于稳定版本的 Apache Hadoop 构建，并集成了很多补丁，可直接用于生产环境。 ClouderaManager（本文以下简称为 CM）则是为了便于在集群中 进行 Hadoop 等大数据处理相关的服务安装和监控管理的组件，对集 群中主机、Hadoop、Hive、Spark 等服务的安装配置管理做了极大简 化。架构图如图 1 所示。 图 1 1
    1.3 术语介绍 CM: Cloudera Manager （Cloudera 公司专有的 Hadoop 集群管 控平台）； CDH: Cloudera Distributed Hadoop（Cloudera 公司重新打包 发布的 Hadoop 版本）； HDFS:分布式文件系统； HBASE: 基于 HADOOP 的分布式、列式存储数据库； HIVE: 基于大数据技术（文件系统+运算框架）的 SQL 数据仓库 工具； MAPREDUCE: 分布式运算程序开发框架； SPARK:为大规模数据处理而设计的快速通用的计算引擎； ZOOKEEPER: 分布式协调服务基础组件； YARN: 负责集群资源的统一管理和调度，分配系统资源给各个应 用程序。 2
    第 2 章 环境要求 Cloudera Manager5 安装需要具备以下条件。 1. 内存要足够大，主机必须至少有 64 GB 的 RAM； 2. 必须具有 root 或无密码 sudo 访问主机； 3. 如果使用 root，则主机必须接受相同的 root 密码； 4. 运行支持的操作系统： RHEL 兼容系统 Red Hat Enterprise Linux 和 CentOS 5.7, 64 位； Red Hat Enterprise Linux 和 CentOS 6.4, 64 位； Red Hat Enterprise Linux 和 CentOS 6.4 in SE Linux Mode； Red Hat Enterprise Linux 和 CentOS 6.5, 64 位； Red Hat Enterprise Linux 和 CentOS 7.3, 64 位； Oracle Enterprise Linux5.6（UEK R2），64 位； Oracle Enterprise Linux6.4（UEK R2），64 位； Oracle Enterprise Linux6.5（UEK R2，UEK R3），64 位； Oracle Enterprise Linux7.3（UEK R2，UEK R3），64 位 SLES - SUSE Linux Enterprise Server 11,64 位。 Debian - Debian 7.0 和 7.1,64 位。 Ubuntu - Ubuntu 12.04、16.04 和 18.04,64 位。 3
    2.1 物理机规划 2.1.1物理机配置 主机名称 IP 地址 cluster-01 10.1.166.88 cluster-02 10.1.166.90 cluster-03 10.1.166.92 CPU 120c 120c 120c 内存 256G 256G 256G 2.1.2文件分区 存储 1TB*4 1TB*4 1TB*4 分区 大小 文件类型 主分区/逻辑分区 磁盘 备注 /boot / /home /var /tmp /opt swap 200MB 500GB 20GB 20GB 20GB 20GB 16GB /Volume1 700G XFS XFS XFS XFS XFS XFS swap XFS 2.2 虚拟主机规划 主分区 主分区 主分区 主分区 主分区 主分区 主分区 主分区 /dev/sda /dev/sda /dev/sda /dev/sda /dev/sda /dev/sda /dev/sda /dev/sda 本次设定安装 10 个虚拟节点的集群环境，所以分配好 ip 地址和 主机功能。以下是服务器信息： 2.2.1物理机配置 虚拟机 CPU 48 48 32 32 32 32 32 32 32 4 1 2 3 4 5 6 7 8 9 10 内存 96G 96G 64G 64G 64G 64G 64G 64G 64G 8G 存储 节点类型 /Volume1 700G Master Node 1 Second Node 2 /Volume1 700G Data Node 1 700G /Volume2 /Volume3 700G Data Node 2 Data Node 3 700G /Volume2 Data Node 4 /Volume3 700G /Volume1 700G Data Node 5 Data Node 6 700G /Volume2 /Volume2 700G Data Node 7 cm-server /Volume3 50G 所在主机 cluster-01 cluster-02 cluster-01 cluster-01 cluster-02 cluster-02 cluster-03 cluster-03 cluster-03 cluster-03 4
    2.2.2IP 地址规划 虚拟机 服务器 IP 类型 备注 1 2 3 4 5 6 7 8 9 master-node-1 10.1.166.158 Master Node 1 second-node-2 10.1.166.161 Second Node 2 data-node-01 10.1.166.159 Data Node 1 data-node-02 10.1.166.160 Data Node 2 data-node-03 10.1.166.162 Data Node 3 data-node-04 10.1.166.163 Data Node 4 data-node-05 10.1.166.164 Data Node 5 data-node-06 10.1.166.165 Data Node 6 data-node-07 10.1.166.166 Data Node 7 10 cm-server 10.1.166.167 cm-server 2.2.3文件分区 分区 大小 文件类型 主分区/逻辑分区 磁盘 备注 /boot / /home /usr /tmp swap 200MB 30GB 5GB 5GB 5GB XFS XFS XFS XFS XFS 32GB swap 主分区 主分区 主分区 主分区 主分区 主分区 700G XFS /data 注：/tmp 分区大于 10G。否则，会引起 CDH 告警。 主分区 /dev/vda /dev/vda /dev/vda /dev/vda /dev/vda /dev/vdb /dev/vdc 其中，cm-server，/data 为 50G yum 源地址：http://10.1.166.88 cm-server（10.1.166.167）到其他任何服务器做了免密 2.3 软件下载与安装 CM 下载地址：http://archive.cloudera.com/cm5/cm/5/ CDH 下载地址：http://archive.cloudera.com/cdh5/parcels/5.15/ 将以上安装包上传至服务器/bigdata/software/目录下 5
    第 3 章 服务器集群准备 3.1 内核参数 TCP 相关的内核参数优化： net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_keepalive_time = 1800 net.ipv4.tcp_keepalive_intvl = 30 net.ipv4.tcp_keepalive_probes = 3 3.2 最大文件打开数 cat /etc/security/limit.conf * * root root soft nofile 100000 hard nofile 100000 soft nofile 100000 hard nofile 100000 3.3 JDK 安装 3.3.1卸载已有 JDK 查看 java 仓库版本： yum list |grep java 查看已安装 java jdk 版本 rpm -qa | grep java 如果没有显示信息表示还没有安装 jdk 版本 如果显示如下信息： 6
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料