logo资料库

CentOS7安装CDH5.14过程全纪录.pdf

第1页 / 共23页
第2页 / 共23页
第3页 / 共23页
第4页 / 共23页
第5页 / 共23页
第6页 / 共23页
第7页 / 共23页
第8页 / 共23页
资料共23页,剩余部分请下载后查看
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 首页 博客 学院 下载 图文课 论坛 APP 问答 商城 VIP会员 活动 招聘 ITeye GitChat 搜博主文章 写博客 小 H5.14过程全纪录 暴走蜗牛 阅读数:1856 ,未经博主允许不得转载。 https://blog.csdn.net/u010936936/article/details/81939880 每台主机都要做) 和hosts(每台主机都要做,并且根据各个主机情况做相应的修改) 每台主机都要做) .(每台主机都要做) 登陆(每台主机都要做) 务。标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了。 L。并配置数据库。 通过VNC桌面的方式安装,并且第一次安装过程失败过,感觉通过桌面方式安装不怎么好,步骤也感觉比较混乱。最近有空重新安装了一次,都是在命令行 在恢复安装前的快照,重新来一次,并做记录。 装了3台CentOS7.集群环境规划如下: IP 192.168.9.14 192.168.9.15 192.168.9.16 主机名 cdh1 cdh2 cdh3 角色 CM server,agent agent agent 能上面这样规划了,最后CDH是能安装成功的,只不过没法用,资源太少了。-_-! 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 内存 8G 1.5G 1.5G 1/23
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 com/s/1wiM5de1B8Tk67y1TyPQQUg 密码:skoe 击下载会让你登陆,这时可以右键迅雷下载,可以不用登陆;这里提供一个我的网盘下载链接,另外别用1.7 载地址: com/cm5/cm/5/ 本的包都在这里了,各取所需。根据我的环境,下载的是 cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz om/cdh5/parcels/5.14/ 取所需。需要下载3个文件,我下载的是 CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha1 (这个文件下载下来后,一定要把后缀 .sha1 改为 .sha), CDH manifest.json 版本应该要一致,比如CM为5.14,CDH也是5.14,至于如果不一致是否会出问题,比如CM为5.13,CDH为5.14,我没有试过,不知是否有同学当过小白 那么这里可以暂时不用准备,下面联网安装。 里就可以先安装好MySQL(为了方便,安装在server上)。 com/s/1yAS_LG88-uOInu5Ee4vzzQ 密码:1bf6 是有版本号的,比如mysql-connector-java-xxx.jar,这里要把版本号去掉。这里提供一个我用的驱动 compat-5.7.23-1.el7.x86_64.rpm 下载地址: com/s/1PqHf3XCoAsDeEqwiDMH_5Q 密码:qgcq 组件的安装包,不是核心组件,不安装也不影响MySQL使用。但是如果缺少这个包,后面hue安装的时候很可能报错,所以先下载下来备用。 ,可以去MySQL官网找。 每台主机都要做) 带的openjdk,配好环境变量即可。 osts(每台主机都要做,并且根据各个主机情况做相应的修改) 置静态IP等 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 2/23
2019/4/18 rk-scripts/ifcfg-ens33 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 息,仅供参考,根据实际机器配置。主要关注BOOTPROTO,IPADDR,NETMASK,PREFIX等信息。 able-privacy 06-905f-66e93d7ed601 机名,根据实际情况输入主机名 的hostname文件内容: 际情况修改主机名 入IP和主机名 ,仅供参考: 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 3/23
2019/4/18 localhost.localdomain localhost4 localhost4.localdomain4 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 2 localhost.localdomain localhost6 localhost6.localdomain6 lld ewalld 证主机之间互ping 主机名,互ping ip能够ping通。 每台主机都要做) =0 每台主机都要做) nel/mm/transparent_hugepage/defrag nel/mm/transparent_hugepage/enabled nel/mm/transparent_hugepage/defrag nel/mm/transparent_hugepage/enabled al 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 4/23
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 陆(每台主机都要做) 机器,要免密登陆那个机器,就写该机器的ip。这里我3台机器两两之间都做了免密登陆。 8.9.15,则执行: ssh-copy-id 192.168.9.15 务。标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了。 意第一行配置根据自己centos的网关来配置。 mask 255.255.255.0 nomodify notrap  from the pool.ntp.org project. ning the pool (http://www.pool.ntp.org/join.html). ntp.org iburst ntp.org iburst ntp.org iburst ntp.org iburst atum 10 d.service .service 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 5/23
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 并配置数据库。 要联网。也可自行安装。为了方便,把MySQL安装在主节点Server上,但是注意最好别用太高版本的MySQL。这里安装的是MySQL5.7 libs-5.5.56-2.el7.x86_64 令,根据提示信息操作 l.com/mysql57-community-release-el7-8.noarch.rpm unity-release-el7-8.noarch.rpm server 照修改。 o change settings please see m/doc/refman/5.7/en/server-configuration-defaults.html =utf8 utf8 _general_ci d set to the amount of RAM for the most important data rt at 70% of total RAM for dedicated server, else 10%. size = 128M 目录 下一篇 分享 收藏 turn on a very important data integrity option: logging https://blog.csdn.net/u010936936/article/details/81939880 6/23
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 ry log between backups. set options mainly useful for reporting servers. are faster for transactions and fast SELECTs. ded, experiment to find the optimal values. 128M 2M e = 2M l /mysql.sock links is recommended to prevent assorted security risks sqld.log qld/mysqld.pid service mysqld.log   ost' identified by 'Root!!2018';      授权等操作 root'@'%' identified by 'Root!!2018'  with grant option;  -- 授权 分享 目录 收藏 IDENTIFIED BY 'scm';  --创建一个新用户,就使用这个用户名,和密码,后面cm的元数据库会用到 https://blog.csdn.net/u010936936/article/details/81939880 下一篇 7/23
2019/4/18 CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客 to 'scm'@'%' identified by 'scm'  with grant option;  -- 授权 IDENTIFIED BY 'lpy';  --创建一个新用户,用户名和密码可以自定义,后面安装hive,oozie会用到 lpy'@'%' identified by 'lpy'  with grant option;   --授权 -- 刷新权限 据库用户lpy登陆,在MySQL中创建几个数据库备用,数据库名称可以自定义。 ySQL,创建scm数据库备用。 H 建目录: manager 的cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz文件,上传到/opt目录下 件到/opt/cloudera-manager目录。 anager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/cloudera-manager ,这是CM需要使用的用户 ome=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cl M服务本地数据存放目录,并赋予权限 loudera-scm-server cm:cloudera-scm /var/lib/cloudera-scm-server 执行命令: /cm-5.14.1/etc/cloudera-scm-agent/config.ini 主机名,我的就是server_host=cdh1 备好的数据库驱动上传到/usr/share/java目录下 令。初始化数据库scm。mysql scm scm scm分别代表:数据库类型 database名称 数据库用户名 数据库密码 5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql scm scm scm 收藏 分享 目录 下一篇 https://blog.csdn.net/u010936936/article/details/81939880 8/23
分享到:
收藏