2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
首页 博客 学院 下载 图文课 论坛 APP 问答 商城 VIP会员 活动 招聘 ITeye GitChat
搜博主文章
写博客
小
H5.14过程全纪录
暴走蜗牛 阅读数:1856
,未经博主允许不得转载。 https://blog.csdn.net/u010936936/article/details/81939880
每台主机都要做)
和hosts(每台主机都要做,并且根据各个主机情况做相应的修改)
每台主机都要做)
.(每台主机都要做)
登陆(每台主机都要做)
务。标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了。
L。并配置数据库。
通过VNC桌面的方式安装,并且第一次安装过程失败过,感觉通过桌面方式安装不怎么好,步骤也感觉比较混乱。最近有空重新安装了一次,都是在命令行
在恢复安装前的快照,重新来一次,并做记录。
装了3台CentOS7.集群环境规划如下:
IP
192.168.9.14
192.168.9.15
192.168.9.16
主机名
cdh1
cdh2
cdh3
角色
CM server,agent
agent
agent
能上面这样规划了,最后CDH是能安装成功的,只不过没法用,资源太少了。-_-!
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
内存
8G
1.5G
1.5G
1/23
2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
com/s/1wiM5de1B8Tk67y1TyPQQUg 密码:skoe
击下载会让你登陆,这时可以右键迅雷下载,可以不用登陆;这里提供一个我的网盘下载链接,另外别用1.7
载地址:
com/cm5/cm/5/
本的包都在这里了,各取所需。根据我的环境,下载的是 cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz
om/cdh5/parcels/5.14/
取所需。需要下载3个文件,我下载的是 CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha1 (这个文件下载下来后,一定要把后缀 .sha1 改为 .sha), CDH
manifest.json
版本应该要一致,比如CM为5.14,CDH也是5.14,至于如果不一致是否会出问题,比如CM为5.13,CDH为5.14,我没有试过,不知是否有同学当过小白
那么这里可以暂时不用准备,下面联网安装。
里就可以先安装好MySQL(为了方便,安装在server上)。
com/s/1yAS_LG88-uOInu5Ee4vzzQ 密码:1bf6
是有版本号的,比如mysql-connector-java-xxx.jar,这里要把版本号去掉。这里提供一个我用的驱动
compat-5.7.23-1.el7.x86_64.rpm 下载地址:
com/s/1PqHf3XCoAsDeEqwiDMH_5Q 密码:qgcq
组件的安装包,不是核心组件,不安装也不影响MySQL使用。但是如果缺少这个包,后面hue安装的时候很可能报错,所以先下载下来备用。
,可以去MySQL官网找。
每台主机都要做)
带的openjdk,配好环境变量即可。
osts(每台主机都要做,并且根据各个主机情况做相应的修改)
置静态IP等
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
2/23
2019/4/18
rk-scripts/ifcfg-ens33
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
息,仅供参考,根据实际机器配置。主要关注BOOTPROTO,IPADDR,NETMASK,PREFIX等信息。
able-privacy
06-905f-66e93d7ed601
机名,根据实际情况输入主机名
的hostname文件内容:
际情况修改主机名
入IP和主机名
,仅供参考:
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
3/23
2019/4/18
localhost.localdomain localhost4 localhost4.localdomain4
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
2
localhost.localdomain localhost6 localhost6.localdomain6
lld
ewalld
证主机之间互ping 主机名,互ping ip能够ping通。
每台主机都要做)
=0
每台主机都要做)
nel/mm/transparent_hugepage/defrag
nel/mm/transparent_hugepage/enabled
nel/mm/transparent_hugepage/defrag
nel/mm/transparent_hugepage/enabled
al
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
4/23
2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
陆(每台主机都要做)
机器,要免密登陆那个机器,就写该机器的ip。这里我3台机器两两之间都做了免密登陆。
8.9.15,则执行: ssh-copy-id 192.168.9.15
务。标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了。
意第一行配置根据自己centos的网关来配置。
mask 255.255.255.0 nomodify notrap
from the pool.ntp.org project.
ning the pool (http://www.pool.ntp.org/join.html).
ntp.org iburst
ntp.org iburst
ntp.org iburst
ntp.org iburst
atum 10
d.service
.service
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
5/23
2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
并配置数据库。
要联网。也可自行安装。为了方便,把MySQL安装在主节点Server上,但是注意最好别用太高版本的MySQL。这里安装的是MySQL5.7
libs-5.5.56-2.el7.x86_64
令,根据提示信息操作
l.com/mysql57-community-release-el7-8.noarch.rpm
unity-release-el7-8.noarch.rpm
server
照修改。
o change settings please see
m/doc/refman/5.7/en/server-configuration-defaults.html
=utf8
utf8
_general_ci
d set to the amount of RAM for the most important data
rt at 70% of total RAM for dedicated server, else 10%.
size = 128M
目录
下一篇
分享
收藏
turn on a very important data integrity option: logging
https://blog.csdn.net/u010936936/article/details/81939880
6/23
2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
ry log between backups.
set options mainly useful for reporting servers.
are faster for transactions and fast SELECTs.
ded, experiment to find the optimal values.
128M
2M
e = 2M
l
/mysql.sock
links is recommended to prevent assorted security risks
sqld.log
qld/mysqld.pid
service
mysqld.log
ost' identified by 'Root!!2018';
授权等操作
root'@'%' identified by 'Root!!2018' with grant option; -- 授权
分享
目录
收藏
IDENTIFIED BY 'scm'; --创建一个新用户,就使用这个用户名,和密码,后面cm的元数据库会用到
https://blog.csdn.net/u010936936/article/details/81939880
下一篇
7/23
2019/4/18
CentOS7安装CDH5.14过程全纪录 - 疯狂的暴走蜗牛的专栏 - CSDN博客
to 'scm'@'%' identified by 'scm' with grant option; -- 授权
IDENTIFIED BY 'lpy'; --创建一个新用户,用户名和密码可以自定义,后面安装hive,oozie会用到
lpy'@'%' identified by 'lpy' with grant option; --授权
-- 刷新权限
据库用户lpy登陆,在MySQL中创建几个数据库备用,数据库名称可以自定义。
ySQL,创建scm数据库备用。
H
建目录:
manager
的cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz文件,上传到/opt目录下
件到/opt/cloudera-manager目录。
anager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/cloudera-manager
,这是CM需要使用的用户
ome=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cl
M服务本地数据存放目录,并赋予权限
loudera-scm-server
cm:cloudera-scm /var/lib/cloudera-scm-server
执行命令:
/cm-5.14.1/etc/cloudera-scm-agent/config.ini
主机名,我的就是server_host=cdh1
备好的数据库驱动上传到/usr/share/java目录下
令。初始化数据库scm。mysql scm scm scm分别代表:数据库类型 database名称 数据库用户名 数据库密码
5.14.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm
收藏
分享
目录
下一篇
https://blog.csdn.net/u010936936/article/details/81939880
8/23