logo资料库

Centos6.5 ambari 搭建配置大数据集群环境.docx

发布时间：2022-06-20 发布人：admin 分类：说明书 资料大小：0.14M 资料格式：docx 举报 版权申诉
第1页 / 共9页
第2页 / 共9页
第3页 / 共9页
第4页 / 共9页
第5页 / 共9页
第6页 / 共9页
第7页 / 共9页
第8页 / 共9页
资料共9页，剩余部分请下载后查看
    环境搭建及配置安装 注：务必先看后做，并且了解，每个命令的含义 ssh 免秘钥登录 首先登入一台 linux 服务器，此台做为母机（即登入其他 linux 系统用这台做为入口）；执 行一行命令生成 key 文件 ssh-keygen -t rsa -P '' (注：最后是二个单引号，表示不设置密码) 运行 cd /home/save3/.ssh/ 在运行 ls 可以查看刚刚生成的秘钥文件如下 图： 把刚刚生成的公钥 id_rsa.pub 文件复制到其他机器的机器 authorized_keys 文件内， 复制到其他主机的命令有很多这里选择 ssh-copy-id -i 命令这个命令可已帮你设置号文件 应有的一些权限例如（.ssh/ 权限 700） 以及 (.ssh/目录下文件的 600 权限) 设置权限的相关命令 chmod 700 /home/save2/.ssh/ chmod 600 /home/save2/.ssh/* 复制到其他主机的相关命令
    ssh-copy-id -i /home/save3/.ssh/id_rsa.pub save1@172.16.210.201 现在为止，你已完成了所有的操作；可在母机通过命令 ssh save1@172.16.210.201 你会发现不在用输放密码了。 相关命令详解 第一步：使用 ssh 软件生成公钥私钥 ssh-keygen -t rsa -P '' 使用 ssh 生成公钥和私钥文件 id_rsa -P 表示密码，-P '' 就表示空密码，也可以不用-P 参数，这样就要三车回车，用-P 就一 次回车 id_rsa.pub 第二部： 将生成的公钥 id_rsa.pub 文件复制到其他主机的 authorized_keys 文件内 ssh-copy-id -i /home/save3/.ssh/id_rsa.pub save1@172.16.210.201 ssh-copy-id 是复制到指定的 ID 用户下 -i 是指你指定要复制的公钥文件 第三部：登录其他主机 ssh save1@172.16.210.201 ssh 命令 登录到用户 save1@ IP 地址为 172.16.210.201 ssh 免密码登陆及其原理 关于 ssh 设置的相关总结 ssh 免密登录设置步骤及常见问题 yum install openssh-clients 升级 ssh 命令 建议升级
    或者 yum install openssl 升级 ssl 命令 建议升级 主机映射也要做 vi /etc/hosts 按照主机映射的格式去填写本机的也要填写 列入下图： Ambari 安装 hdp 一：配置环境 1 ：ssh 免秘钥登录 有相关文档 可以参照老师发的 cdh 的环境进行配置 2 ：安装 ntp 服务器 yum 源安装 ntp 查看状态：service ntpd status 启动：service ntpd start 关闭：service ntpd stop 开机自启：chkconfig ntpd on 关闭自启：chkconfig ntpd off yum -y install ntp 3：永久关闭防火墙 关闭自启：chkconfig iptables off 临时关闭：service iptables stop 4：关闭 THP 透明大页面 这里可以参照李老师的文档进行关闭 编辑 vi /etc/grub.conf title CentOS (2.6.32-431.17.1.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-431.17.1.el6.x86_64 root=/dev/mapper/VolGroup-lv_root ro rd_NO_LUKS rd_NO_MD rd_LVM_LV=VolGroup/lv_swap LANG=zh_CN.UTF-8 rd_LVM_LV=VolGroup/lv_root transparent_hugepage=never KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-431.17.1.el6.x86_64.img 加入 transparent_hugepage=never
    5:在 ambari 服务器 yum.red 源中要有 ambari.repo 文件把里面的 yum 源地址改成自己的 ambari yum 源地址 6：关闭 selinux 和 umask 要是 0022 直接输入 umask 可查看 vi /etc/selinux/config 修改成 SELINUX=disabled 需要重启 7：可能会用到的相关命令 rmp -E 卸载软件的名称 yum 源升级 ssh 建议直接升级 yum install openssl yum upgrade openssl 8：升级 Python 从 2.6.6 升级到 2.7 版本 1：下载解压 Python 文件 首先安装 Python 依赖包 升级 Python 可以不用做 yum install vim gcc make wget -y yum install openssl-devel zlib-devel readline-devel sqlite-devel -y 运行 cd /usr/local/src 下载 Python2.7 版本的软件包 wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 如果提示 command not found 说明你安装的 linux 系统没有 安装 wget 软件 安装 wget 软件命令 yum -y install wget 这里我提前下好了 Python-2.7.3.tgz 解压下载好的 Python-2.7.3.tgz 包 运行命令 ls 会出现如下两个个文件 tar -zxvf Python-2.7.3.tgz 解压后 Python-2.7.3 解压前 Python-Python-2.7.3.tgz
    编译配置安装 运行 cd Python-2.7.3 ./configure --enable-shared --enable-loadable-sqlite-extensions \ 打开解压好的文件 --prefix=/usr/local/python27 --with-zlib --with-ssl Python 2.6.6 版本依旧是 2.6.6 # 找到下边这一行内容，去掉注释 vi ./Modules/Setup.dist #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 运行 make && make install 查看 python 版本信息 python -V 用 python2.7 替换旧版本 运行 cd /usr/bin/ -rwxr-xr-x. 2 root root 4864 2 月 22 2013 python lrwxrwxrwx. 1 root root -rwxr-xr-x. 2 root root 4864 2 月 22 2013 python2.6 运行 mv /usr/bin/python /usr/bin/python2.6.6 在运行 ls python* -l 6 10 月 22 18:38 python2 -> python ln -s /usr/local/python27/bin/python2.7 /usr/bin/python ls python* -l 33 10 月 23 00:01 python -> lrwxrwxrwx. 1 root root /usr/local/python27/bin/python2.7 lrwxrwxrwx. 1 root root -rwxr-xr-x. 2 root root 4864 2 月 22 2013 python2.6 -rwxr-xr-x. 2 root root 4864 2 月 22 2013 python2.6.6 6 10 月 22 18:38 python2 -> python 这时已经修改成功 Python 2.7.10 python -V 查看 Python 版本信息 执行 python -V 遇到的问题： python: error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory 原因：linux 系统默认没有把/usr/local/python27/lib 路径加入动态库 搜索路径 解决： vim /etc/ld.so.conf # 添加如下一行内容 /usr/local/python27/lib 运行 ldconfig # 使新添加的路径生效
    运行 yum 报错 升级 python 后 yum 出现的问题 There was a problem importing one of the Python modules required to run yum. The error leading to this problem was: 编辑 yum 配置文件 #!/usr/bin/python # 第一行修改为 python2.6.6 vim /usr/bin/yum 修改后的 #!/usr/bin/python2.6.6 验证 yum 问题解决 yum repolist 原文地址 8：安装在 slave1,2,3 上安装 jdk 首先咋在 usr 下建立 jdk64 文件夹 mkdir jdk64 将下载好的 jdk-7u67-linux-x64.tar.gz 文件放入 jdk64 文件夹中 解压 tar -xvf jdk-7u67-linux-x64.tar.gz 配置环境变量 vi /etc/profile 添加一下代码 export JAVA_HOME=/usr/jdk64/jdk1.7.0_67 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH #你的 jdk 路径 保存退出 执行 chmod +x /etc/profile 将其 变成可执行文件 执行 source /etc/profile 使其配置立即生效 执行 java -version 查看是否安装成功
    关于 python /usr/lib/python2.6/site-packages/ambari_agent/Hos tCleanup.py --silent --skip = users 如要运行此脚本必学先停止 ambari 服务以及 ambari-agent 服务 关闭 ambari 服务 关闭 ambari-agent 服务 ambari-server stop ambari-agent stop 原文档出处 所有节点时区要统一 查看时区 date -R 修改中国时区： 执行 tzselect 命令--> 选择 Asia-->
    选择 China--> 选择 east China - Beijing, Guangdong, Shanghai, etc. 执行完 tzselect 命令选择时区后，时区并没有更改，只是在命令 最后提示你可以执行 TZ='Asia/Shanghai'; export TZ 并将这 行命令添加到.profile 中，然后退出并重新登录。提示如下图：
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料