最详细的Hadoop环境搭建.docx

发布时间：2022-06-03 发布人：admin 分类：说明书资料大小：2.36M 资料格式：docx 举报版权申诉

nhj074-10697725-4744302542955652796.docx.pdf-第1页.png

第1页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第2页.png

第2页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第3页.png

第3页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第4页.png

第4页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第5页.png

第5页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第6页.png

第6页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第7页.png

第7页 / 共75页

nhj074-10697725-4744302542955652796.docx.pdf-第8页.png

第8页 / 共75页

最详细的Hadoop环境搭建

最详细的 Hadoop 环境搭建前言 Hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础，对 Hadoop 基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop 的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署 Apache Hadoop2.x 版本为主线，来介绍 Hadoop2.x 的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识 Hadoop 才是目的。本文分为五个部分、十三节、四十九步。第一部分：Linux 环境安装 Hadoop 是运行在 Linux，虽然借助工具也可以运行在 Windows 上，但是建议还是运行在 Linux 系统上，第一部分介绍 Linux 环境的安装、配置、Java JDK 安装等。第二部分：Hadoop 本地模式安装 Hadoop 本地模式只是用于本地开发调试，或者快速安装体验 Hadoop，这部分做简单的介绍。第三部分：Hadoop 伪分布式模式安装学习 Hadoop 一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行 Hadoop 的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运行的，但是只是运行在一个操作系统上的，并不是真正的分布式。第四部分：完全分布式安装

完全分布式模式才是生产环境采用的模式，Hadoop 运行在服务器集群上，生产环境一般都会做 HA，以实现高可用。第五部分：Hadoop HA 安装 HA 是指高可用，为了解决 Hadoop 单点故障问题，生产环境一般都做 HA 部署。这部分介绍了如何配置 Hadoop2.x 的高可用，并简单介绍了 HA 的工作原理。安装过程中，会穿插简单介绍涉及到的知识。希望能对大家有所帮助。第一部分：Linux 环境安装第一步、配置 Vmware NAT 网络一、Vmware 网络模式介绍参考：http://blog.csdn.net/collection4u/article/details/14127671 二、NAT 模式配置 NAT 是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和 IP 转换。我们部署 Hadoop 集群，这里选择 NAT 模式，各个虚拟机通过 NAT 使用宿主机的 IP 来访问外网。我们的要求是集群中的各个虚拟机有固定的 IP、可以访问外网，所以进行如下设置： 1、 Vmware 安装后，默认的 NAT 设置如下：

2、默认的设置是启动 DHCP 服务的，NAT 会自动给虚拟机分配 IP，但是我们需要将各个机器的 IP 固定下来，所以要取消这个默认设置。 3、为机器设置一个子网网段，默认是 192.168.136 网段，我们这里设置为 100 网段，将来各个虚拟机 Ip 就为 192.168.100.*。 4、点击 NAT 设置按钮，打开对话框，可以修改网关地址和 DNS 地址。这里我们为 NAT 指定 DNS 地址。

5、网关地址为当前网段里的.2 地址，好像是固定的，我们不做修改，先记住网关地址就好了，后面会用到。第二步、安装 Linux 操作系统三、Vmware 上安装 Linux 系统 1、文件菜单选择新建虚拟机 2、选择经典类型安装，下一步。

3、选择稍后安装操作系统，下一步。 4、选择 Linux 系统，版本选择 CentOS 64 位。 5、命名虚拟机，给虚拟机起个名字，将来显示在 Vmware 左侧。并选择 Linux 系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。

6、指定磁盘容量，是指定分给 Linux 虚拟机多大的硬盘，默认 20G 就可以，下一步。 7、点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。 8、点击完成后，就创建了一个虚拟机，但是此时的虚拟机还是一个空壳，没有操作系统，接下来安装操作系统。 9、点击编辑虚拟机设置，找到 DVD，指定操作系统 ISO 文件所在位置。

10、点击开启此虚拟机，选择第一个回车开始安装操作系统。

11、设置 root 密码。

分享到：

赞收藏

资料库

最详细的Hadoop环境搭建.docx

相关推荐

大数据

热门标签

最新资料