Ubuntu安装Hadoop实现MapReduce里的WordCount.docx

发布时间：2022-06-23 发布人：admin 分类：说明书资料大小：1.60M 资料格式：docx 举报版权申诉

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第1页.png

第1页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第2页.png

第2页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第3页.png

第3页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第4页.png

第4页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第5页.png

第5页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第6页.png

第6页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第7页.png

第7页 / 共11页

bd9fc5d4-7174-40ac-af7a-5a969ebf31e4.docx.pdf-第8页.png

第8页 / 共11页

安装Ubuntu

安装VMware Tools.

安装JDK

安装Hadoop

增加Hadoop用户，以及赋予管理员权限

安装ssh

配置hadoop

运行WordCount例子，激动人心的时刻即将到来！

安装 Ubuntu 你自己懂得~ 安装 VMware Tools. 1) 点击 Ubuntu VMware 菜单的-VM-Install VMware Tools: 这时，在 Ubuntu 下会自动加载 Linux 版的 VMware Tools 的安装光盘镜像。你会看到虚拟机的桌面上出现了一个名为 VMware Tools 的光盘图标，并且被自动打开。其中包括 VMwareTools-xxx-i386.rpm 和 VMwareTools- xxx.tar.gz 两个文件。 2) 如果你双击那个 rpm 文件，会提示说不支持的软件包，因为 rpm 是为 RedHat 准备的安装包，我们需要的是 .tar.gz 那个。把那个 .tar.gz 文件拷贝到桌面，右键菜单- 解压缩到此处。会自动解压为一个 vmware-tools-distrib 目录。把这个文件复制到桌面，然后解压。解压后变成这个 3) 打开终端（系统的应用程序菜单-附件-终端）一次执行以下命令行： 1

回车之后，会要求输入密码之类的，一路回车按过去就好。直到出现，VMware Tools 就装好了，可以实现虚拟机和宿主计算机之间的文件复制，鼠标转换等操作。如果刚刚配好，这个不管用的话，可以试试重启虚拟机，就可以复制粘贴了。安装 JDK 1） Jdk 下载路径： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151. html 2）下载好之后，我就干脆复制在桌面上了。 3）指定一个文件夹，用来配置 JDK，这个文件夹要自己新建，/usr/local/java，记住要添加 sudo，否则会提示权限不够。 4）将桌面上的文件移动到刚刚建好的文件夹中： 5）进入 Java 文件夹，解压 JDK 6）解压之后就像这俩一样啦 7）解压完成之后，配置环境变量用 sudo gedit /etc/profile 打开 profile 文件，在文件末尾增加如下语句，记得更改成自己的 JDK 地址： #set java environment JAVA_HOME=/usr/local/java/jdk1.8.0_05 export JRE_HOME=/usr/local/java/jdk1.8.0_05/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 2

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 保存，关闭。然后用 source /etc/profile 来重新执行刚修改的初始化文件(profile)，使之立即生效而不必注销并重新登录。 8）配置默认程序 a. sudo update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.8.0_05/bin/j ava 300 这条命令相当于是在/usr/bin 里面创建了一个 java 的快捷方式，链接到/usr/local/java/jdk1.8.0_05/bin 里面的 java。 b. sudo update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.8.0_05/bin /javac 300 c. sudo update-alternatives --config java 3

9）之后就可以用 java-version 来检查 java 的版本了。如图所示为安装成功。安装 Hadoop 1. 首先下载 Hadoop，本单机版试验的是 Hadoop-0.21.0，先放到桌面，再复制到/usr/local 中 2. 解压 Hadoop 3. 为方便管理，将解压后的文件夹改名为 Hadoop 这样就好了。增加 Hadoop 用户，以及赋予管理员权限 1. 创建用户组 sudo addgroup hadoop 由于我创建虚拟机的时候就设置的是 Hadoop 用户，我就不截图了啊 2. 创建用户 sudo adduser ingroup hadoop hadoop 4

3. 添加用户权限 Sudo gedit /etc/sudoers 添加如下一行文本： 4. 把 Hadoop 文件夹的权限赋予 Hadoop 用户 -R 是参数递归，处理目录下所有文件及子文件夹。 /usr/local/hadoop/是需要执行的目录。 Hadoop/Hadoop 前者的 Hadoop 是文件夹的名字，后者是将文件所有者变更为 Hadoop。安装 ssh 1. 安装 openssh-server 同样一路回车按下去，等着就好了，这个视网速而定。 5

2. 设置 ssh-key 为 rsa 记住一定将用户转换到 Hadoop 用户哟 su hadoop 3. 添加 ssh-key 到授信列表，并启用此 ssh-key 4. 验证 ssh 的配置配置 hadoop 1. 浏览一下 Hadoop 文件夹中都有些什么东西 /usr/local/hadoop 6

2. 打开 conf/hadoop-env.sh 打开之后，编辑这一小块：去掉#，添加你自己的 JDK 的路径 3. 配置 core-site.xml 编辑成这个怂样子： 7

4. 配置 mapred-site.xml 编辑为： 5. 运行测试 6. 启动 hadoop 7. 验证 Hadoop 是否成功注意！楼上的图片中没有 namenode，这会导致 Hadoop 集群设置出问题，怎么解决嘞？将你配置 conf/core-site.xml 中的路径，这里就是/home/hadoop/tmp 这个文件夹全部删除，先关闭 hadoop，也就是 stop-all.sh，再执行 hadoop namenode –format，再启动 Hadoop，就好了，变成下面这个样子咯！ 8

分享到：

赞收藏

资料库

Ubuntu安装Hadoop实现MapReduce里的WordCount.docx

相关推荐

操作系统

热门标签

最新资料