Hadoop搭建及MR编程-实验报告.docx

发布时间：2022-06-09 发布人：admin 分类：说明书资料大小：1.46M 资料格式：docx 举报版权申诉

dingsai88-9386340-16359647548332890795.docx.pdf-第1页.png

第1页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第2页.png

第2页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第3页.png

第3页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第4页.png

第4页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第5页.png

第5页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第6页.png

第6页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第7页.png

第7页 / 共10页

dingsai88-9386340-16359647548332890795.docx.pdf-第8页.png

第8页 / 共10页

一、实验目的

二、实验内容

三、实验原理

四、实验设备

五、实验步骤

(1).准备工作

(2).配置hadoop

(3).分发格式化

(4).启动hadoop

(5).编写Map-Reduce程序打成jar包

(6).上传数据文件到hadoop 指定文件夹

(7).运行数据

六、实验结果

七、结果分析

八、收获、体会及建议

北京航空航天大学云计算实验报告学院计算机学院专业方向班级指导教师胡春明,沃天宇,林学练,李建欣,李博成员马辉,张海珍,丁赛,卢雪飞,张驰

一、实验目的 1. 了解熟悉 linux 命令。 2. 学习 hadoop 的安装和配置。 3. 学习编写基础的 MR 代码。二、实验内容 1. 建立 hadoop 完全分布式模式。 2. 上传数据并且对数据进行查询。 3. 通过安装 Hadoop 了解 Hadoop 的原理

三、实验原理 MapReduce 是 Hadoop 的核心技术之一，“Map（展开）”就是将一个任务分解成为多个子任务并行的执行，“Reduce”就是将分解后多任务处理的结果汇总起来，得出最后的分析结果并输出。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。四、实验设备 1.VM Centos5.5 3 台 2.PC 机一台。

五、实验步骤 (1).准备工作配置 CentOS IP 及三台免登陆和安装 JDKhadoop2.6 master :192.168.78.130 node1 slave1 :192.168.78.131 node2 slave2 :192.168.78.132 node3 (2).配置 hadoop 1.配置 core-site.xml fs.default.name hdfs://192.168.78.130:9000 2. 配置:mapred-site.xml mapred.job.tracker 192.168.78.130:9001 3. 配置:hdfs-site.xml dfs.replication 2

dfs.name.dir /usr/dingsai/hadoop-2.6.0/data_name1, /usr/dingsai/hadoop-2.6.0/data_name2 dfs.data.dir /usr/dingsai/hadoop-2.6.0/data_1,/usr/dingsai/hadoop- 2.6.0/data_2 4.配置 master 修改 /usr/dingsai/hadoop-2.6.0/etc/hadoop/masters 192.168.78.130 5.配置 slave 修改 /usr/dingsai/hadoop-2.6.0/etc/hadoop/slaves 192.168.78.131 192.168.78.132 (3).分发格式化分发到两个 slave scp -r * root@node2:/usr/dingsai/hadoop-2.6.0 scp -r * root@node3:/usr/dingsai/hadoop-2.6.0

(4).启动 hadoop /usr/dingsai/hadoop-2.6.0/sbin/start-all.sh 检查是否正常运行:jps

(5).编写 Map-Reduce 程序打成 jar 包核心代码:计算"美食"出现的次数 main 函数:

(6).上传数据文件到 hadoop 指定文件夹创建文件夹 hadoop fs -mkdir /input 上传文件到 hadoop hadoop fs -put ./part-00000 /input (7).运行数据 hadoop jar /root/Desktop/Untitled.jar org.myorg.WordCount /input /output

分享到：

赞收藏

资料库

Hadoop搭建及MR编程-实验报告.docx

相关推荐

课程资源

热门标签

最新资料