linux环境下运行Eclipse用来测试WordCount示例.docx

发布时间：2022-06-09 发布人：admin 分类：说明书资料大小：0.79M 资料格式：docx 举报版权申诉

ysblogs-9455102-4744300845152525000.docx.pdf-第1页.png

第1页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第2页.png

第2页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第3页.png

第3页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第4页.png

第4页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第5页.png

第5页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第6页.png

第6页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第7页.png

第7页 / 共23页

ysblogs-9455102-4744300845152525000.docx.pdf-第8页.png

第8页 / 共23页

Centos7 Eclipse

centos7安装 java

在eclipse上安装hadoop插件

配置过程中出现的问题 1：

配置过程中出现的问题 2：

出现权限问题：

创建 MapReduce 项目

编写代码

运行

查看input文件内容

查看output运行结果

运行结果取出到本地

异常：

异常一：

异常二：

异常三：

异常四：

异常五：

异常六：

Centos7 Eclipse Eclipse 是一个集成开发环境（IDE），包含一个基工作区和定制环境的可扩展插件系统。大部分使用 Java 编写，Eclipse 可以用来开发应用程序。通过各种插件，Eclipse 也可以用于其他编程语言开发应用程序：Ada、ABAP、 C、C++、COBOL、 Fortran、Haskell、 JavaScript、Lasso、Natural、Perl、 PHP、 Prolog、 Python、Ruby、Scala、Clojure、 Groovy、Scheme 和 Erlang。它也可以用来开发 Mathematica 软件包。开发环境包括 Eclipse Java 开发工具（JDT）支持 Java 与 Scala，Eclipse CDT C / C + +和 Eclipse PDT PHP，等等。 centos7 安装 java yum 的命令形式一般是如下：yum [options] [command] [package ...] 其中的[options]是可选的，选项包括-h（帮助），-y（当安装过程提示选择全部为"yes"），-q（不显示安装的过程）等等。[command]为所要进行的操作， [package ...]是操作的对象。 yum 是 linux 系统的自动安装系统 yum install 仅安装指定的软件检查 java 版本： # java -version centos7 安装 java Eclipse 选用 jee 版本下载地址： http://mirrors.neusoft.edu.cn/eclipse/technology/epp/downloads/releas e/luna/SR2/eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz 解压：

tar # /usr/local/ -zxvf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz -C 使用符号连接目录： # ln -s /usr/local/eclipse/eclipse /usr/bin/eclipse 注意：在/usr/bin/eclipse 目录下创建一个同步连接，而源文件在 /tools/eclipse/eclipse 目录下创建一个桌面启动器：使用 vim 打开一个新的 file，添加如下代码 # vim /usr/share/applications/eclipse.desktop [Desktop Entry] Encoding=UTF-8 Name=Eclipse 4.4.0 Comment=Eclipse Luna Exec=/usr/bin/eclipse Icon=/usr/local/eclipse/icon.xpm Categories=Application;Development;Java;IDE Version=1.0 Type=Application Terminal=0 上面是将 eclipse 显示在 centos 的应用程序上，并对其进行描述，比如编码方式，命名，显示的图标，版本，类型查看 eclipse 的版本： # # cd /usr/local/eclipse/readme cat readme_eclipse.html

检查 eclipse 是否被添加到应用程序：在 eclipse 上安装 hadoop 插件下载 hadoop 插件：下载地址：http://pan.baidu.com/s/1mgiHFok

此 zip 文件包含了源码，我们使用使用编译好的 jar 即可，解压后，release 文件夹中的 hadoop.eclipse-kepler-plugin-2.2.0.jar 就是编译好的插件。把插件放到 eclipse/plugins 目录下：把 hadoop jar 包导入到 eclipse/plugins 目录下: ${HADOOP-HOME}/share/hadoop/common/*.jar ${HADOOP-HOME}/share/hadoop/common/lib/*.jar ${HADOOP-HOME}/share/hadoop/hdfs/*.jar,不包括里面 lib 下的 jar 包 ${HADOOP-HOME}/share/hadoop/mapreduce/*.jar,不包括里面 lib 下的 jar 包 ${HADOOP-HOME}/share/hadoop/yarn/*.jar,不包括里面 lib 下的 jar 包 s 重启 eclipse，配置 Hadoop installation directory 如果插件安装成功，打开 Windows—Preferences 后，在窗口左侧会有 Hadoop Map/Reduce 选项，点击此选项，在窗口右侧设置 Hadoop 安装路径。例如/hadoop

配置 Map/Reduce Locations: 打开 Windows—Open Perspective—Other ,选择 Map/Reduce，点击 OK

在右下方看到如下图所示: 点击 Map/Reduce Location 选项卡，点击右边小象图标，打开 Hadoop Location 配置窗口：

输入 Location Name，任意名称即可. 配置 Map/Reduce Master 与 mapred-site.xml 一致配置 DFS Mastrer 与 core-site.xml 一致路径：/usr/hdp/2.3.0.0-2557/hadoop/conf

hdfs://master.ringchi.com:8020/user/hadoop/input/README.txt 点击"Finish"按钮，关闭窗口: 点击左侧的 DFSLocations—>Rcth-Bigdata（上一步配置的 location name)，如能看到 user，表示安装成功对应 HDFS 上的文件：

分享到：

赞收藏

资料库

linux环境下运行Eclipse用来测试WordCount示例.docx

相关推荐

课程资源

热门标签

最新资料