logo资料库

windows10下spark2.3.0本地开发环境搭建-亲测.docx

发布时间：2022-06-03 发布人：admin 分类：说明书 资料大小：3.27M 资料格式：docx 举报 版权申诉
第1页 / 共57页
第2页 / 共57页
第3页 / 共57页
第4页 / 共57页
第5页 / 共57页
第6页 / 共57页
第7页 / 共57页
第8页 / 共57页
资料共57页，剩余部分请下载后查看
    1windows10下spark2.3.0本地开发环境搭建
    1.1 JDK1.8.0_171
    1.2 hadoop-2.7.6
    1.2.1下载并解压
    1.2.2设置环境变量
    1.2.3支持windows运行
    1.2.4创建HADOOP数据存储目录
    1.2.5修改hadoop配置文件
    1.2.6格式化命名节点
    1.2.7启动hadoop
    1.2.8web ui界面查看
    1.2.9停止所有节点
    1.3Spark-2.3.0
    1.3.1下载并解压
    1.3.2新建环境变量SPARK_HOME 
    1.3.3运行SPARK
    1.3.4界面查看
    1.4 Scala-2.11.8
    1.5 Maven-3.5.3
    1.6 IntelliJ IDEA 安装 
    1.7IDEA环境安装
    1.7.1安装idea
    1.7.2修改maven配置
    1.7.3Scala插件安装
    1.7.4全局JDK和Library的设置
    1.7.5配置全局的Scala SDK
    1.7.6新建maven项目
    1.7.7导入spark依赖
    1.7.8编写sprak代码
    1.7.9打包运行
    1.8Git集成
    1 windows10 下 spark2.3.0 本地开发环境搭建 win10 上部署 Hadoop 非 Cygwin、非虚拟机方式。安装目录为 D:\setupedsoft。涉及相关组件版本： win10 家庭装，64 位，x86 处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 1.1 JDK1.8.0_171 a. 下载 JDK，jdk-8u171-windows-x64.exe，安装到目录：D:\setupedsoft\Java，并设置 JAVA_HOME 变量
    b. 设置 Path 变量，添加 ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin c. 设置 Classpath 添加： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar d. 最后在终端输入 java -version，出现类似如下结果即可：
    1.2 hadoop-2.7.6 1.2.1下载并解压 官网 http://hadoop.apache.org/releases.html 下载 Hadoop2.7.6，解压至安装目录 D:\setupedsoft\hadoop-2.7.6 1.2.2设置环境变量 a. 设置 HADOOP_HOME 变量
    b.设置 Path 变量：添加 ;%HADOOP_HOME%\bin
    1.2.3支持 windows 运行 在 https://pan.baidu.com/s/1_C4TALLBW9TbIrJMC4JKtA 密码: dc63 下载一个支持在 windows 运行 hadoop 的工具，解压，用解压后的 bin、etc 目录覆盖 hadoop 的 bin、etc 目录（亲测这个工具适用于 hadoop2.5 和 2.7，其他的尚且不知） 1.2.4创建 HADOOP 数据存储目录 在/D:/datafile/hadoop-2.7.6 目录新建 workplace 目录，进入 workplace，新建子文件夹 temp、data、name 1.2.5修改 hadoop 配置文件 编辑 D:\setupedsoft\hadoop-2.7.6\etc\hadoop\core-site.xml hadoop.tmp.dir /D:/datafile/hadoop-2.7.6/workplace/temp dfs.name.dir /D:/datafile/hadoop-2.7.6/workplace/name fs.default.name hdfs://localhost:9000
    fs.defaultFS hdfs://localhost:9000 编辑 D:\setupedsoft\hadoop-2.7.6\etc\hadoop\mapred-site.xml mapreduce.framework.name yarn mapred.job.tracker hdfs://localhost:9001 编辑 D:\setupedsoft\hadoop-2.7.6\etc\hadoop\hdfs-site.xml dfs.replication 1
    dfs.data.dir /D:/datafile/hadoop-2.7.6/workplace/data dfs.namenode.name.dir /D:/datafile/hadoop-2.7.6/workplace/namenode dfs.datanode.data.dir /D:/datafile/hadoop-2.7.6/workplace/datanode 编辑 D:\setupedsoft\hadoop-2.7.6\etc\hadoop\yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
    分享到：
    赞 收藏

    相关推荐

    资料库

    大数据

    共收录841份资料，累计11个分类，关注成员有19位，主要包括：Matlab,统计分析,数据挖掘,Hbase,Hive,flink,kafka,spark,Storm,算法与数据结构,Hadoop

    热门标签

    Matlab 统计分析 数据挖掘 Hbase Hive flink kafka spark Storm 算法与数据结构 Hadoop

    最新资料