《 Hadoop 大数据开发基础》教学大纲 课程名称： Hadoop 大数据开发基础 课程类别： 必修 适用专业： 大数据技术类相关专业 总学时： 48 学时 总学分： 3.0 学分 一、 课程的性质 本课程是为大数据技术类相关专业学生开设的课程。 随着时代的发展， 大数据已经成为 一个耳熟能详的词汇。 与此同时， 针对大数据处理的新技术也在不断的开发和运用中， 逐渐 成为数据处理挖掘行业广泛使用的主流技术之一。 Hadoop 作为处理大数据的分布式存储和 计算框架，得到了国内外大小型企业广泛的应用。 Hadoop 是一个可以搭建在廉价服务器上 的分布式集群系统架构， 它具有可用性高、 容错性高和可扩展性高等优点。 由于它提供了一 个开放式的平台， 用户可以在完全不了解底层实现细节的情形下， 开发适合自身应用的分布 式程序。经过十多年的发展，目前 Hadoop 已经成长为一个全栈式的大数据技术生态圈，并 在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习 Hadoop 技术是从事大数 据行业工作所必不可少的一步。 二、 课程的任务 通过本课程的学习，使学生学会搭建 Hadoop 完全分布式集群，掌握 HDFS 的原理和基 础操作，掌握 MapReduce 原理架构、 MapReduce 程序的编写。为将来从事大数据挖掘研究 工作以及后续课程的学习奠定基础。 三、 教学内容及学时安排 

序 号 章节名称 主要内容 教学目标 学时 1 大数据概论 Hadoop 集群的 搭建及配置 1. 大数据学习基础 2. 大数据背景 3. 大数据的定义 4. 大数据的行业案例 5. 大数据的基本概念 6. 大数据技术生态圈 1. 设置固定 IP 的方法 2. 设置远程连接虚拟机 3. Linux 在线安装软件的方法 4. 在 Window 和 Linux 下安装 Java 5. 了解 Hadoop 集群相关配置文件 6. SSH 免密码登录配置 7. 时间同步服务配置 8. 启 动 关 闭 Hadoop 集 群 以 及 查 看 Hadoop 集群监控 2 3 4 5 Hadoop 集群基 础操作 1. 解 HDFS 的操作方法 2. MapReduce 任务的运行和中断方法 3. 集群监控的查看方法 MapReduce 入 门编程 1. Eclipse 安装 2. MapReduce 原理 3. MapReduce 的编程逻辑 MapReduce 进 阶编程 1. MapReduce 的输入及输出格式 2. Hadoop Java API 使用方法 3. 自定义键值对方法 4. Combiner 及 Partitioner 的原理与编 程 5. 在 Eclipse 中提交 MapReduce 任务的 方法 项目案例： 汽车 6 销 售 数 据 统 计 1. 数据概况 2. 数据背景介绍 分析项目 3. 需求分析及代码实现 学 时 合 计 1.了解大数据的背景 和大数据生态群技 术 2.理解大数据基本概 念和大数据行业案 例。 1. 掌 握 安 装 配 置 虚 拟机和安装 JDK 2. 掌握搭建 Hadoop 完全分布式集群环 境的方法 1. 学会查看 Hadoop 集群的基本信息 2. 掌握 HDFS 的基 本操作 3. 掌 握 运 行 MapReduce 任 务 的 命令 1. 掌 握 MapReduce 的原理 2. 掌 握 MapReduce 程序的编程逻辑 1. 掌 握 MapReduce 框架中的进阶应用， 包括自定义键值对、 Combiner 、Partitioner 等 1. 掌握项目开发流 程，数据业务数据。 2.利用大数据存储技 术及 MapReduce 框 架从各个需求维度 分析汽车销售数据。 2 10 6 9 12 9 48 

四、 考核方式 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成 = 平时作业 （ 20% ） + 课堂参与（ 10%） + 期末考核（ 70%），期末考试建议采用开卷形式，试题应包 括基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应 用题等方式。