学习推荐
华为培训与认证官方网站
http://learning.huawei.com/cn/
华为在线学习
https://ilearningx.huawei.com/portal/#/portal/ebg/26
华为职业认证
http://support.huawei.com/learning/NavigationAction!createNavi?navId=_31&l
ang=zh
查找培训入口
http://support.huawei.com/learning/NavigationAction!createNavi?navId=_traini
ngsearch&lang=zh
更多信息
华为培训APP
版权所有© 2019 华为技术有限公司
华为认证大数据系列教程
HCIP-Big Data Developer V2.0
实验指导手册
版本:2.0
华为技术有限公司
1
版权所有 © 华为技术有限公司 2019。 保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传
播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务
或特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示
的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本
文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
地址:
网址:
华为技术有限公司
深圳市龙岗区坂田华为总部办公楼 邮编:518129
http://e.huawei.com
华为专有和保密信息
版权所有 © 华为技术有限公司
HCIP-Big Data Developer V2.0 实验手册
第 1 页
华为认证体系介绍
基于“平台+AI+生态”战略,围绕“云-管-端”协同的新ICT技术架构,华为公司打造
了业界唯一覆盖ICT全技术领域的认证体系,包含ICT技术架构认证、平台与服务认证和行业
ICT认证三类认证。
根据ICT从业者的学习和进阶需求,华为认证分为工程师级别、高级工程师级别和专家
级别三个认证等级。
华为认证覆盖ICT全领域,符合ICT融合的技术趋势,致力于提供领先的人才培养体系和
认证标准,培养数字化时代的新型ICT人才,构建良性的ICT人才生态。
HCIP-Big Data Developer (Huawei Certified ICT Professional-Big Data
Developer,华为大数据开发高级工程师认证) 主要面向华为公司办事处、代表处一线工程
师,以及其他希望学习华为大数据应用开发工程师。HCIP-Big Data Developer认证在内容
上涵盖大数据应用开发总指导、大数据主流技术、大数据场景化解决方案(离线批处理、实
时检索、实时流处理、融合数仓)、大数据应用开发流程等内容,课程配备了丰富的随堂实
验,满足不同场景化大数据开发全流程的行业实践,增强动手能力,旨在推动业界大数据行
业高级开发工程师人才培养。
华为认证协助您打开行业之窗,开启改变之门,屹立在大数据世界的潮头浪尖!
HCIP-Big Data Developer V2.0 实验手册
第 2 页
HCIP-Big Data Developer V2.0 实验手册
第 3 页
前 言
简介
本书为 HCIP-Big Data Developer 认证培训教程,适用于准备参加 HCIP-Big Data
Developer 考试的学员或者希望了解大数据基础知识,如何将大数据技术融合与具体实践的
读者。
内容描述
本实验指导书主要指导用户如何基于已有的日志信息和业务数据库中的数据使用大数据分析工
具,对数据进行分析。
实验一:本次实验的日志数据是电商平台的日志,包含启动日志和事件日志;业务数据库中的
数据包含订单数据和支付数据。我们需要对数据进行加载,然后对数据进行分层,最终的到业
务数据,并对业务数据进行可视化展示。
实验二:本实验指导书主要包含两个实验。每个实验有分别包含购买和配置服务、搭建或访问
开发环境、实现基本功能。
实验 1:实时检索实验主要包含 HBase 和 ElasticSearch 的数据导入,建表建索引操作,查询
操作等,理解 HBase 和 ElasticSearch 的应用场景和应用开发原理。
实验 2:图搜索实验主要包含数据的导入,使用 Gremlin 查询语言进行数据查询和增删,理
解图数据的应用场景和应用开发。
实验三:本章实验主要是通过 Flink 来完成实时流数据的处理,Flink 接收 Kafka 中的数据,
处理完成之后写入 MySql 中,最后使用 DLV 服务做数据展示。
实验四:本实验指导书书共包含三个实验,从设备基本操作配置开始,逐一介绍了 GaussDB
200 的数据导入导出、GaussDB 200 的基本操作、GaussDB 200 的存储过程及应用场景化
解决方案。
实验 1:为 GaussDB 200 的数据导入实验,利用 GaussDB 200 的并行导入方法,
拉取 GDS 服务器的数据,帮助读者熟悉 GaussDB 200 的并行数据导入方法,理解
GaussDB 200 的并行处理机制。
实验 2:为 GaussDB 200 的融合数仓实验,通过编写 GaussDB 200 的存储过程,
帮助读者掌握基本的 GaussDB 200 开发能力。
HCIP-Big Data Developer V2.0 实验手册
第 4 页
实验 3:为 GaussDB 200 的数据增量实验,通过加载新的数据,并依据业务修改对应的
GaussDB 200 的存储过程,完成数据的增量修改。
读者知识背景
本课程为华为认证基础课程,为了更好地掌握本书内容,阅读本书的读者应首先具备以下基本
条件:
具有基本的大数据常用概念。
熟悉 Java 语言。
熟悉 SQL 语言。
有一定的逻辑性。
实验环境说明
组网说明
本实验环境面向准备 HCIP-Big Data Developer 考试的大数据工程师。
设备介绍
为了满足 HCIP-Big Data Developer 实验需要,建议每套实验环境采用以下配置:
设备名称、型号与版本的对应关系如下,请学员提前安装好:
设备名称
设备型号
软件版本
电脑
64位系统
Win7或Win10
Java软件
1.8.*
Windows版本的JDK
IDEA
开源版本
Windows版本的IDEA
Maven
3.5.4
Windows版本
ECS服务器 弹性云服务器
CentOS 6.5
DWS服务 数据仓库服务
1.5.100
HCIP-Big Data Developer V2.0 实验手册
第 5 页
准备实验环境
检查设备
实验开始之前请每组学员检查自己的实验设备是否齐全,实验清单如下。
设备名称
ECS 服务器
DWS 服务
弹性公网 IP
数量
1 台
1 个
2 个
备注
所有实验组共用
所有实验组共用
所有实验组共用
每组检查自己的设备列表如下:
ECS 服务器 1 台
DWS 服务 1 个
弹性公网 IP 2 个