logo资料库

HCIA-Big Data V2.0 实验手册.pdf

发布时间：2022-06-05 发布人：admin 分类：说明书 资料大小：4.52M 资料格式：pdf 举报 版权申诉
第1页 / 共115页
第2页 / 共115页
第3页 / 共115页
第4页 / 共115页
第5页 / 共115页
第6页 / 共115页
第7页 / 共115页
第8页 / 共115页
资料共115页，剩余部分请下载后查看
    学习推荐
    HCIA-Big Data V2.0 实验手册
    学习推荐-
    学习推荐  华为培训与认证官方网站  http://learning.huawei.com/cn/  华为在线学习  https://ilearningx.huawei.com/portal/#/portal/ebg/26  华为职业认证  http://support.huawei.com/learning/NavigationAction!createNavi?navId=_31&l ang=zh  查找培训入口  http://support.huawei.com/learning/NavigationAction!createNavi?navId=_traini ngsearch&lang=zh 更多信息  华为培训APP 版权所有© 2018 华为技术有限公司
    HCIA-BigData V2.0 实验手册 华为认证 Big Data 系列教程 HCIA - Big Data V2.0 第 1 页 大数据工程师 实验指导手册 版本:2.0 华为技术有限公司
    HCIA-BigData V2.0 实验手册 版权所有 © 华为技术有限公司 2017。 保留一切权利。 第 2 页 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务 或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示 的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本 文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 地址： 网址： 华为技术有限公司 深圳市龙岗区坂田华为总部办公楼 邮编：518129 http://e.huawei.com
    HCIA-BigData V2.0 实验手册 第 3 页 前言 简介 本实验手册所有实验均以华为 FusionInsight HD 大数据平台作为实验环境，指导学生完成 HCIA-Big Data 课程所规定的实验任务，旨在使学员掌握 FusionInsight HD 平台大数据重要 组件的使用方法。 内容描述 本实验指导书共包含 8 个实验小节：FusionInsight 客户端安装、HBase 数据库实战、HDFS 文件系统实战、Loader 数据导入导出实战、Flume 数据采集实战、Kafka 消息订阅实战、 Hive 数据仓库实战、集群综合实验等。 实验须知 学员在实验过程中，不得随意删除文件。 学员在对目录、topic、文件进行命名时，均须包含学员账号 stuxx 或 userxx 字样，如目录 stu06_data，表 user01_socker。 学员登录环境所需用户名和密码由讲师统一管理和分配，如有不清楚的，请询问讲师。 参考文档 《FusionInsight HD 产品文档》。 实验环境说明 实验硬件及软件 服务器 CPU Bit-mode 内存 网卡 硬盘数量 最低配置 Intel 4 核 *2 64 位 48GB 推荐配置 Intel 8 核 *2 64 位 64GB 2 张千兆网卡 2 张千兆网卡 Disk * 7 Disk *7
    HCIA-BigData V2.0 实验手册 Disk ≥ 610G Disk ≥ 610G 推荐 SUSE Linux Enterprise Server 11 SP3（SuSE11.3） 第 4 页 最低配置全 1Gb 口以太网交换机，推荐配置全 10Gb 口以太网交换 机 硬盘大小 操作系统版本 其他硬件： 交换机 实验拓扑 本实验采用 3 个服务器节点，每台服务器配置 2 张网卡，分别用于管理平面和业务平面。 服务器系统盘做 RAID1，数据盘做 RAID5。 学员账号及软件说明 每个学员分配 2 个账号：stu 开头的是 FusionInsight HD 集群账号，可用于登录 FusionInsight Manager 管理界面和组件之间通信进行认证，以及在访问大数据组件时的认 证；user 开头的账号是集群节点 OS 账号，用于登录群节点操作系统，进行组件实验操作。 为方便学员，实验过程中所用到的集群客户端软件和文件放在每个集群节点的 /FusionInsight_Client 目录下，学员在使用的时候可以该目录下获取。
    HCIA-BigData V2.0 实验手册 第 5 页 实验过程中所用到的 SSH 工具和文件上传工具放在 ftp://10.175.199.8/下 07 other tool 目录 下，ftp 用户名/密码为 admin1/admin1，学员可自行获取。 1 FusionInsight HD 客户端安装 1.1 实验背景 FusionInsight HD 客户端是用户与集群交互的接口，也是后续实验的基础。安装客户端后， 在集群安全模式部署的情况下，需进行安全认证才可与集群进行交互。 1.2 实验目的  掌握客户端的下载、安装方法。 1.3 实验任务 1.3.1 安装客户端 步骤 1 登录集群节点。 使用 putty 工具，学员账号登录集群节点，例如 192.168.224.45，stu01(具体节点 IP 地址须由 讲师分配)。
    HCIA-BigData V2.0 实验手册 第 6 页 复制 FusionInsight HD 客户端到 user01 的 home 目录下，客户端文件在每台集群节点的 /FusionInsight_Client 目录下。 > cd /FusionInsight_Client > cp FusionInsight_V100R002C60SPC200_Services_ClientConfig.tar /home/user01 步骤 2 解压客户端软件。 > cd /home/user01 > tar –xvf FusionInsight_V100R002C60SPC200_Services_ClientConfig.tar 步骤 3 安装客户端。 进入 FusionInsight_V100R002C60SPC200_Services_ClientConfig 目录，并执行安装命令，将 软件安装在当前用户的 home 目录下“/home/user01/1001_hadoopclient”。 > cd /home/user01/FusionInsight_V100R002C60SPC200_Services_ClientConfig/ >./install.sh /home/user01/hadoopclient 系统提示 Components client installation is complete 表示安装完成。 步骤 4 执行环境变量文件并完成认证。 进入/home/user01/hadoopclient，执行：source bigdata_env 完成环境变量的设置。 进行安全认证：kinit sut01 输入密码 Huawei@123，完成认证。 执行如下命令进行环境变量设置 > source hadoopClient/bigdata_env > kinit stu01 Password for admin@HADOOP.COM: 注：初始密码 Huawei@123（或咨询授课老师），第一次认证若提示修改，密码统一修改成 Huawei12#$。
    HCIA-BigData V2.0 实验手册 步骤 5 测试客户端。 使用 hdfs 命令测试客户端： > hdfs dfs –ls / 第 7 页 drwxr-x---+ - flume hadoop 0 2017-07-15 00:39 /flume drwx------+ - hbase supergroup 0 2018-03-31 10:28 /hbase drwxrwxr-x+ - admin supergroup 0 2018-01-28 15:52 /mapreduceInput drwxrwxrwx+ - mapred hadoop 0 2017-07-15 00:39 /mr-history 测试成功，标明客户端安装成功！ --结束！ 1.4 实验小结 本实验主要讲述 FusionInsight HD 客户端的安装，在安装过程中，客户端软件要解压两次， 需要注意的是指定安装客户端的目录下不能有文件或文件夹，否则安装失败。 2 HDFS 文件系统实战 2.1 实验背景 HDFS 是 Hadoop 大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存 储，如 Hive，Mapreduce，Spark，HBase 等。在 HDFS shell 客户端我们可以实现对分布式 文件系统的操作和管理等。掌握 HDFS 的使用对我们更好的理解和掌握大数据大有裨益。 2.2 实验目的  掌握 HDFS 常用操作。  掌握 HDFS 文件系统管理操作。
    分享到：
    赞 收藏

    相关推荐

    资料库

    考试认证

    共收录20637份资料，累计11个分类，关注成员有19位，主要包括：真题,美赛,软考,PMP,Linux/Unix认证,思科认证,微软认证,Oracle认证,华为认证,软考等考,其它

    热门标签

    真题 美赛 软考 PMP Linux/Unix认证 思科认证 微软认证 Oracle认证 华为认证 软考等考 其它

    最新资料