首届全国大学生大数据技能竞赛指导手册.pdf

发布时间：2022-06-20 发布人：admin 分类：说明书资料大小：12.05M 资料格式：pdf 举报版权申诉

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第1页.png

第1页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第2页.png

第2页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第3页.png

第3页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第4页.png

第4页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第5页.png

第5页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第6页.png

第6页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第7页.png

第7页 / 共79页

830052de-ad0a-4ec3-9e57-d82ceb568f69.pdf-第8页.png

第8页 / 共79页

3.1 基本环境与 zookeeper 安装

3.1.1 修改主机名

3.1.2 配置 host 文件

3.1.3 关闭防火墙

3.1.4 时间同步

3.1.5 配置 ssh 免密

3.1.6 安装 JDK

3.2 安装 zookeeper

3.3 安装 hadoop

3.4hbase 安装

首届全国大学生大数据技能竞赛培训手册北京红亚华宇科技有限公司 2018 年度北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册目录一、竞赛简介.................................................................................................................................... 4 1.竞赛背景................................................................................................................................ 4 2.竞赛专家组............................................................................................................................ 4 3.竞赛目的................................................................................................................................ 5 4.竞赛时间及地点.................................................................................................................... 5 5.奖项设置................................................................................................................................ 5 6.竞赛会务组............................................................................................................................ 6 6.1 竞赛会务负责人.......................................................................................................... 6 6.2 竞赛培训负责人.......................................................................................................... 6 二、中国大数据技术与应用联盟简介............................................................................................ 6 三、北京红亚华宇科技有限公司简介............................................................................................ 7 四、红亚大数据赛前实训平台使用说明........................................................................................ 7 1.平台登录................................................................................................................................ 7 1.1 训练平台登录地址...................................................................................................... 7 1.2 训练平台登录使用...................................................................................................... 8 2.平台功能简介........................................................................................................................ 8 2.1 实验平台...................................................................................................................... 8 2.2 算法集........................................................................................................................ 10 2.3 数据集........................................................................................................................ 11 2.4 职业路径.................................................................................................................... 12 2.5 项目路径.................................................................................................................... 13 2.6 个人中心.................................................................................................................... 14 2.7 学习进度管理............................................................................................................ 14 2.8 教学管理中心............................................................................................................ 15 3.课程内容.............................................................................................................................. 16 4.实验成绩及报告.................................................................................................................. 20 五、竞赛规则及评分标准.............................................................................................................. 21 1.竞赛规则.............................................................................................................................. 21 1.1．裁判组..................................................................................................................... 21 1.2．监督组..................................................................................................................... 21 1.3．仲裁组..................................................................................................................... 21 2.比赛秩序.............................................................................................................................. 21 3.评分标准.............................................................................................................................. 22 3.1 竞赛成绩.................................................................................................................... 22 3.2 成绩排名.................................................................................................................... 22 3.3 得分点........................................................................................................................ 22 六、考核点培训教案...................................................................................................................... 23 1.训练环境说明...................................................................................................................... 23 1.1 采用红亚科技大数据平台........................................................................................ 23 1.2 自行搭建集群............................................................................................................ 23 2.竞赛环境配置说明表.......................................................................................................... 23 3.大数据集群搭建.................................................................................................................. 24 2 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册 3.1 基本环境与 zookeeper 安装 ..................................................................................... 24 3.2 安装 zookeeper .......................................................................................................... 32 3.3 安装 hadoop ............................................................................................................... 36 3.4hbase 安装 .................................................................................................................. 45 4.构建数据仓库...................................................................................................................... 50 4.1slave2 上安装 mysql server ........................................................................................ 50 4.2Slave1 上安装 hive ..................................................................................................... 53 4.3Master 作为客户端 .................................................................................................... 56 4.4 成功启动 Hive ........................................................................................................... 58 5.数据采集.............................................................................................................................. 59 5.1 任务要求.................................................................................................................... 59 5.2 目标环境.................................................................................................................... 59 5.3 逻辑图........................................................................................................................ 60 5.4 操作方法.................................................................................................................... 61 6.数据分析.............................................................................................................................. 65 6.1 学习目标.................................................................................................................... 65 6.2 数据集说明................................................................................................................ 65 6.3 使用 hive 对数据进行操作 ....................................................................................... 66 3 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册一、竞赛简介 1. 竞赛背景信息互联网的发展使人类进入了一个崭新的大数据时代，深刻影响着时代发展的进程。我国政府、产业界和学术界也做出了相应的理论研究和实践研究。2015 年 9 月，国务院印发了《促进大数据发展行动纲要》，系统部署大数据发展工作各高校开展大数据专业建设，专人才培养的新时代。目前，在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、数学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课堂学习，通过大数据竞赛活动加深理解和提高实际应用操作能力是非常重要的途径，目前在我国高校还没有一个完整体系的大数据竞赛，因此，举办一个全国性的大学生大数据技能竞赛是非常有必要的。 2. 竞赛专家组组长：谭建荣中国工程院院士副组长：郭军北京邮电大学副校长赵平生中国大数据技术与应用联盟副理事长专家成员：何鹏联通高新大数据人工智能科技（成都）有限公司首席运营官张传刚浪潮软件集团数据运营产品中心总经理陈亮中诚信股份有限公司信用评价中心副总经理郑洪宾北京红亚华宇科技有限公司董事长兼 CEO 弭琳大数据精英网创始人饶泓南昌大学信息工程学院副院长叶海建中国农业大学大数据研究中心主任李辉中国农业大学农业大数据实验室主任方志军上海工程技术大学电子电气工程学院院长 4 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册陈红松北京科技大学计算机系主任董付国山东工商大学计算机学院副教授杨治辉安徽财经大学统计与应用数学学院副院长李凤莲太原理工大学信息与计算机学院教授 3. 竞赛目的赛项的举办，旨在有效促进高等院校计算机科学与技术、信息管理与信息系统、统计学、经济、金融、数学专业教学模式的探索性改良，推进相关专业课程体系、教学内容和教学方法等教学资源的质量提升和丰富完善，进而推动我国大数据专业教育上层建筑体系质的飞跃。通过大数据技能竞赛，能够激发学生的自主学习热情，树立正确积极的职业价值观和人生观。通过大赛，可以提高实践教学课时量，学生可在“大数据竞赛平台”中以实际大数据项目案例开展平台搭建数据采集、数据分析与挖掘等方面得到有效锻炼，提高学生的专业技能，并逐步实践“理实一体化”、“做学教一体化”的教学模式。以大数据集群搭建与分析赛项为纽带，搭建校企合作的平台，提升高等院校大数据技术与应用专业及其他信息技术类专业学生的技能及职业素养，满足企业用人需求，实现行业资源、企业资源与教学资源的有机融合，使高等院校在专业建设、课程建设、人才培养方案和人才培养模式等方面紧跟行业及社会发展的需求，缩小学生能力与行业需求之间的差距，促进专业教学建设和教学改革。 4. 竞赛时间及地点时间：2018 年 12 月 8 日 9：00-13：00 地点：中国农业大学计算机中心 3 层大数据实验中心竞赛时长：4 小时 5. 奖项设置赛项设参赛选手特等、一、二、三等奖。以赛项实际参赛队总数为基数。特等、一、二、三等奖获奖比例分别为 10%、20%、30%、40%（小数点后四舍五入）。 5 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册竞赛特等奖为 3000 元人民币、一等奖为 2000 元人民币、二等奖为 1000 元人民币、三等奖为大赛定制纪念品，以此来鼓励成绩优异的参赛队伍。同时，获得奖项的参赛队伍的指导教师获“优秀指导教师奖”。 6. 竞赛会务组 6.1 竞赛会务负责人张京晶联系方式:18810696426 邮箱：zhangjingjing@hongyaa.com.cn 6.2 竞赛培训负责人张福华联系方式：18310396898 罗树国联系方式：18513688920 赵利平联系方式：18812615905 张程联系方式：17611347725 技术指导 QQ 群：864874385 二、中国大数据技术与应用联盟简介中国大数据技术与应用联盟（China Big Data Technology and Application Alliance，缩写：BDTAA，以下简称：联盟）是在工业和信息化部的指导下，由中国通信企业协会通信网络运营专业委员会、北京邮电大学、中国管理科学研究院学术委员会共同发起，联合中国信息通信研究院、中国邮政集团公司、中国电信集团公司、中国移动通信集团有限公司、中国联合网络通信集团有限公司、中国铁塔股份有限公司、华为技术有限公司、江苏亨通产业集团、北京梅泰诺通信技术股份有限公司、北京大数据研究院、重庆大数据研究院有限公司等多家与大数据密切相关的企业、高校、科研机构和投资机构成立的非盈利性组织，是集大数据标准研究制定、技术应用推进、产业链合作、人才培养和投融资于一体的合作服务平台。 6 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册三、北京红亚华宇科技有限公司简介北京红亚华宇科技有限公司（简称：红亚科技）是一家聚焦信息技术发展，为教育从业者提供优质教育服务的创新型科技公司。面向国内本科及职业院校服务项目有大数据、人工智能、信息安全、网络工程、及软件工程等专业建设服务、师资建设服务、实训基地建设服务及校企共建服务。现在全国已服务 600 多所高校。红亚人始终坚持用技术改变教育方式，让教育变的更加智慧的发展理念，致力于成为国内信息技术教育服务的龙头企业。红亚科技的大数据实训平台是基于云模式的智慧教育大数据实验室的设计全面落实“产、学、用、监、评”一体化的思想和模式，从教学、实践、使用、监控、评估等多方面注重专业人才和特色人才的培养；平台内有大数据专项练习课程近 670 个，涵盖基础学习、大数据算法分析、算法应用、大数据生命周期大型案例实训等课程，将理论学习、实践教学和大数据搭建、挖掘、存储、分析实战融为一体，从易到难、循序渐进，逐步提升学生的学习技能和实践水平；定制专业化技能评估与教学监控功能，秉承“精准、先进、创新”思想，可实时监控学生操作，分析学习情况，评估学生知识水平；平台辅以配套的 6 本大数据实践系列教材及 PPT 讲义，深度的解决教师授课的压力。红亚科技创始团队全部出身教育行业，公司现有员工 150 多名，本科学历以上人员占公司总人数的 90%。公司先后获得了国家高新技术企业、双软企业认证，并通过了 ISO9001 质量体系认证，AAA 级信用企业，A 级纳税企业、第五届北京最具文化影响企业 30 强认证企业、公安系统网络攻防竞赛优秀支持单位、工兵团网络攻防竞赛优秀支持单位。红亚科技自主研发的软件产品近 30 个，获得国家著作权的近 20 项，其中 3 个产品被评为北京市技术创新产品。四、红亚大数据赛前实训平台使用说明 1. 平台登录 1.1 训练平台登录地址红亚科技提供的大数据竞赛训练平台登录地址、账号、密码由培训人员在培训完成后单独发邮件给学员。 7 北京红亚华宇科技公司

全国大学生大数据技能竞赛培训手册 1.2 训练平台登录使用红亚科技的大数据实训平台，采用的是私有云技术，平台采用 B/S 访问模式，可以在学校的实验室、图书馆、宿舍等通过网络访问。请使用 Chrome68.0 或更高版登录，详细登录界面如下图所示：图：大数据实训系统登录界面 2. 平台功能简介红亚科技大数据实训平台包括的主要功能有课程实验、算法集、数据集、职业路径、项目路径、个人中心、过程监控、教学中心等功能，可满足学生的实训学习，也可满足教师的智能管理。 2.1 实验平台实验平台为学生提供的是各种不同类型、不同层次实验的学习内容。学生可以在此进行大数据相关知识实验的学习和训练，其中内容包含：大数据、云计算、人智能等方向，可开展的实验共计 9 大体系 86 个模块，近千个实验，功能如下图： 8 北京红亚华宇科技公司

分享到：

赞收藏

资料库

首届全国大学生大数据技能竞赛指导手册.pdf

相关推荐

大数据

热门标签

最新资料