数栖平台V3.0-帮助文档.pdf

发布时间：2022-06-03 发布人：admin 分类：说明书资料大小：17.79M 资料格式：pdf 举报版权申诉

daniao2003-11242682-4744300845399396624.pdf-第1页.png

第1页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第2页.png

第2页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第3页.png

第3页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第4页.png

第4页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第5页.png

第5页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第6页.png

第6页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第7页.png

第7页 / 共102页

daniao2003-11242682-4744300845399396624.pdf-第8页.png

第8页 / 共102页

1. 数栖平台介绍

1.1 平台概述

1.1.1 管理门户

1.1.2 开发套件

1.1.3 运维门户

1.2 名词解释

2. 快速入门

2.1 企业账号注册

2.2 平台审核通过

2.3 开发数据处理任务

2.3.1 准备数据

2.3.3 新建资源

2.3.4 新建表

2.3.5 数据导入

2.3.6 数据加工

3. 用户操作手册

3.1 管理门户

3.1.1 企业注册

3.1.2 新建计算引擎

3.1.3 购买执行代理

3.1.4 订单管理

3.1.5 新建项目

3.1.6 项目配置

3.1.6.1 项目基本配置

3.1.6.2 数据源配置

3.1.6.3 执行代理组配置

3.1.6.4 项目成员配置

3.2 开发套件

3.2.1 登录开发套件

3.2.2 选择项目

3.2.3 工作流

3.2.4 离线任务

3.2.4.1 新建

3.2.4.2 复制

3.2.4.3 删除

3.2.4.4 格式化

3.2.4.5 代码检查

3.2.4.6 运行

3.2.4.7 属性配置

3.2.5 实时任务

3.2.6 临时任务

3.2.7 资源文件

3.2.8 函数开发

3.2.9 表管理

3.2.10 提交发布

3.2.11 任务类型

3.2.11.1 Shell

3.2.11.2 数据同步

3.2.11.3 Hive

3.2.11.4 SparkSQL

3.2.11.5 Python

3.2.11.6 PySpark

3.2.11.7 Spark

3.2.11.8 Presto

3.2.11.9 FlinkSQL

3.2.11.10 Flink

3.3 运维门户

3.3.1 登录运维门户

3.3.2 运维中心

3.3.2.1 运行总览

3.3.2.2 离线实例

3.3.2.3 离线任务

3.3.2.4 实时任务

3.3.3 发布审核

3.3.4 监控管理

3.3.4.1 基线管理

3.3.4.2 基线告警

3.3.4.3 数据质量告警

3.3.5 数据管理

3.3.5.1 全局概览

3.3.5.2 元数据管理

3.3.5.3 数据权限

3.3.5.4 数据质量

3.3.5.5 数据目录

3.3.5.6 术语项管理

3.3.6 项目信息

4. 案例实战

4.1 背景介绍

4.2 数据开发流程介绍

4.3 开发

4.3.1 数据纬度(DIM)

4.3.2 原始数据层(ODS)

4.3.3 数据仓库层(DWD)

4.3.4 数据标签层(TDM)

4.3.5 数据应用层(ADM)

4.3.6 配置基线

4.4 发布

4.5 运维

4.6 数据管理

4.6.1 配置数据质量

4.6.2 配置生命周期

4.6.3 查看数据血缘

5. 常见问题(FAQ)

5.1 平台推荐使用哪种浏览器？

5.2 任务一直卡在调度中怎么处理？

5.3 创建资源时提示名称重复

5.4 SQL代码检查通过了，运行却报错

5.5 如何创建全局变量？

5.6 代码中的参数未定义在运行参数中

5.7 什么任务可以被设为上游任务？

5.8 代码如何批量注释？

6. 联系我们

- 1. 1.1 1.1.1 1.1.2 1.1.3 1.2 2. 2.1 2.2 2.3 2.3.1 2.3.3 2.3.4 2.3.5 2.3.6 3. 3.1 3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.1.6 3.1.6.1 3.1.6.2 3.1.6.3 3.1.6.4 3.2 3.2.1 3.2.2 3.2.3 3.2.4 3.2.4.1 3.2.4.2 3.2.4.3 3.2.4.4 3.2.4.5 3.2.4.6 3.2.4.7 3.2.5

3.2.6 3.2.7 3.2.8 3.2.9 3.2.10 3.2.11 3.2.11.1 Shell 3.2.11.2 3.2.11.3 Hive 3.2.11.4 SparkSQL 3.2.11.5 Python 3.2.11.6 PySpark 3.2.11.7 Spark 3.2.11.8 Presto 3.2.11.9 FlinkSQL 3.2.11.10 Flink 3.3 3.3.1 3.3.2 3.3.2.1 3.3.2.2 3.3.2.3 3.3.2.4 3.3.3 3.3.4 3.3.4.1 3.3.4.2 3.3.4.3 3.3.5 3.3.5.1 3.3.5.2 3.3.5.3 3.3.5.4 3.3.5.5 3.3.5.6 3.3.6 4. 4.1 4.2 4.3 4.3.1 (DIM) 4.3.2 (ODS) 4.3.3 (DWD) 4.3.4 (TDM) 4.3.5 (ADM) 4.3.6 4.4 4.5 4.6

4.6.1 4.6.2 4.6.3 5. (FAQ) 5.1 5.2 5.3 5.4 SQL 5.5 5.6 5.7 5.8 6. : 2018-06-19 1. 1.1 HadoopSparkFlinkPresto PB“" 1.1.1 1.1.2 1.1.3 1.2 (Project) estateﬁnance : shuxi_demo

HiveYarn Hadoop shuxi_demo(shuxi_demo_dev) (shuxi_demo_prd) (Flow) (DAG) (Task)ShellHiveSparkPrestoFlink11 (Resource) : jartxtpython (Function)HiveSparkPrestoFlink Hive(User Deﬁned FunctionUDF) HiveSparkSQL (Instance) (Waiting)(Running)(Finished) AID: T_630_20180301115903046_1 T_630_20180301120009801_1

2. quick_start Hive 2.1 1. (www.dtwave.com) 2. shuxi_demo 3. 2-1-1

4. 2-1-2 1 2.2 1 2.3 2-3-1

2.3.1 2-3-2 : ID"," student_info.txtstudent_info.txt 1,,23,50 2,,25,60 3,,22,55 4,,21,50 5,,22,56 6,,23,51 2.3.3 1. : quick_start2-3-4

2. 2-3-4 quick_start student_info txtstudent_info.txt 2-3-5: 2.3.4 1. 2-3-5 “+” quick_start

分享到：

赞收藏

资料库

数栖平台V3.0-帮助文档.pdf

相关推荐

大数据

热门标签

最新资料