logo资料库

华为智能数据湖运营平台DAYU用户指南.pdf

发布时间：2022-06-02 发布人：admin 分类：说明书 资料大小：17.55M 资料格式：pdf 举报 版权申诉
第1页 / 共802页
第2页 / 共802页
第3页 / 共802页
第4页 / 共802页
第5页 / 共802页
第6页 / 共802页
第7页 / 共802页
第8页 / 共802页
资料共802页，剩余部分请下载后查看
    目 录
    1 DAYU使用简介
    2 管理工作空间
    2.1 空间管理
    2.2 修改作业日志存储路径
    2.3 成员管理
    3 准备数据源
    4 管理中心
    4.1 DAYU支持的数据源
    4.2 创建数据连接
    4.3 资源迁移
    5 数据集成
    5.1 批量数据迁移
    5.1.1 批量数据迁移概述
    5.1.2 支持的数据源
    5.1.3 新建连接
    5.1.3.1 新建连接
    5.1.3.2 管理驱动
    5.1.3.3 编辑/删除连接
    5.1.3.4 配置Hive连接
    5.1.3.5 配置CloudTable连接
    5.1.3.6 配置FTP/SFTP连接
    5.1.3.7 配置NAS/SFS连接
    5.1.3.8 配置MongoDB连接
    5.1.3.9 配置DDS连接
    5.1.3.10 配置Redis/DCS连接
    5.1.3.11 配置Kafka连接
    5.1.3.12 配置DIS连接
    5.1.3.13 配置Elasticsearch/云搜索服务（CSS）连接
    5.1.3.14 配置DLI连接
    5.1.3.15 配置CloudTable OpenTSDB连接
    5.1.3.16 配置DMS Kafka连接
    5.1.3.17 配置HBase连接
    5.1.3.18 配置HDFS连接
    5.1.3.19 配置亚马逊对象存储S3连接
    5.1.3.20 配置七牛云KODO/腾讯云COS连接
    5.1.3.21 配置阿里云OSS连接
    5.1.3.22 配置关系数据库连接
    5.1.3.23 配置OBS连接
    5.1.4 新建表/文件迁移作业
    5.1.5 配置作业源端参数
    5.1.5.1 配置对象存储源端参数
    5.1.5.2 配置HDFS源端参数
    5.1.5.3 配置HBase/CloudTable源端参数
    5.1.5.4 配置Hive源端参数
    5.1.5.5 配置FTP/SFTP/NAS/SFS源端参数
    5.1.5.6 配置HTTP/HTTPS源端参数
    5.1.5.7 配置关系数据库源端参数
    5.1.5.8 配置MongoDB/DDS源端参数
    5.1.5.9 配置Redis源端参数
    5.1.5.10 配置DIS源端参数
    5.1.5.11 配置Apache Kafka/DMS Kafka源端参数
    5.1.5.12 配置Elasticsearch或云搜索服务源端参数
    5.1.5.13 配置OpenTSDB源端参数
    5.1.6 配置作业目的端参数
    5.1.6.1 配置OBS目的端参数
    5.1.6.2 配置HDFS目的端参数
    5.1.6.3 配置HBase/CloudTable目的端参数
    5.1.6.4 配置Hive目的端参数
    5.1.6.5 配置FTP/SFTP/NAS/SFS目的端参数
    5.1.6.6 配置关系数据库目的端参数
    5.1.6.7 配置DDS目的端参数
    5.1.6.8 配置DCS目的端参数
    5.1.6.9 配置Elasticsearch或云搜索服务目的端参数
    5.1.6.10 配置DLI目的端参数
    5.1.6.11 配置DIS目的端参数
    5.1.6.12 配置OpenTSDB目的端参数
    5.1.7 整库迁移
    5.1.8 场景迁移
    5.1.9 增量迁移
    5.1.9.1 文件增量迁移
    5.1.9.2 关系数据库增量迁移
    5.1.9.3 使用时间宏变量完成增量同步
    5.1.9.4 HBase/CloudTable增量迁移
    5.1.10 管理作业
    5.1.10.1 配置定时任务
    5.1.10.2 作业配置管理
    5.1.10.3 管理单个作业
    5.1.10.4 批量管理作业
    5.1.10.5 Agent管理
    5.1.11 管理集群
    5.1.11.1 解绑/绑定集群的EIP
    5.1.11.2 修改集群配置
    5.1.11.3 查看集群配置/日志/监控数据
    5.1.12 典型数据迁移场景
    5.1.12.1 云上从DDS数据迁移到DWS
    5.1.12.2 云上从OBS数据迁移到云搜索服务
    5.1.12.3 云上从OBS数据迁移到DLI服务
    5.1.12.4 Redis数据库迁移到云上DCS服务
    5.1.12.5 Oracle数据库迁移到云搜索服务
    5.1.12.6 MySQL数据库迁移到云上MRS Hive分区表
    5.1.12.7 MySQL数据库迁移到云上DDM服务
    5.1.12.8 OSS文件迁移到OBS服务
    5.1.12.9 OSS文件迁移到SFS服务
    5.1.12.10 FTP/SFTP文件增量迁移到云上OBS服务
    5.1.12.11 通过数据开发实现数据增量迁移
    5.1.12.12 MySQL整库迁移到云上RDS服务
    5.1.12.13 Elasticsearch整库迁移到云搜索服务
    5.1.13 进阶指导
    5.1.13.1 事务模式迁移
    5.1.13.2 迁移文件时加解密
    5.1.13.3 MD5校验文件一致性
    5.1.13.4 字段转换
    5.1.13.5 文件列表迁移
    5.1.13.6 正则表达式分隔半结构化文本
    5.1.13.7 文件格式介绍
    5.1.14 监控
    5.1.14.1 支持的监控指标
    5.1.14.2 设置告警规则
    5.1.14.3 查看监控指标
    5.1.15 故障处理
    5.1.15.1 日志提示解析日期格式失败时怎么处理？
    5.1.15.2 字段映射界面无法显示所有列怎么处理？
    5.1.15.3 CDM迁移数据到DWS时如何选取分布列？
    5.1.15.4 迁移到DWS时出现value too long for type character varying怎么处理？
    5.1.15.5 OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
    5.2 实时数据接入
    5.2.1 实时数据接入概述
    5.2.2 实时数据接入支持的数据源
    5.2.3 实时数据接入快速入门
    5.2.4 管理通道
    5.2.4.1 查看通道监控信息
    5.2.4.2 变更源数据类型
    5.2.4.3 管理源数据Schema
    5.2.4.4 管理通道标签
    5.2.4.5 管理App
    5.2.4.6 授权管理
    5.2.4.7 弹性伸缩分区
    5.2.5 使用Agent上传数据
    5.2.5.1 DIS Agent概述
    5.2.5.2 安装前准备
    5.2.5.3 安装DIS Agent
    5.2.5.4 配置DIS Agent
    5.2.5.5 启动DIS Agent
    5.2.5.6 验证DIS Agent
    5.2.5.7 停止DIS Agent
    5.2.6 使用DIS Flume Plugin上传与下载数据
    5.2.6.1 DIS Flume Plugin概述
    5.2.6.2 安装DIS Flume Plugin前准备
    5.2.6.3 安装Plugin
    5.2.6.4 配置Plugin
    5.2.6.5 验证Plugin
    5.2.6.6 卸载Plugin(可选)
    5.2.7 使用DIS Logstash Plugin上传与下载数据
    5.2.7.1 DIS Logstash Plugin概述
    5.2.7.2 安装DIS Logstash Plugin前准备
    5.2.7.3 安装DIS Logstash Plugin
    5.2.7.4 在线安装DIS Logstash Plugin
    5.2.7.5 离线安装DIS Logstash Plugin
    5.2.7.6 配置DIS Logstash Plugin
    5.2.7.7 验证DIS Logstash Plugin
    5.2.7.8 卸载DIS Logstash Plugin(可选)
    5.2.8 使用Kafka Adapter上传与下载数据
    5.2.8.1 Kafka Adapter概述
    5.2.8.2 准备环境
    5.2.8.3 上传数据
    5.2.8.4 下载数据
    5.2.8.5 数据下载的消费模式
    5.2.8.6 下载数据之消费位移
    5.2.8.7 与原生KafkaConsumer接口适配说明
    5.2.9 使用DIS Spark Streaming下载数据
    5.2.9.1 DIS Spark Streaming概述
    5.2.9.2 准备DIS Spark Streaming的相关环境
    5.2.9.3 自定义SparkStreaming作业
    5.2.10 转储通道数据到云服务
    5.2.10.1 新增转储任务
    5.2.10.2 转储至OBS
    5.2.10.3 转储至DLI
    5.2.10.4 转储至DWS
    5.2.10.5 转储至MRS
    5.2.10.6 转储至CloudTable
    5.2.11 事件通知
    5.2.11.1 事件通知概述
    5.2.11.2 订阅事件通知
    5.2.11.3 查看事件
    6 规范设计
    6.1 规范设计概述
    6.2 总览
    6.3 添加审核人
    6.4 信息架构
    6.5 流程设计
    6.6 主题设计
    6.7 码表管理
    6.8 数据标准
    6.9 关系建模
    6.9.1 逻辑模型设计
    6.9.2 物理模型设计
    6.9.3 逆向数据库
    6.9.4 关联质量规则
    6.9.5 导入导出模型
    6.9.6 查看表
    6.9.7 批量修改主题/目录/流程
    6.10 维度建模
    6.10.1 新建维度
    6.10.2 管理维度表
    6.10.3 新建事实表
    6.10.4 新建汇总表
    6.10.5 逆向数据库
    6.11 业务指标
    6.12 技术指标
    6.12.1 新建原子指标
    6.12.2 新建时间限定
    6.12.3 新建衍生指标
    6.12.4 新建复合指标
    6.13 审核中心
    6.14 配置中心
    7 数据开发
    7.1 数据开发概述
    7.2 数据管理
    7.2.1 新建数据库
    7.2.2 编辑数据库
    7.2.3 删除数据库
    7.2.4 新建数据库模式
    7.2.5 修改数据库模式
    7.2.6 删除数据库模式
    7.2.7 新建数据表（可视化模式）
    7.2.8 新建数据表（DDL模式）
    7.2.9 查看表详情
    7.2.10 删除数据表
    7.2.11 查看数据表列详情
    7.3 脚本开发
    7.3.1 新建脚本
    7.3.2 开发SQL脚本
    7.3.3 开发Shell脚本
    7.3.4 重命名脚本
    7.3.5 移动脚本
    7.3.6 导出导入脚本
    7.3.7 删除脚本
    7.3.8 复制脚本
    7.4 作业开发
    7.4.1 作业开发概述
    7.4.2 新建作业
    7.4.3 开发作业
    7.4.4 重命名作业
    7.4.5 移动作业
    7.4.6 导出导入作业
    7.4.7 删除作业
    7.4.8 复制作业
    7.5 节点
    7.5.1 节点概述
    7.5.2 节点血缘
    7.5.3 CDM Job
    7.5.4 DIS Stream
    7.5.5 DIS Dump
    7.5.6 DIS Client
    7.5.7 Rest Client
    7.5.8 Import GES
    7.5.9 MRS Kafka
    7.5.10 Kafka Client
    7.5.11 CS Job
    7.5.12 DLI SQL
    7.5.13 DLI Spark
    7.5.14 DLI Flink Job
    7.5.15 DWS SQL
    7.5.16 MRS SparkSQL
    7.5.17 MRS Hive SQL
    7.5.18 MRS Spark
    7.5.19 MRS Spark Python
    7.5.20 MRS Flink Job
    7.5.21 MRS MapReduce
    7.5.22 CSS
    7.5.23 Shell
    7.5.24 RDS SQL
    7.5.25 ETL Job
    7.5.26 OCR
    7.5.27 Create OBS
    7.5.28 Delete OBS
    7.5.29 OBS Manager
    7.5.30 Open/Close Resource
    7.5.31 CloudTableManager
    7.5.32 Sub Job
    7.5.33 SMN
    7.5.34 Dummy
    7.5.35 For Each
    7.6 表达式
    7.6.1 表达式概述
    7.6.2 日期和时间模式
    7.6.3 Env内嵌对象
    7.6.4 Job内嵌对象
    7.6.5 StringUtil内嵌对象
    7.6.6 DateUtil内嵌对象
    7.6.7 JSONUtil内嵌对象
    7.6.8 Loop内嵌对象
    7.6.9 OBSUtil内嵌对象
    7.6.10 表达式使用示例
    7.7 解决方案
    7.8 运维调度
    7.8.1 运维概览
    7.8.2 批作业监控
    7.8.3 实时作业监控
    7.8.4 实时子作业监控
    7.8.5 实例监控
    7.8.6 补数据监控
    7.8.7 管理通知
    7.8.8 通知周期概览
    7.8.9 备份和还原资产
    7.9 配置管理
    7.9.1 主机连接管理
    7.9.2 资源管理
    7.9.3 配置环境变量
    7.9.4 管理作业标签
    7.9.5 配置委托
    7.10 使用教程
    7.10.1 开发一个Spark作业
    7.10.2 开发一个Hive SQL脚本
    7.10.3 跨空间作业依赖调度
    7.10.4 For Each算子教程
    7.10.5 IF条件判断
    8 数据安全（公测）
    8.1 简介
    8.2 总览
    8.3 访问权限管理
    8.3.1 简介
    8.3.2 查看MRS Ranger集群列表
    8.3.3 配置资源权限
    8.3.4 查看权限报告
    8.4 敏感数据识别
    8.4.1 简介
    8.4.2 定义数据密级
    8.4.3 定义识别规则
    8.4.4 定义识别规则组
    8.4.5 发现敏感数据
    8.4.6 查看敏感数据分布
    8.5 隐私保护管理
    8.5.1 简介
    8.5.2 管理脱敏策略
    8.5.3 管理静态脱敏任务
    8.5.4 嵌入数据水印
    8.5.5 溯源数据水印
    8.6 合规审计
    8.6.1 授权审计
    8.6.2 鉴权审计
    9 数据质量
    9.1 业务指标监控
    9.1.1 新建指标
    9.1.2 新建规则
    9.1.3 新建业务场景
    9.1.4 运维管理
    9.2 数据质量监控
    9.2.1 数据质量概述
    9.2.2 新建规则模板
    9.2.3 新建质量作业
    9.2.4 新建对账作业
    9.2.5 查看规则实例
    10 数据资产
    10.1 数据地图
    10.1.1 简介
    10.1.2 总览
    10.1.3 数据目录
    10.1.4 标签管理
    10.2 数据权限
    10.2.1 简介
    10.2.2 数据目录权限
    10.2.3 数据表权限
    10.2.4 审批中心
    10.3 数据安全
    10.3.1 简介
    10.3.2 数据密级
    10.3.3 数据分类
    10.3.4 脱敏策略
    10.4 元数据采集
    10.4.1 简介
    10.4.2 任务管理
    10.4.3 任务监控
    11 数据服务
    11.1 数据服务概览
    11.2 共享版本与专享版数据服务的对比
    11.3 名词解释
    11.4 新建审核人
    11.5 生成API
    11.5.1 功能概览
    11.5.2 购买专享版集群
    11.5.3 向导模式生成API
    11.5.4 脚本模式生成API
    11.6 注册API
    11.7 调试API
    11.8 授权API
    11.9 发布API
    11.10 审核API
    11.11 下线API
    11.12 删除API
    11.13 调用API
    11.14 运营API
    11.14.1 流量控制
    11.15 资源迁移
    A 修订记录
    DAYU 用户指南 文档版本 发布日期 01 2020-11-19 华为技术有限公司
    版权所有 © 华为技术有限公司 2020。 保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声 明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 i
    DAYU 用户指南 目 录 目 录 1 DAYU 使用简介.......................................................................................................................... 1 2 管理工作空间.............................................................................................................................. 3 2.1 空间管理......................................................................................................................................................................................3 2.2 修改作业日志存储路径............................................................................................................................................................6 2.3 成员管理......................................................................................................................................................................................7 3 准备数据源.................................................................................................................................. 9 4 管理中心....................................................................................................................................10 4.1 DAYU 支持的数据源.............................................................................................................................................................. 10 4.2 创建数据连接...........................................................................................................................................................................12 4.3 资源迁移................................................................................................................................................................................... 23 5 数据集成....................................................................................................................................25 5.1 批量数据迁移...........................................................................................................................................................................25 5.1.1 批量数据迁移概述.............................................................................................................................................................. 25 5.1.2 支持的数据源....................................................................................................................................................................... 27 5.1.3 新建连接................................................................................................................................................................................ 30 5.1.3.1 新建连接............................................................................................................................................................................ 30 5.1.3.2 管理驱动............................................................................................................................................................................ 33 5.1.3.3 编辑/删除连接.................................................................................................................................................................. 35 5.1.3.4 配置 Hive 连接................................................................................................................................................................. 35 5.1.3.5 配置 CloudTable 连接.................................................................................................................................................... 39 5.1.3.6 配置 FTP/SFTP 连接........................................................................................................................................................39 5.1.3.7 配置 NAS/SFS 连接......................................................................................................................................................... 40 5.1.3.8 配置 MongoDB 连接...................................................................................................................................................... 40 5.1.3.9 配置 DDS 连接..................................................................................................................................................................41 5.1.3.10 配置 Redis/DCS 连接....................................................................................................................................................41 5.1.3.11 配置 Kafka 连接............................................................................................................................................................ 42 5.1.3.12 配置 DIS 连接................................................................................................................................................................. 42 5.1.3.13 配置 Elasticsearch/云搜索服务（CSS）连接........................................................................................................ 43 5.1.3.14 配置 DLI 连接................................................................................................................................................................. 44 5.1.3.15 配置 CloudTable OpenTSDB 连接........................................................................................................................... 44 5.1.3.16 配置 DMS Kafka 连接..................................................................................................................................................45 5.1.3.17 配置 HBase 连接........................................................................................................................................................... 45 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 ii
    DAYU 用户指南 目 录 5.1.3.18 配置 HDFS 连接.............................................................................................................................................................48 5.1.3.19 配置亚马逊对象存储 S3 连接.....................................................................................................................................51 5.1.3.20 配置七牛云 KODO/腾讯云 COS 连接...................................................................................................................... 52 5.1.3.21 配置阿里云 OSS 连接...................................................................................................................................................52 5.1.3.22 配置关系数据库连接.................................................................................................................................................... 53 5.1.3.23 配置 OBS 连接............................................................................................................................................................... 55 5.1.4 新建表/文件迁移作业........................................................................................................................................................ 56 5.1.5 配置作业源端参数.............................................................................................................................................................. 65 5.1.5.1 配置对象存储源端参数.................................................................................................................................................. 65 5.1.5.2 配置 HDFS 源端参数...................................................................................................................................................... 69 5.1.5.3 配置 HBase/CloudTable 源端参数..............................................................................................................................73 5.1.5.4 配置 Hive 源端参数.........................................................................................................................................................74 5.1.5.5 配置 FTP/SFTP/NAS/SFS 源端参数............................................................................................................................ 75 5.1.5.6 配置 HTTP/HTTPS 源端参数........................................................................................................................................ 78 5.1.5.7 配置关系数据库源端参数.............................................................................................................................................. 80 5.1.5.8 配置 MongoDB/DDS 源端参数................................................................................................................................... 83 5.1.5.9 配置 Redis 源端参数....................................................................................................................................................... 84 5.1.5.10 配置 DIS 源端参数........................................................................................................................................................ 84 5.1.5.11 配置 Apache Kafka/DMS Kafka 源端参数............................................................................................................ 85 5.1.5.12 配置 Elasticsearch 或云搜索服务源端参数............................................................................................................ 86 5.1.5.13 配置 OpenTSDB 源端参数.......................................................................................................................................... 86 5.1.6 配置作业目的端参数.......................................................................................................................................................... 87 5.1.6.1 配置 OBS 目的端参数..................................................................................................................................................... 87 5.1.6.2 配置 HDFS 目的端参数.................................................................................................................................................. 92 5.1.6.3 配置 HBase/CloudTable 目的端参数......................................................................................................................... 95 5.1.6.4 配置 Hive 目的端参数.................................................................................................................................................... 96 5.1.6.5 配置 FTP/SFTP/NAS/SFS 目的端参数........................................................................................................................ 98 5.1.6.6 配置关系数据库目的端参数....................................................................................................................................... 101 5.1.6.7 配置 DDS 目的端参数.................................................................................................................................................. 104 5.1.6.8 配置 DCS 目的端参数...................................................................................................................................................104 5.1.6.9 配置 Elasticsearch 或云搜索服务目的端参数........................................................................................................105 5.1.6.10 配置 DLI 目的端参数..................................................................................................................................................106 5.1.6.11 配置 DIS 目的端参数..................................................................................................................................................106 5.1.6.12 配置 OpenTSDB 目的端参数................................................................................................................................... 107 5.1.7 整库迁移............................................................................................................................................................................. 107 5.1.8 场景迁移............................................................................................................................................................................. 115 5.1.9 增量迁移............................................................................................................................................................................. 120 5.1.9.1 文件增量迁移................................................................................................................................................................. 120 5.1.9.2 关系数据库增量迁移.................................................................................................................................................... 123 5.1.9.3 使用时间宏变量完成增量同步................................................................................................................................... 126 5.1.9.4 HBase/CloudTable 增量迁移..................................................................................................................................... 130 5.1.10 管理作业........................................................................................................................................................................... 130 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 iii
    DAYU 用户指南 目 录 5.1.10.1 配置定时任务............................................................................................................................................................... 130 5.1.10.2 作业配置管理............................................................................................................................................................... 134 5.1.10.3 管理单个作业............................................................................................................................................................... 135 5.1.10.4 批量管理作业............................................................................................................................................................... 137 5.1.10.5 Agent 管理................................................................................................................................................................... 139 5.1.11 管理集群........................................................................................................................................................................... 142 5.1.11.1 解绑/绑定集群的 EIP..................................................................................................................................................142 5.1.11.2 修改集群配置............................................................................................................................................................... 143 5.1.11.3 查看集群配置/日志/监控数据................................................................................................................................. 145 5.1.12 典型数据迁移场景..........................................................................................................................................................146 5.1.12.1 云上从 DDS 数据迁移到 DWS.................................................................................................................................147 5.1.12.2 云上从 OBS 数据迁移到云搜索服务...................................................................................................................... 151 5.1.12.3 云上从 OBS 数据迁移到 DLI 服务.......................................................................................................................... 155 5.1.12.4 Redis 数据库迁移到云上 DCS 服务........................................................................................................................160 5.1.12.5 Oracle 数据库迁移到云搜索服务........................................................................................................................... 165 5.1.12.6 MySQL 数据库迁移到云上 MRS Hive 分区表.....................................................................................................169 5.1.12.7 MySQL 数据库迁移到云上 DDM 服务..................................................................................................................177 5.1.12.8 OSS 文件迁移到 OBS 服务....................................................................................................................................... 187 5.1.12.9 OSS 文件迁移到 SFS 服务........................................................................................................................................ 192 5.1.12.10 FTP/SFTP 文件增量迁移到云上 OBS 服务.........................................................................................................197 5.1.12.11 通过数据开发实现数据增量迁移..........................................................................................................................202 5.1.12.12 MySQL 整库迁移到云上 RDS 服务...................................................................................................................... 211 5.1.12.13 Elasticsearch 整库迁移到云搜索服务................................................................................................................. 216 5.1.13 进阶指导........................................................................................................................................................................... 219 5.1.13.1 事务模式迁移............................................................................................................................................................... 219 5.1.13.2 迁移文件时加解密...................................................................................................................................................... 220 5.1.13.3 MD5 校验文件一致性................................................................................................................................................223 5.1.13.4 字段转换....................................................................................................................................................................... 225 5.1.13.5 文件列表迁移............................................................................................................................................................... 232 5.1.13.6 正则表达式分隔半结构化文本................................................................................................................................ 233 5.1.13.7 文件格式介绍............................................................................................................................................................... 237 5.1.14 监控....................................................................................................................................................................................244 5.1.14.1 支持的监控指标.......................................................................................................................................................... 245 5.1.14.2 设置告警规则............................................................................................................................................................... 246 5.1.14.3 查看监控指标............................................................................................................................................................... 246 5.1.15 故障处理........................................................................................................................................................................... 248 5.1.15.1 日志提示解析日期格式失败时怎么处理？...........................................................................................................248 5.1.15.2 字段映射界面无法显示所有列怎么处理？...........................................................................................................250 5.1.15.3 CDM 迁移数据到 DWS 时如何选取分布列？..................................................................................................... 254 5.1.15.4 迁移到 DWS 时出现 value too long for type character varying 怎么处理？.......................................... 255 5.1.15.5 OBS 导入数据到 SQL Server 时出现 Unable to execute the SQL statement 怎么处理？...................256 5.2 实时数据接入........................................................................................................................................................................ 257 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 iv
    DAYU 用户指南 目 录 5.2.1 实时数据接入概述............................................................................................................................................................ 257 5.2.2 实时数据接入支持的数据源...........................................................................................................................................257 5.2.3 实时数据接入快速入门................................................................................................................................................... 258 5.2.4 管理通道............................................................................................................................................................................. 267 5.2.4.1 查看通道监控信息.........................................................................................................................................................268 5.2.4.2 变更源数据类型............................................................................................................................................................. 269 5.2.4.3 管理源数据 Schema..................................................................................................................................................... 270 5.2.4.4 管理通道标签................................................................................................................................................................. 272 5.2.4.5 管理 App..........................................................................................................................................................................274 5.2.4.6 授权管理.......................................................................................................................................................................... 275 5.2.4.7 弹性伸缩分区................................................................................................................................................................. 276 5.2.5 使用 Agent 上传数据.......................................................................................................................................................277 5.2.5.1 DIS Agent 概述..............................................................................................................................................................277 5.2.5.2 安装前准备......................................................................................................................................................................278 5.2.5.3 安装 DIS Agent..............................................................................................................................................................280 5.2.5.4 配置 DIS Agent..............................................................................................................................................................280 5.2.5.5 启动 DIS Agent..............................................................................................................................................................285 5.2.5.6 验证 DIS Agent..............................................................................................................................................................286 5.2.5.7 停止 DIS Agent..............................................................................................................................................................288 5.2.6 使用 DIS Flume Plugin 上传与下载数据................................................................................................................... 288 5.2.6.1 DIS Flume Plugin 概述................................................................................................................................................289 5.2.6.2 安装 DIS Flume Plugin 前准备................................................................................................................................. 289 5.2.6.3 安装 Plugin..................................................................................................................................................................... 290 5.2.6.4 配置 Plugin..................................................................................................................................................................... 290 5.2.6.5 验证 Plugin..................................................................................................................................................................... 294 5.2.6.6 卸载 Plugin(可选)......................................................................................................................................................... 296 5.2.7 使用 DIS Logstash Plugin 上传与下载数据.............................................................................................................. 296 5.2.7.1 DIS Logstash Plugin 概述.......................................................................................................................................... 296 5.2.7.2 安装 DIS Logstash Plugin 前准备............................................................................................................................ 297 5.2.7.3 安装 DIS Logstash Plugin.......................................................................................................................................... 298 5.2.7.4 在线安装 DIS Logstash Plugin..................................................................................................................................298 5.2.7.5 离线安装 DIS Logstash Plugin..................................................................................................................................299 5.2.7.6 配置 DIS Logstash Plugin.......................................................................................................................................... 300 5.2.7.7 验证 DIS Logstash Plugin.......................................................................................................................................... 302 5.2.7.8 卸载 DIS Logstash Plugin(可选).............................................................................................................................. 303 5.2.8 使用 Kafka Adapter 上传与下载数据......................................................................................................................... 303 5.2.8.1 Kafka Adapter 概述..................................................................................................................................................... 303 5.2.8.2 准备环境.......................................................................................................................................................................... 303 5.2.8.3 上传数据.......................................................................................................................................................................... 305 5.2.8.4 下载数据.......................................................................................................................................................................... 309 5.2.8.5 数据下载的消费模式.................................................................................................................................................... 309 5.2.8.6 下载数据之消费位移.................................................................................................................................................... 316 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 v
    DAYU 用户指南 目 录 5.2.8.7 与原生 KafkaConsumer 接口适配说明................................................................................................................... 317 5.2.9 使用 DIS Spark Streaming 下载数据..........................................................................................................................320 5.2.9.1 DIS Spark Streaming 概述.........................................................................................................................................320 5.2.9.2 准备 DIS Spark Streaming 的相关环境.................................................................................................................. 321 5.2.9.3 自定义 SparkStreaming 作业.................................................................................................................................... 322 5.2.10 转储通道数据到云服务................................................................................................................................................. 327 5.2.10.1 新增转储任务............................................................................................................................................................... 327 5.2.10.2 转储至 OBS.................................................................................................................................................................. 329 5.2.10.3 转储至 DLI.................................................................................................................................................................... 336 5.2.10.4 转储至 DWS................................................................................................................................................................. 337 5.2.10.5 转储至 MRS..................................................................................................................................................................340 5.2.10.6 转储至 CloudTable..................................................................................................................................................... 343 5.2.11 事件通知........................................................................................................................................................................... 347 5.2.11.1 事件通知概述............................................................................................................................................................... 347 5.2.11.2 订阅事件通知............................................................................................................................................................... 348 5.2.11.3 查看事件....................................................................................................................................................................... 350 6 规范设计................................................................................................................................. 351 6.1 规范设计概述........................................................................................................................................................................ 351 6.2 总览......................................................................................................................................................................................... 354 6.3 添加审核人............................................................................................................................................................................ 355 6.4 信息架构................................................................................................................................................................................. 356 6.5 流程设计................................................................................................................................................................................. 358 6.6 主题设计................................................................................................................................................................................. 362 6.7 码表管理................................................................................................................................................................................. 365 6.8 数据标准................................................................................................................................................................................. 375 6.9 关系建模................................................................................................................................................................................. 382 6.9.1 逻辑模型设计.....................................................................................................................................................................382 6.9.2 物理模型设计.....................................................................................................................................................................389 6.9.3 逆向数据库......................................................................................................................................................................... 399 6.9.4 关联质量规则.....................................................................................................................................................................401 6.9.5 导入导出模型.....................................................................................................................................................................405 6.9.6 查看表..................................................................................................................................................................................412 6.9.7 批量修改主题/目录/流程................................................................................................................................................ 415 6.10 维度建模.............................................................................................................................................................................. 416 6.10.1 新建维度........................................................................................................................................................................... 416 6.10.2 管理维度表.......................................................................................................................................................................422 6.10.3 新建事实表.......................................................................................................................................................................426 6.10.4 新建汇总表.......................................................................................................................................................................434 6.10.5 逆向数据库.......................................................................................................................................................................442 6.11 业务指标.............................................................................................................................................................................. 444 6.12 技术指标.............................................................................................................................................................................. 448 6.12.1 新建原子指标.................................................................................................................................................................. 448 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 vi
    DAYU 用户指南 目 录 6.12.2 新建时间限定.................................................................................................................................................................. 451 6.12.3 新建衍生指标.................................................................................................................................................................. 453 6.12.4 新建复合指标.................................................................................................................................................................. 457 6.13 审核中心.............................................................................................................................................................................. 460 6.14 配置中心.............................................................................................................................................................................. 463 7 数据开发................................................................................................................................. 470 7.1 数据开发概述........................................................................................................................................................................ 470 7.2 数据管理................................................................................................................................................................................. 471 7.2.1 新建数据库......................................................................................................................................................................... 471 7.2.2 编辑数据库......................................................................................................................................................................... 472 7.2.3 删除数据库......................................................................................................................................................................... 472 7.2.4 新建数据库模式................................................................................................................................................................ 472 7.2.5 修改数据库模式................................................................................................................................................................ 473 7.2.6 删除数据库模式................................................................................................................................................................ 473 7.2.7 新建数据表（可视化模式）...........................................................................................................................................474 7.2.8 新建数据表（DDL 模式）.............................................................................................................................................. 479 7.2.9 查看表详情......................................................................................................................................................................... 480 7.2.10 删除数据表.......................................................................................................................................................................480 7.2.11 查看数据表列详情..........................................................................................................................................................480 7.3 脚本开发................................................................................................................................................................................. 481 7.3.1 新建脚本............................................................................................................................................................................. 481 7.3.2 开发 SQL 脚本................................................................................................................................................................... 483 7.3.3 开发 Shell 脚本..................................................................................................................................................................486 7.3.4 重命名脚本......................................................................................................................................................................... 488 7.3.5 移动脚本............................................................................................................................................................................. 490 7.3.6 导出导入脚本.....................................................................................................................................................................492 7.3.7 删除脚本............................................................................................................................................................................. 493 7.3.8 复制脚本............................................................................................................................................................................. 494 7.4 作业开发................................................................................................................................................................................. 494 7.4.1 作业开发概述.....................................................................................................................................................................495 7.4.2 新建作业............................................................................................................................................................................. 496 7.4.3 开发作业............................................................................................................................................................................. 497 7.4.4 重命名作业......................................................................................................................................................................... 504 7.4.5 移动作业............................................................................................................................................................................. 505 7.4.6 导出导入作业.....................................................................................................................................................................507 7.4.7 删除作业............................................................................................................................................................................. 510 7.4.8 复制作业............................................................................................................................................................................. 510 7.5 节点......................................................................................................................................................................................... 511 7.5.1 节点概述............................................................................................................................................................................. 511 7.5.2 节点血缘............................................................................................................................................................................. 511 7.5.3 CDM Job............................................................................................................................................................................. 515 7.5.4 DIS Stream.........................................................................................................................................................................519 文档版本 01 (2020-11-19) 版权所有 © 华为技术有限公司 vii
    分享到：
    赞 收藏

    相关推荐

    资料库

    行业

    共收录7266份资料，累计15个分类，关注成员有19位，主要包括：物流,旅游,餐饮零售,网络游戏,咨询,金融,电子政务,外包,教育,制造,医疗,嵌入式,互联网,交通,电信

    热门标签

    物流 旅游 餐饮零售 网络游戏 咨询 金融 电子政务 外包 教育 制造 医疗 嵌入式 互联网 交通 电信

    最新资料