Cloudera-数据云-一站式DataOps自助开发.pdf

发布时间：2022-06-03 发布人：admin 分类：说明书资料大小：4.12M 资料格式：pdf 举报版权申诉

u011270461-12670969-16359647455553131643.pdf-第1页.png

第1页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第2页.png

第2页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第3页.png

第3页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第4页.png

第4页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第5页.png

第5页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第6页.png

第6页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第7页.png

第7页 / 共49页

u011270461-12670969-16359647455553131643.pdf-第8页.png

第8页 / 共49页

文本预览

数据云 - 一站式自助DataOps

业务数据化：简化的一站式自助服务自助数据工厂，让用户轻松完成数据采集，数据建模，数据开发，作业调度，运维监控等多项任务数据开发一站式的在线数据开发平台，实现数据抽取、加工、分析、挖掘等处理，从而发现数据的价值。任务调度提供灵活可扩展的任务调度方式，支持分布式调度、可视化调度监控能力多源数据快速对接复杂数据源兼容能力，可满足多终端、多形态、多业务的全域数据同步需求。规范的数据建模规范化数据定义、数据模型定义和ETL开发，实现“按需做规划，未来可扩展”的数据仓库模型。自助式数据探索 ✓ 支持多种数据源的数据检索 ✓ 内置多中类型函数，会展示函数的分类、函数的使用说明 ✓ 支持结果导出到本地和导出到表测试投产管控 ✓ 开发到测试到生产的DevOps，基于敏捷开发的任务发布过程 ✓ 采集测试日志和运行指标，自动生成测试报告 ✓ 发布任务统一运维监控 © 2019 Cloudera, Inc. All rights reserved. 2

一站式“自助”数据开发数据开发调度平台数据治理元数据管理数据服务管理后台【数据建模】构建数据表【任务管理】发布任务至调度【开发任务】创建开发任务写代码数据开发工程师【测试任务】运行【提交任务】调度配置提交任务查看任务列表配置任务报警【发现问题】收到警报【任务排查】查看任务日志任务上下游【解决问题】重跑任务终止任务修改任务置成功【定义规则】定义规则关联调度【发现问题】收到警报【排查问题】查找实例查找实例日志规则历史给表配置数据质量监控【元数据采集】自动生成配置采集任务【元数据注册】选择元模板配置注册信息提交注册订单发布公共数据服务【解决问题】数据清洗【元数据驱动】修改配置【导入数据】选择表【生成API】配置请求返回参数编辑字段输入请求参数查看返回结果【测试API】修改任务发布元数据【注册API】提交申请【项目空间】创建项目空间分配资源用户和授权管理员【全局调度监控】 dashboard 【全局数据质量】 dashboard 调度集群质量评分【数据资产】资产台账【全局API】 dashboard 标签管理 API集市提交发布API申请，审批后发布至API集市【元数据审批】【API发布】申请资源审批发布审批注册订单审批发布API © 2019 Cloudera, Inc. All rights reserved. 3

数据开发管控一体化定位数据开发管控一体化：集成数据建模、数据同步、数据开发、元数据管理、任务调度、数据服务等一系列数据能力，帮助企业实现抽象，共享，可复用的自助式平台，使得企业能够持续进行不断演进的数字化运营，适应产品市场和人员组织的快速变化。数据探索业务领域业务团队数据业务化业务领域开发团队数据开发管控一体化自助化一体化标准化服务化管控化存储和计算集群数据集群数据集群计算集群计算集群数据授权企业数据管理团队数据治理企业数据开发团队 © 2019 Cloudera, Inc. All rights reserved. 4

平台架构 © 2019 Cloudera, Inc. All rights reserved. 5 RDBMS计算与存储平台FlinkHadoopMPPKafkaGraphDB数据地图数据工厂API集市我的工作台租户管理资源管理权限管理系统审计数据建模数据集成任务开发函数开发任务调度调度监控元数据采集元模型管理数据血缘数据地图数据标签数据资产统一运维告警监控数据脱敏数据质量知识萃取智能打标标签管理应用场景自助门户数据开发工厂数据资产管理平台管理金融风控城市大脑运营管控用户画像智能推荐精准营销开发管理数据探索Spark以业务形态+职能体系构建ODS操作型数据中心（ODS）以主题域+业务过程+分析维度为架构构建数据仓库层公共层数据中心数据明细层（DWD）数据汇总层（DWS）会员交易门店合约物流客户图谱商品图谱供应商图谱行业图谱实体关系数据中心API集市API设计API注册API发布API管理API监控API分析生命周期管理元数据管理工作流开发实时流开发

1、项目管理和资源定制

分享到：

赞收藏

资料库

Cloudera-数据云-一站式DataOps自助开发.pdf

相关推荐

行业

热门标签

最新资料