DataWorks调度最佳实践.pdf

发布时间：2022-05-29 发布人：admin 分类：说明书资料大小：2.06M 资料格式：pdf 举报版权申诉

weixin_38744153-11634712-4744302543336228367.pdf-第1页.png

第1页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第2页.png

第2页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第3页.png

第3页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第4页.png

第4页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第5页.png

第5页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第6页.png

第6页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第7页.png

第7页 / 共33页

weixin_38744153-11634712-4744302543336228367.pdf-第8页.png

第8页 / 共33页

文本预览

DataWorks 调度配置最佳实战祎休 MaxCompute 产品运营团队

Agenda DataWorks ：MaxCompute云上数仓开发工具调度基本介绍依赖关系简介依赖关系实战

调度基本介绍定义介绍节点节点是描述 DataWorks 数据分析和处理过程的基本单元。比如Shell、ODPS SQL、ODPS MR、PyODPS 等实例实例是在前一天23:30的节点快照，统一生成的运行实例。实例会对非天任务进行拆分，如一小时一次的小时节点将会拆分成具体的24个实例。

调度基本介绍定义介绍调度规则首先满足依赖关系：即上游节点必须完成，才能调度下游节点,其次，判断定时时间是否已经到了，如果到了，立即执行。如果没有到，等待时间依赖关系依赖关系是描述两个或多个节点之间的语义连接关系，其中上游节点的状态将影响其他下游节点的运行状态，反之则不成立。

调度基本介绍定义介绍跨周期依赖跨周期依赖其实分了跨周期及跨版本两个概念：  跨周期依赖是针对小时任务：即小时任务依赖同一天的上一个周期。  跨版本依赖即跨天依赖：即依赖前一天的任务。自依赖自依赖是天然的跨周期跨版本依赖：  针对天任务即依赖昨天的任务。  针对小时任务即依赖上一周期，每天第一个周期依赖昨天最后一个周期。

Agenda DataWorks ：MaxCompute云上数仓开发工具调度基本介绍依赖关系简介依赖关系配置实战

依赖关系简介调度属性：冻结  周期实例中的冻结只针对当前实例，且正在运行中的实例，冻结操作无实际效果，并不会kill掉正在运行的实例。  冻结状态的任务会生成实例，但是不会运行。若需要运行冻结的实例，您需解冻实例，单击重跑，实例才会开始运行。

依赖关系简介出错机制勾选：默认重试3次，每次间隔2分钟。

分享到：

赞收藏

资料库

DataWorks调度最佳实践.pdf

相关推荐

开发技术

热门标签

最新资料