数据分析平台
平台演进及数据分析⽅方法应⽤用
演讲⼈人:杨军 @蚂蚁⾦金金服-数据平台部
* 仅限内部交流使用
如果需要公开,请联系文档作者
w w w . a n t f i n . c o m
⽬目录.CONTENTS
PART / 01
PART / 02
PART / 03
PART / 04
• 我是谁:个⼈人简介
• 我们是谁:数据平台部简介
• 做什什么:数据分析领域简介
• 怎么来:数据分析平台演进历史
• 怎么做:数据分析平台3.0详解
• 能⼲干什什么:数据分析驱动数据分
析平台性能优化
* 仅限内部交流使用,如果需要公开,请联系文档作者
w w w . a n t f i n . c o m
01 个⼈人介绍及数据平台部介绍
简介
* 仅限内部交流使用,如果需要公开,请联系文档作者
w w w . a n t f i n . c o m
01 个⼈人简介
杨军
花名:悟迷(⼼心悟成佛,⼼心迷成魔,^_^)
✦ 11年年实习⼊入职,12年年正式⼊入职,主要经历了了ETL、实时计算、批流统⼀一的
⽹网站⽇日志处理理框架等⽅方⾯面的⼯工作。
✦ 14年年进⼊入蚂蚁财富,主要参与招财宝,保险,众筹,基⾦金金等核⼼心业务建
设,在基⾦金金主导建设并切换蚂蚁⾃自⼰己的基⾦金金销售交易易清算平台阿基⽶米德。
✦ 16年年回归数据进⼊入蚂蚁数据平台,带领团队建设数据分析平台引擎层,
落地数据分析⽅方法论。
✦ ⽬目前负责数据安全与合规,在⼤大数据的道路路上继续潜⾏行行。
* 仅限内部交流使用,如果需要公开,请联系文档作者
02 数据平台部简介(1/3)
数据采集与传输
数据存储与计算
数据应⽤用与消费
RDS
OB
⽇日志
消息
OSS
⽂文件
数据同步
DB⽇日志解析同步
(DRC)
⽇日志⽂文件同步
(SLS)
通⽤用同步⼯工具
(DataX)
同步中⼼心
(DTM)
* 仅限内部交流使用,如果需要公开,请联系文档作者
⼀一站式数据研发平台
⼀一站式AI研发平台
机器器学习
(PAI,TensorFlow)
实时流式计算
(Kepler,Spark Streaming)
批量量计算
(ODPS,Spark,Raya)
数据应⽤用
报表展示
(知数据APP)
数据分析
(DeepInsight)
挖掘预测
(PAI)
数据决策
……
(DecisionX)
业务运营及PD
分析师
数据科学家
业务技术
02 数据平台部简介(2/3)
业务
场景
Data
OS
桌⾯面
Data
OS
内核
⽀支付
芝麻
⽹网商
财富
保险
微贷
云数据实验室
全球化
蚂蚁数据⻔门户、知数据APP……
⼈人群画像平台、位置服务平台……
开发者中⼼心……
外部数据采集平台
(全球数据爬取)
数据资产管理理平台
(资产规范、搜索)
数据研发平台
数据分析平台
(多引擎,批流合⼀一)
(多维分析,智能洞洞察)
数据决策平台
(敏敏捷决策)
数据实验平台
(ab实验,分析)
数据⼯工作台
任务执⾏行行与调度引擎
数据引擎
数据科学引擎
核⼼心能⼒力力
数据安全
隐私保护
数据质量量
元数据中⼼心
数据治理理
多环境适配
租户/账户体系
权限
流程
数据源
基础框架
决策服务引擎
……
……
* 仅限内部交流使用,如果需要公开,请联系文档作者
02 数据平台部简介(3/3)
每⼀一个微⼩小的念头 都值得⽤用数据浇灌
* 仅限内部交流使用,如果需要公开,请联系文档作者
02 数据分析领域体系化结构
数据分析
* 仅限内部交流使用,如果需要公开,请联系文档作者
w w w . a n t f i n . c o m