logo资料库

云端的数据湖-现代化的数据架构.pdf

第1页 / 共34页
第2页 / 共34页
第3页 / 共34页
第4页 / 共34页
第5页 / 共34页
第6页 / 共34页
第7页 / 共34页
第8页 / 共34页
资料共34页,剩余部分请下载后查看
幻灯片编号 1
属于数据时代
亚马逊与大数据的创新
新零售下的决策模式
数据湖的优势 – 所有数据在一个地方
数据湖的优势 – 快速提取
数据湖的优势 – 储存与计算分离
数据湖的优势 – 读取时范式化
数据三重门
扩大使用者的范围
业务数据呈指数级增长
数据分析平台技术的演变
幻灯片编号 13
为什么Amazon S3是云端数据湖的核心
幻灯片编号 15
使用Amazon Athena扫描数据——无需管理集群
S3可以作为大数据的热储存
幻灯片编号 18
幻灯片编号 19
你可以省更多
幻灯片编号 21
计算能力与储存解耦
Hadoop HDFS数据的重平衡
幻灯片编号 24
S3支持多个EMR集群同时查询同一批数据
Netflix 选用S3作为 “Source of Truth”
Netflix使用S3作为可扩展的数据架构
更多的大数据可以使用S3
围绕数据的“飞轮”
AI就是大数据时代的革命
AWS上的机器学习技术堆栈
现代化的数据架构
AWS完整的云端数据湖方案
幻灯片编号 34
数据科学分论坛 云端的数据湖 现代化的数据架构 张孝峰 AWS资深解决方案架构师 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
属于数据时代 下一代客户忠诚度计划 供应链优化 络 网 交 社 互动式语音聊天机器人 货品陈列优化 竞品分析 动 态 生 成 的 个 人 报 价 本地化的产品分类 擎 引 荐 推 品 产 产品定价规范性分析 BIG DATA 店内行为分析 舆情热点 全渠道数据整合 实时订单追踪 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
亚马逊与大数据的创新 亚马逊自从成立以来在大数据领域 持续大量投入,目前在人工智能和机器 学习领域已经取得很多的成果。 并且把我们的知识与能力与客户分享 1995 第一代 Personal Notification Service 2017 无人送货飞机 商品智能推荐 机器人与物流仓储 新产品 供应链管理 智慧呼叫中心 无人值守商店 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
新零售下的决策模式 成本 / 价格 库存 需求 合约条款 供应链追踪 外部广告 成功案例 数字营销 客户族群 Customer Cluster 预测客户 购买行为 搜索结果分析 打包营销 引导促销 SEM/SEO 优化 销量分析 采购优化 自动化 营销 自动化 采购 数据湖 库存分析 价格优化 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
数据湖的优势 – 所有数据在一个地方 “我的数据储存在多个不同的地方, 那一份数据才是真实可信的呢?” 在一个集中的位置, 储存并分析来自所有来源的数据 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
数据湖的优势 – 快速提取 “如何快速从各种来源收集数据 并有效存储?” 快速提取数据, 而无需将其强制转换到范式中。 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
数据湖的优势 – 储存与计算分离 “如何扩展容量, 以应付持续增长的数据?” 将存储和计算分开, 可以根据需要缩放每个组件。 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
数据湖的优势 – 读取时范式化 “有没有办法将多个分析和处理框架应 用于相同的数据?” 数据湖可以通过在读取时范式化来 进行即时分析,而不是在写入时。 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
分享到:
收藏