logo资料库

CCF-唐杰-认知图谱Cognitive Graph 理解、认知与推理-2019-10-19.pdf

第1页 / 共18页
第2页 / 共18页
第3页 / 共18页
第4页 / 共18页
第5页 / 共18页
第6页 / 共18页
第7页 / 共18页
第8页 / 共18页
资料共18页,剩余部分请下载后查看
盘古-大数据文件系统
目录
幻灯片编号 3
大数据应用
大数据系统
幻灯片编号 6
盘古存储平台
进化
幻灯片编号 9
挑战
幻灯片编号 11
数据复制(可靠/性能)
跨地域数据分布(可用/性能/成本)
元数据水平扩展(规模/性能)
幻灯片编号 15
元数据分层
虚拟化
THANKS/感谢聆听
盘古-大数据文件系统 姚文辉 阿里巴巴高级技术专家 CNCC2019
目录 阿里大数据 盘古存储系统 挑战 案例剖析 发展方向 CNCC2019
阿里大数据 CNCC2019
大数据应用 场景 输 入 输 出 ETL ECS AI-DB RDS 应 用 集 成 CNCC2019
大数据系统 规模 • EB级数据量 • 千亿文件数 • 几十万台物理节点 • 单任务PB级别 性能(天) • 千万任务 • 百PB数据量 数 据 实 时 / 批 量 采 集 数据开发工具 计算模型 框架接入 任务编排 计算调度 数据存储 硬件/操作系统 安 全 隔 离 运 维 CNCC2019
盘 古 存 储 系 统 CNCC2019
盘古存储平台 Alibaba Cloud Service Compute MaxCompute RealTimeCompute EMR … OSS NAS Storage SLS HDFS Virtualization Docker-Volume EBS OTS … Pangu SDK (Append-Only, Intelligent) Pangu Meta (Reliable, Scalable, Flexible) Pangu Data (Reliable, High-Performance, HW/SW Codesign) Pangu Controller (Automatically, Fool-Proofing) CNCC2019
进化 稳定 • 高可靠 • 高可用 规模 顺势而为 在线海量文件 在线大数据文件 • 支持20+平台型产品 • 几十万台物理存储节点 离线大数据文件 性能 • 单组元数据15万 OPS • ESSD 单云盘100万 IOPS 离线大文件 进化 淘宝离线 MaxCompute 公共云 专有云 随需而变 CNCC2019
分享到:
收藏