BML百度大规模机器学习云平台实践.pdf

发布时间：2022-06-16 发布人：admin 分类：说明书资料大小：0.73M 资料格式：pdf 举报版权申诉

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第1页.png

第1页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第2页.png

第2页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第3页.png

第3页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第4页.png

第4页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第5页.png

第5页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第6页.png

第6页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第7页.png

第7页 / 共20页

1d95002d-fdb9-419e-a053-98c6dceb263d.pdf-第8页.png

第8页 / 共20页

文本预览

BML百度大规模机器学习云平台实践 Practice of Baidu Large Scale Machine Learning Cloud 百度开放云架构师沈国龙

百度的大数据 • 百度每天响应数十亿次的搜索 • 支持百万企业客户的推广需求 • 拥有20+用户过亿的移动产品 • 每天处理的数据量将近100个PB，相当于5000个国家图书馆的信息量总和 • 2013年，百度Hadoop单集群规模达到全球最大的1.3w台 • 2015年，全球Spark峰会唯一受邀主题演讲的中国企业 • 多位“人工智能”领域泰斗加盟，机器学习技术国内领先

大数据的处理流程数据收集存储变形分析业务场景网络日志消息总线关系数据库批处理商务智能日志分析移动设备设备总线键值数据库并行计算机器学习商品推荐智能硬件数据快递对象存储数据仓库实时竞价社交媒体流数据分析舆情分析物联网价格预测工作流

百度大数据处理基础架构 Data Warehouse OLAP 百度大脑 BML Paddle 基础平台基于大数据的智能应用 DCE ELF TaskManager Dstream Spark MapReduce/DAG Parameter Server Queue Worker Continous Data Stream RDD Normandy HDFS Matrix IDC

Essential Learning Framework

大规模机器学习算法框架ELF • 百度新三代机器学习计算框架，依赖于百度多年机器学习算法开发以及分布式计算经验 • 设计上汲取了常见计算框架Hadoop、Spark、MPI的精华。拥有和Hadoop一样简单的编程模式，比Spark更快的性能，以及比MPI更易用的接口 • 基于数据流的编程模式，让用户通过简单的map-reduce就能轻松写出高效的并行程序 • 计算过程进行托管，提供了包括多轮数据迭代处理、异步更新、并行通信等功能，让用户不在考虑底层的实现细节，专注算法自身逻辑 • ELF还拥有性能一流的参数服务器（Parameter Server），可用于存储万亿规模参数

作业流程

架构图（Parameter Server） FS（local、hdfs、stream） coordinator Sync/Async Parameter Server Parameter Server Parameter Server Multi-Iters Compute Components Compute Components Compute Components FS（local、hdfs、stream）

分享到：

赞收藏

资料库

BML百度大规模机器学习云平台实践.pdf

相关推荐

行业

热门标签

最新资料