MindSpore 核心技术架构及特性-华为袁鹏.pdf

发布时间：2022-06-08 发布人：admin 分类：说明书资料大小：1.28M 资料格式：pdf 举报版权申诉

weixin_37896608-11819075-4744302543380749457.pdf-第1页.png

第1页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第2页.png

第2页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第3页.png

第3页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第4页.png

第4页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第5页.png

第5页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第6页.png

第6页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第7页.png

第7页 / 共12页

weixin_37896608-11819075-4744302543380749457.pdf-第8页.png

第8页 / 共12页

文本预览

MindSpore 核心技术架构及特性 Security Level:

1.问题挑战 2.整体方案 3.开发样例 4.总结目录 2

问题挑战：AI从各行业研究到全场景应用存在巨大鸿沟业界挑战技术创新 AI从各行业研究到全场景应用存在巨大鸿沟新一代AI框架MindSpore跨越应用鸿沟，助力普惠AI • 开发门槛高 • 运行成本高 • 部署时间长 3 • 新编程范式 • 新执行模式 • 新协作方式

设计理念 (1)：新编程范式，AI算法即代码，降低AI开发门槛开发态主要挑战模型开发：技能要求高需要懂数学、懂AI、懂计算机系统模型调优：黑盒调优难模型并行：并行规划难严重依赖人的经验，既要懂数据、模型，也要懂分布式系统架构等 4 基于数学原生表达的AI编程新范式让算法专家聚焦AI创新和探索 AI算法原函数 AI算法代码自动生成微分函数 B= compute((n,m), Lambda i,j: (exp(A[i][j]) - exp(A[i][j]*(-1))/ (exp(A[i][j]) + exp(A[i][j]*(-1))), name=‘B’)

设计理念 (2)：新执行模式， Ascend Native的执行引擎运行态主要挑战 AI计算的复杂性和算力的多样性 ① CPU核，CUBE单元、Vector计算单元 ② 标量、向量、张量的运算 ③ 混合精度计算 ④ 稠密矩阵、稀疏矩阵计算多卡运行：并行控制开销大随着节点增加，性能难以线性增加 5 On-Device执行，整图卸载执行，充分发挥昇腾大算力 MindSpore计算框架图+算子昇腾 Host CPU AICPU AICore AICore AICore DVPP HBM HCCL

设计理念 (3)：全场景按需协同，更好的资源效率和隐私保护端-边-云全场景按需协同，统一架构、可大可小，最适合于企业部署，一次开发多处高效执行。端算力数据模型模型保护梯度/模型协同边缘算力数据模型模型保护梯度/模型协同云算力数据模型模型保护 6

整体方案：MindSpore 核心架构 MindSpore 全场景统一API Unified APIs for all scenarios 自动微分自动并行自动调优 Automatic differentiation Automatic parallelization Automatic tuning 开发态友好：AI 算法即代码 Easy development: AI Algorithm As Code Business Number 02 MindSpore IR 计算图表达 MindSpore intermediate representation (IR) for computation graphs On-Device执行 On-device execution Pipeline并行深度图优化 Pipeline parallelism Deep graph optimization 运行态高效： Efficient execution: 面向Ascend优化 Optimized for Ascend 支持GPU GPU support Device-edge-cloud cooperative distributed architecture (for deployment, scheduling, communications, etc.) 端-边-云按需协作分布式架构（部署、调度、通信等）部署态灵活：全场景按需协同 Flexible deployment: On-demand cooperation across all scenarios 处理器：Ascend、GPU、CPU Processors: Ascend, GPU, CPU 7

高效开发 8 数学算法即代码，效率提升50%； NLP典型网络代码量降低20% （其他框架：~2550loc vs MindSpore：~2050loc， Transformer网络Attention结构，4节点模型并行） ① 自动微分：Mindspore只需要1行代码，实现自动模型并行，不需要专家经验 ② 动静结合：Mindspore动态和静态模式一份代码，只需要1行代码即可完成模式切换 ③ 自动微分：MindSpore反向算子自动生成

分享到：

赞收藏

资料库

MindSpore 核心技术架构及特性-华为袁鹏.pdf

相关推荐

课程资源

热门标签

最新资料