• 大数据1.0面向程序员, 2.0面向分析师, 3.0 面向普通工程师。
• 在互联网时代,相比传统的企业电子办公,出现了大量的非结构化数据,对数据的分布式
存储和并行技术提出了很高的要求。Google就是传统互联网的典型代表,发表了GFS、MR、
BigTable等重要的大数据论文,从而引导了大数据的元年。
• 在移动互联网时代,在互联网上的应用远远比传统互联网(PC访问)丰富,数据的结构也
发生了很大的变化,对实时处理的能力和大量并发的要求比以前会有巨大的提高。手机银
行就是一个典型的代表,现在的手机银行APP能够提供各种丰富的内容,除了传统的网上
交易,还包括资讯,娱乐,购物等。所以对数据处理的能力通常就要求多种技术配合来完
成,有批处理,内存计算,交互式查询,流式实时处理等,这样就推动了MR, SPARK, Solr,
Storm和YARN的发展。
• 到了即将爆发的物联网时代,将是一个完全的数字化的世界,任何东西都将连接到网络上,
而最关键的是要将这些东西关联起来,发现其背后存在的规律,为人类的生活、生产创造
更大的价值,这就是人工智能时代的大数据处理,这是大数据发展的第3个阶段。
• 目前的人工智能,更多的是代表智能的个体,能够通过自身的持续学习能力,智能的完成
单点决策。
• AI产业爆发三大条件:算法、算力、数据。
• 机器经验需要由大量的历史数据得出,所以数据收集无处不在,数据的增长会是几何级数
的。使用当前集中式的存储和集中式的通信模式,在未来是无论如何都无法通过一个巨型
单点支撑如此大的体量,存储和通信能力都是瓶颈,而且效率会非常低下。
• 算力成本也是人工智能行业的一大痛点。现在的人工智能企业的硬件投入巨大。人工智能
对计算的需求非常大,因此对高性能计算定制深度学习芯片要求很高,意味着很多企业要
花很多钱买算力、建很多计算中心,造成了很大的资源浪费。
• AI计算发展趋势演变过程中面临着巨大的挑战:随着模型所需的精度越高,所需的计算量
也会呈现增长趋势。对于未来算法的发展对整个计算需求所造成的挑战会变得更大,提高
整个AI计算系统的性能与效率显得尤为重要。
• 摩尔定律失效,CPU性能提升遭遇瓶颈。Intel宣布正式停用“Tick-Tock”处理器研发模式,
未来研发周期将从两年周期向三年期转变。单颗CPU性能的提升在放缓,传统服务器难以
满足并行算力需求,服务器CPU出货量增长停滞。
• 如今,AI面临着巨大的计算挑战,提高AI计算系统性能与效率变得尤为重要,需要从系统
的角度进行综合考虑。