人工智能报告之机器学习
Artificial Intelligence Report of Machine Learning
2020 年第 1 期
顾问:唐杰
2020 年 1 月
II
图目录
图 1-1 机器学习发展历程 ............................................................................................................. 1
图 2-1 机器学习分类 ..................................................................................................................... 2
图 2-2 GAN 发展脉络 ...................................................................................................................... 3
图 2-3 AutoML 基本过程 ................................................................................................................ 5
图 2-4 ATMSeer 自动机器学习定制化工具的用户友好型交互界面 .......................................... 5
图 2-5 Transformer 的网络架构 .................................................................................................. 8
图 2-6 图卷积示意图 ..................................................................................................................... 9
图 3-1 深度学习模型最近若干年的重要进展 ........................................................................... 11
图 3-2 卷积神经网络的重要进展 ............................................................................................... 12
图 3-3 Auto-Encoder 的重要进展 .............................................................................................. 12
图 3-4 循环神经网络 RNN 的重要进展 ....................................................................................... 13
图 3-5 网络表示学习与图神经网络的重要进展 ........................................................................ 13
图 3-6 增强学习的重要进展 ....................................................................................................... 14
图 3-7 生成对抗网络的重要进展 ............................................................................................... 14
图 3-8 老虎机的重要进展 ........................................................................................................... 15
图 5-1 机器学习领域全球学者分布 ........................................................................................... 21
图 5-2 机器学习领域学者 h-index 分布 ................................................................................... 22
图 5-3 机器学习领域中国学者分布 ........................................................................................... 22
图 6-1 自动驾驶目标识别、运动预测 ....................................................................................... 31
图 7-1 机器学习技术趋势 ........................................................................................................... 35
表目录
表 4-1 ICML 近 10 年 best paper ............................................................................................... 18
表 4-2 NeurIPS 近 10 年 best paper ......................................................................................... 19
表 5-1 机器学习领域中国与各国合作论文情况 ....................................................................... 23
表 5-2 NeurIPS 高引学者 TOP100 ............................................................................................... 26
表 8-1 机器学习三级知识树 .......................................................................... 错误!未定义书签。
概述篇
1 概述篇
1.1 机器学习的概念
机器学习已经成为了当今的热门话题,但是从机器学习这个概念诞生到机器学习技术的
普遍应用经过了漫长的过程。在机器学习发展的历史长河中,众多优秀的学者为推动机器学
习的发展做出了巨大的贡献。
从 1642 年 Pascal 发明的手摇式计算机,到 1949 年 Donald Hebb 提出的赫布理论——解
释学习过程中大脑神经元所发生的变化,都蕴含着机器学习思想的萌芽。事实上,1950 年
图灵在关于图灵测试的文章中就已提及机器学习的概念。到了 1952 年,IBM 的亚瑟·塞缪
尔(Arthur Samuel,被誉为“机器学习之父”)设计了一款可以学习的西洋跳棋程序。塞缪
尔和这个程序进行多场对弈后发现,随着时间的推移,程序的棋艺变得越来越好[1]。塞缪尔
用这个程序推翻了以往“机器无法超越人类,不能像人一样写代码和学习”这一传统认识。
并在 1956 年正式提出了“机器学习”这一概念。
对机器学习的认识可以从多个方面进行,有着“全球机器学习教父”之称的 Tom
Mitchell 则将机器学习定义为:对于某类任务 T 和性能度量 P,如果计算机程序在 T 上以 P
衡量的性能随着经验 E 而自我完善,就称这个计算机程序从经验 E 学习。
普遍认为,机器学习(Machine Learning,常简称为 ML)的处理系统和算法是主要通过
找出数据里隐藏的模式进而做出预测的识别模式,它是人工智能(Artificial Intelligence,常
简称为 AI)的一个重要子领域。
1.2 机器学习的发展历史
从机器学习发展的过程上来说,其发展的时间轴如下所示:
图 1-1 机器学习发展历程
1
人工智能之机器学习
2 技术篇
2.1 机器学习算法分类
机器学习算法可以按照不同的标准来进行分类。比如按函数 f (x,θ)的不同,机器学习
算法可以分为线性模型和非线性模型;按照学习准则的不同,机器学习算法也可以分为统计
方法和非统计方法。但一般来说,我们会按照训练样本提供的信息以及反馈方式的不同,将
机器学习算法分为监督学习、无监督学习和强化学习[2]。
图 2-1 机器学习分类
2.2 机器学习的经典代表算法
1980 年机器学习作为一支独立的力量登上了历史舞台。在这之后的 10 年里出现了一些
重要的方法和理论,典型的代表是:分类与回归树(CART,1984)、反向传播算法(1986)、
卷积神经网络(1989)。从 1990 到 2012 年,机器学习逐渐走向成熟和应用,在这 20 多年
里机器学习的理论和方法得到了完善和充实,可谓是百花齐放的年代。代表性的重要成果有:
支持向量机(SVM,1995)、AdaBoost 算法(1997)、循环神经网络和 LSTM(1997)、流
形学习(2000)、随机森林(2001)。机器学习代表算法包括[3]:
线性回归
分类与回归树(CART)
2