智谱·AI
2020 年度人工智能技术发展报告集
AI TR
AMiner
序言
2020 是一个不平凡的年份。尽管全球遭遇新冠疫情,但是人工智能技术发
展和学术研究依旧稳步向前、技术与产业融合也进一步扩大和深入。最新数据显
示1,2020 年,全球人工智能产业规模达 1565 亿美元,增长率 12%,中国人工智
能产业规模大约 3100 亿元人民币,同比增长 15%。新冠疫情加速和促进了 AI 与
实际应用的结合、落地以及商业化,特别是在医疗、城市治理、工业、非接触服
务、自动驾驶等领域的快速响应。
《智谱·AI 2020 年度人工智能技术发展报告集(AI TR)》汇集了本年度清
华大学-中国工程院知识智能联合研究中心、清华大学人工智能研究院、北京智
源人工智能研究院以及北京智谱华章科技有限公司联合发布的针对人工智能领
域的全部 TR 系列报告。AI TR 系列报告主要从基本概念、发展历史、人才概况、
代表性论文解读和前沿技术进展等维度对人工智能相关子领域进行了系统详细
的分析。报告所用的论文数据、国家自然科学基金、趋势数据等均来自于清华大
学计算机系唐杰教授主持研发的“科技情报大数据挖掘与服务系统平台”(简称
AMiner),通过人工智能、大数据分析与挖掘、知识图谱、自然语言处理等技术,
并结合文献计量学等情报学方法制作生成。
科技情报大数据挖掘与服务平台(AMiner)于 2006 年上线,经过十多年的
建设发展,已收录 2.3 亿篇论文与 1.3 亿位学者,吸引了全球 220 个国家/
地区、800 多万独立 IP 的访问,年度访问量 1100 万次。AMiner 平台曾获得
2017 年北京市科学技术奖一等奖,2013 年中国人工智能学会科学技术进步一
等奖。AMiner 平台已经服务于科技部、中国科协、自然科学基金委、北京科委
等政府机构,以及腾讯、华为、阿里巴巴、搜狗等企业机构。
报告主题特色
2020 年,智谱 AI 共计发布了 10 份、涵盖以下三个主题类别的 TR 报告。截
1 中国信通院:2020 年中国人工智能产业规模大约 3100 亿元,2020 年 12 月 15 日,中国新闻网 ,
http://www.ce.cn/cysc/tech/gd2012/202012/15/t20201215_36119481.shtml
1
至 2020 年 12 月,智谱 AI TR 系列报告总计下载量共计 50635 次。其中,《人工
智能之认知图谱》下载量最高,为 11766 次。《区块链发展研究报告 2020》和《人
工智能之机器学习》报告的下载量位居第二、三位,下载量分别为 7240 次、5570
次。
一、AI 核心技术类报告
AI 核心类报告包括了《人工智能之机器学习》[简版]和[完整版]、《人工智
能之表示学习》和《人工智能之认知图谱》报告。
《人工智能之机器学习》[简版]和[完整版]报告对机器学习发展历程、代表
性专业技术、学者概况、发展趋势及应用现状等内容进行了深入梳理和概括;《人
工智能之认知图谱》报告围绕认知图谱及其涵盖的知识图谱、认知推理、逻辑表
达 三个技术领域,从概念、发展历程、关键技术、问题与挑战、未来研究方向
等方面进行介绍和分析;《人工智能之表示学习》报告主要从概念、理论模型、
领域人才、技术趋势分析等四个方面,介绍知识表示学习的技术发展和研究最新
进展,并展望该技术的未来发展方向与前景。
二、AI 重要应用类报告
包括《人工智能之学术搜索》、《人工智能之人机交互》、《人工智能之图数据
库》、《区块链发展研究报告 2020》和《人工智能之计算机视觉》。
《人工智能之学术搜索》报告,以 AI 赋能的学术搜索为核心,在梳理概念
特征、发展历程、工作原理以及系统架构的基础上,重点分析了人工智能技术在
学术搜索中的具体应用情况、领域专家人才现状、典型产品的资源覆盖和功能特
色,以及未来发展趋势;《人工智能之人机交互》报告以人机交互技术为核心,
在梳理其概念定义和发展历程的基础上,重点研究了人机交互主要技术的发展情
况、领域专家现状和应用领域,列举了必读论文,并探讨了人机交互未来发展趋
势;《人工智能之图数据库》报告围绕图数据库的基本概念、技术发展、产业应
用、人才概况和热点趋势五大方面进行深入挖掘;《区块链发展研究报告 2020》
报告系统梳理了区块链技术的发展历程、基础理论,挖掘展现了区块链研究的人
才现状、技术发展趋势、最新应用场景、最新国内外政策,以及未来发展面临的
2
技术和监管挑战等内容;《人工智能之计算机视觉》报告选取计算机视觉作为报
告的主题,围绕计算机视觉的基本概念、技术发展、产业应用、人才概况和热点
趋势五大方面进行了深入挖掘。
三、AI2000 影响力学者榜单类报告
包括《人工智能全球 2000 位最具影响力学者》和《人工智能全球女性榜单》。
AI 2000 是通过 AMiner 学术数据、经技术专家委员会商议,参考相关领域
顶级期刊发布的论文,在全球范围内遴选 2000 位人工智能学科最有影响力的
顶级学者。《人工智能全球 2000 位最具影响力学者》报告主要分析了 AI 2000 学
者成就和研究领域、学者入选论文情况、领域技术分析、国家研究热度趋势、科
研跨国合作情况、学者性别和年龄特征等。《人工智能全球女性榜单》则在全球
范围内遴选人工智能学科最有影响力、最具活力的 179 位女性顶级学者进行重点
分析。
报告内容特色
智谱 AI TR 系列报告具有三大特点。
1.报告对 AI 相关技术的基本概念、发展历史、人才概况、代表性论文和前
沿技术进展进行了总结和解读。
2. 报告对 AI 相关各领域人才概况进行分析,描述了各领域学者的水平、国
家分布、机构分布、合作情况、跨境流动情况,并对代表性学者进行了专项介绍。
3. 报告综合运用了文献分析、大数据分析和挖掘技术、特征抽取、人才画
像等研究方法,依托 AMiner 平台数据进行了领域热点的趋势分析,跟踪并研究
各领域技术动态,各国研究趋势,提供技术预见,为学界的研究方向提供咨询意
见。
智谱 AI TR 系列报告得到了清华大学计算机系李涓子教授、唐杰教授、朱军
教授、陈文光教授、陈康副教授、喻纯副教授、刘知远助理教授、自动化系黄高
助理教授的悉心指导和大力支持,在此表示衷心感谢!
3
顾问委员会
李涓子 唐 杰 朱 军 陈文光 陈 康
喻 纯 杨红霞 刘知远 黄 高
编写团队
张 淼 徐 菁 叶静芸 刘 佳 景 晨 邵洲
林 恒 刘强强 高云鹏 吴蓓 阎裕康 易鑫
朱晓伟 高 洁 甄洁玲 赵 薇 李雨晴 李鹤飞
万文正 李可欣 徐文美 殷达 赵杨奥 程时伟
数据支持
赵慧军 袁永强
设计排版
钱达行 张 淳 张英汇
更多 AI TR 系列报告,敬请查看官方网址 http://reports.aminer.cn/
科技写作或商务合作,欢迎联系:reports@aminer.cn
4
人工智能之机器学习——目录
目录
1 概述篇 ..................................................................................................................... 11
1.1 机器学习的概念 ......................................................................................... 11
1.2 机器学习的发展历史 ................................................................................. 13
2 技术篇 ..................................................................................................................... 16
2.1 机器学习算法分类 ..................................................................................... 16
2.2 机器学习的经典代表算法 ......................................................................... 22
2.3 生成对抗网络及对抗机器学习 ................................................................. 32
2.4 自动机器学习 ............................................................................................. 45
2.5 可解释性机器学习 ..................................................................................... 53
2.6 在线学习 ..................................................................................................... 60
2.7 BERT ............................................................................................................. 64
2.8 卷积与图卷积 ............................................................................................. 78
2.9 隐私保护 ..................................................................................................... 84
3 深度学习篇 ............................................................................................................. 91
3.1 卷积神经网络 ............................................................................................. 94
3.2 AutoEncoder ................................................................................................ 97
3.3 循环神经网络 RNN ..................................................................................... 98
3.4 网络表示学习与图神经网络 GNN .......................................................... 100
3.5 增强学习 ................................................................................................... 102
3.6 生成对抗网络 ........................................................................................... 105
3.7 老虎机 ....................................................................................................... 106
3.8 图神经网络 ............................................................................................... 108
3.9 深度学习近期重要进展 ........................................................................... 110
4 论文解读篇 ........................................................................................................... 118
4.1 ICML 历年最佳论文解读 .......................................................................... 120
4.2 NeurlPS 历年最佳论文解读 ..................................................................... 130
4.3 专利解读 ................................................................................................... 146
5 人才篇 ................................................................................................................... 155
5.1 学者情况概览 ........................................................................................... 155
5.2 代表性学者简介 ....................................................................................... 157
5.3 NeurIPS 十年高引学者 ............................................................................. 186
6 应用篇 ................................................................................................................... 193
6.1 算法应用场景 ........................................................................................... 193
6.2 行业应用 ................................................................................................... 197
6
人工智能之机器学习——目录
6.3 企业应用 ................................................................................................... 205
6.4 北京智谱华章科技有限公司介绍 ........................................................... 221
7 趋势篇 ................................................................................................................... 226
8 资源篇 ................................................................................................................... 230
8.1 开源代码 ................................................................................................... 230
8.2 预训练 ....................................................................................................... 231
8.3 课程 ........................................................................................................... 232
8.4 数据集 ....................................................................................................... 233
8.5 机器学习知识树 ....................................................................................... 234
参考文献.................................................................................................................... 236
7