人工智能伦理风险分析报告
国家人工智能标准化总体组
二零一九年四月
专家咨询组
潘云鹤 高 文 戴 红 谭铁牛 吴朝晖 李伯虎
林 宁 于海斌 吴 飞 周志华 董景辰 黄河燕
朱小燕 张德政 朱恺真 曲道奎 左 毅 钱 恒
国家人工智能标准化总体组
组 长: 赵 波
副组长: 闵万里 胡国平 徐 波
黄铁军 吴文峻 欧阳劲松
秘书长:孙文龙
编写单位(排名不分先后)
中国电子技术标准化研究院
中国人民大学
北京九天微星科技发展有限公司
国家电网有限公司
北京理工大学
苏州中德宏泰电子科技股份有限公司
深圳市腾讯计算机系统有限公司
中国航空综合技术研究所
北京航空航天大学
大成律师事务所
上海电器科学研究所(集团)有限公司
北京爱奇艺科技有限公司
京东数字科技控股有限公司
北京西普阳光教育科技股份有限公司
昆山炫生活信息技术股份有限公司
华为技术有限公司
美国科文顿柏灵律师事务所
中国船舶重工集团公司第七一六研究所
美团点评
西门子(中国)有限公司
编写人员(排名不分先后)
郭 锐 李慧芳 曹建峰 代 红 董 建 张 群 王燕妮 汪小娟
马珊珊 伍敏敏 赵泽睿 李 依 朱婷婷 刘雅洁 刘馨泽 赵蕾蕾
张钦坤 蔡雄山 周学峰 丁海俊 张凌寒 蔡克蒙 魏 铭 刘元兴
杨银剑 陈隋和 罗 嫣 于智精 罗治兵 李 燕 吴 鹏 高 畅
宁 皓 胡 鹰 康 丹 付振秋 何宇聪 邢 琳 王 涛 赵弋洋
王 莲 王小璞 高 伟 符海芳 何佳洲 赵 蕾 张 珺
目录
第一章 人工智能伦理研究的背景与意义..................................................................1
第二章 国内外人工智能伦理发展现状......................................................................3
2.1 国外发展现状................................................................................................3
2.2 国内发展现状................................................................................................6
第三章 人工智能技术的伦理风险..............................................................................8
3.1 算法相关的伦理风险....................................................................................9
3.1.1 算法安全............................................................................................9
3.1.2 算法可解释性..................................................................................10
3.1.3 算法决策困境..................................................................................14
3.2 数据相关的伦理风险..................................................................................15
3.2.1 隐私保护..........................................................................................15
3.2.2 个人敏感信息的识别和处理..........................................................17
3.3 应用相关的伦理风险..................................................................................19
3.3.1 算法歧视..........................................................................................19
3.3.2 算法滥用..........................................................................................24
3.4 长期和间接的伦理风险..............................................................................26
3.4.1 算法与就业......................................................................................26
3.4.2 算法与产权......................................................................................27
3.4.3 算法与竞争......................................................................................27
3.4.4 算法责任..........................................................................................28
第四章 人工智能伦理原则........................................................................................29
4.1 人类根本利益原则......................................................................................31
4.2 责任原则......................................................................................................31
第五章 伦理风险评估及其管理................................................................................33
5.1 人工智能伦理风险评估指标......................................................................33
5.1.1 算法方面..........................................................................................33
5.1.2 数据方面..........................................................................................34
5.1.3 社会影响方面..................................................................................34
I
5.2 行业实践指南..............................................................................................35
5.2.1 风险管理框架..................................................................................35
5.2.2 风险管理流程..................................................................................37
5.2.3 对相关人员进行培训......................................................................39
5.2.4 定期进行风险评估..........................................................................39
第六章 结论................................................................................................................40
附录:国外有关人工智能基本原则的文献..............................................................42
II
第一章 人工智能伦理研究的背景与意义
自 1956 年的达特茅斯会议(Dartmouth Conference)提出人工智能概念以来,
人工智能的发展经历了“三起两落”的曲折历程。2016 年 3 月,以 AlphaGo 以
4:1 战胜人类棋手为标志,人工智能开始逐步升温,并成为各国政府、科研机构、
产业界以及消费市场竞相追逐的对象。为了在新一轮国际竞争中掌握主导权,抢
占人工智能发展的制高点,各国投入大量的精力和资金,开展人工智能关键技术
的攻关与应用相关的研究与产品开发,并纷纷推出了不同的人工智能平台与产
品。
我国人工智能的应用范围极广。从行业应用的角度看,在制造、物流、医疗、
教育、安防等行业都有广泛应用。以制造业为例,当前的制造业不论是生产、流
通还是销售,都正趋于数据化、智能化。大数据和人工智能技术可以协助企业分
析生产过程中的全链路数据,实现生产效率、库存周转率、设备使用效率提升等
目标。在智能制造进程中,工业机器人成为人工智能的典型代表,成为智能制造
的重要实现端之一。就物流行业而言,人工智能的技术应用主要聚焦在智能搜索、
推理规划、模式识别、计算机视觉以及智能机器人等领域。如今,现代物流企业
纷纷尝试利用人工智能技术优化物流环节、提高物流效率。人工智能还能够帮助
企业根据市场销售情况、供应链生产情况、物流配送、仓储库存水平,甚至每个
环节的容错概率等等进行精准排产,最大限度利用已有资源。人工智能在医疗健
康主要的应用领域则包括五个方面:临床决策支持、临床辅助诊疗系统、患者管
理、辅助手术和患者照护的自动设备,即各种机器人、医疗机构的管理以及新药
的研发。
人工智能在自动驾驶、医疗、传媒、金融、工业机器人以及互联网服务等越
来越多领域和场景下得到应用,一方面带来了效率的提升、成本的降低,,另一
方面,人工智能系统的自主性使算法决策逐步替代了人类决策,而这种替代有时
非但没有解决已有的问题,还让已有的问题更难解决,甚至给社会带来了全新的
问题。这些问题不仅仅引发社会的广泛讨论,更是限制人工智能技术落地的重要
因素。其中最为典型的便是自动驾驶领域,社会的巨大需求与技术的不断成熟让
1
自动驾驶成为了全球炙手可热的研究与发展领域,而其潜在的风险又驱使人们去
反思技术带来的伦理问题。各国已有法律与政策的难以适用以及新政策的模糊不
清也给自动驾驶技术的落地造成了困难。面对伦理风险与其潜能一样巨大的人工
智能技术,人们急需一个广泛、普遍的伦理探讨,并在这些探讨的基础之上找到
路径、梳理规范,以保证人工智能的良性发展
目前,各国、各行业组织、社会团体和人工智能领域的商业公司纷纷提出人
工智能的伦理准则,对人工智能技术本身以及其应用进行规制。中国政府把人工
智能作为产业升级和经济转型的主要驱动力,鼓励、扶持并推动人工智能的发展。
在我国推动人工智能发展的关键时期,推动对人工智能伦理和社会问题的探讨有
极为重要的意义。因此,本报告以人工智能应用引发的社会伦理问题为出发点,
在充分了解人工智能系统带来的伦理、法律和社会影响的基础上,分析人工智能
应用即自主性决策结果而产生的社会公平、安全及问责等伦理道德问题,例如算
法决策与歧视、隐私与数据保护、算法安全与责任、算法解释、算法与产权、算
法与竞争、算法滥用以及强人工智能问题,通过遵循人工智能伦理原则与设计相
应的风险指标体系,对人工智能的研发和应用提供风险管理指引,以便为人工智
能伦理的行业实践提供初步的应用指南与建议,推动人工智能产业的良性、健康
发展。
2
第二章 国内外人工智能伦理发展现状
2.1 国外发展现状
步入第三次人工智能发展浪潮以来,人工智能成为国际竞争的新焦点,各国
各地区高度重视人工智能的发展,纷纷出台战略文件支持,促进人工智能的发展,
确保人工智能对经济和社会产生积极影响,并造福于个人和社会。人工智能伦理
由此成为各国人工智能政策的核心内容之一。
以欧盟为例,其以多举措推进人工智能伦理立法。早在 2015 年 1 月,欧盟
议会法律事务委员会(JURI)就决定成立一个工作小组,专门研究与机器人和
人工智能发展相关的法律问题。2016 年 5 月,法律事务委员会发布《就机器人
民事法律规则向欧盟委员会提出立法建议的报告草案》(Draft Report with
Recommendations to the Commission on Civil Law Rules on Robotics,简称《报告
草案》);同年 10 月,发布研究成果《欧盟机器人民事法律规则》(European Civil
Law Rules in Robotics)1。此后,欧盟委员会将“人工智能和机器人的伦理标准
等”纳入 2018 年欧盟立法工作的重点,要在人工智能和机器人领域呼吁高水平
的数据保护、数字权利和道德标准,并成立了人工智能工作小组,就人工智能的
发展和技术引发的道德问题制定指导方针。在此背景下,2018 年 3 月,欧洲科
学与新技术伦理组织(European Group on Ethics in Science and New Technologies)
发布《关于人工智能、机器人及“自主”系统的声明》(Statement on Artificial
Intelligence,Robotics and ‘Autonomous’Systems)2,呼吁为人工智能、机器人和
“自主”系统的设计、生产、使用和治理制定共同的、国际公认的道德和法律框
架。
而在近日,欧盟委员会人工智能高级专家组(The European Commission’s
High-Level Expert Group on Artificial Intelligence)于 2018 年 12 月 18 日发布了《关
于可信赖人工智能的伦理准则》(草案)(“Ethics Guidelines for Trustworthy AI”)
1 曹建峰.十项建议解读欧盟人工智能立法新趋势[EB/OL].[2019-03-25]http://www.tisi.org/4811.
2 欧洲科学与新技术伦理组织.关于人工智能、机器人及自主系统的声明[R].曹建峰译.北京:腾讯研究
院, 2018.
3