大数据标准化白皮书
(2018 版)
编写单位:中国电子技术标准化研究院
全国信息技术标准化技术委员会大数据标准工作组
二零一八年三月
《大数据标准化白皮书》(2018 版)
顾问指导组
梅 宏 谢少锋 戴 红 赵 波 林 宁
李冠宇 孙文龙 商 超 刘大山 傅永宝
侯建仁
全国信息技术标准化技术委员会大数据标准工作组
组 长:梅 宏
副组长:孙文龙 杜小勇 吴建明 闵万里
秘书长:吴东亚
联络员:刘大山 傅永宝 侯建仁
编写单位(排名不分先后)
中国电子技术标准化研究院
江苏省经济和信息化委员会
勤智数码科技股份有限公司
成都市标准化研究院
神州数码系统集成服务有限公司
中兴通讯股份有限公司
北京大学
华为技术有限公司
北京市金杜律师事务所
成都四方伟业软件股份有限公司
浪潮软件集团有限公司
重庆大数据研究院有限公司
美林数据技术股份有限公司
江苏中堃数据技术有限公司
陕西省信息化工程研究院
深圳市华傲数据技术有限公司
北京东方国信科技股份有限公司
北京软件和信息服务交易所有限公司
湖北省标准化与质量研究院
星环信息科技(上海)有限公司
中电长城网际系统应用有限公司
九次方大数据信息集团有限公司
交通运输部科学研究院
中国科学院信息工程研究所(信息
安全国家重点实验室)
湖北省楚天云有限公司
交通运输部科学研究院
编写组(排名不分先后)
代 红 吴东亚 董 建 张 群 刘宇峰 李 正 张慧敏
马珊珊 光 亮 尹 卓 黄先芝 于 洋 马红霞 张 勇
张永丽 谢秋琪 闵京华 郭亚茹 刘 莎 马洪杰 李佳承
王 东 卫凤林 叶润国 宁宣凤 周 刚 刘 斌 魏 清
何运昌 于铁强 周洪明 胡 荣 夏 天 杨 坤 赵 茅
张 巍 赵俊峰
目 录
1 前言 ............................................................ 1
1.1 研究背景..................................................... 1
1.2 研究目标及意义............................................... 2
2 相关政策法规 .................................................... 3
2.1 国外政策..................................................... 3
2.1.1 美国大数据政策 ........................................... 3
2.1.2 欧盟大数据政策 ........................................... 4
2.1.3 英国大数据政策 ........................................... 5
2.1.4 法国大数据政策 ........................................... 5
2.1.5 日本大数据政策 ........................................... 6
2.1.6 印度大数据政策 ........................................... 7
2.1.7 澳大利亚大数据政策 ....................................... 7
2.2 国内政策..................................................... 8
2.2.1 国家和行业政策 ........................................... 8
2.2.2 国家大数据综合试验区 .................................... 10
2.2.3 地方政策 ................................................ 13
2.3 安全隐私法律法规............................................ 15
2.3.1 国内外立法现状 .......................................... 16
2.3.2 大数据立法趋势和对产业的影响 ............................ 19
3 大数据发展现状和趋势分析 ....................................... 21
3.1 大数据核心产业链............................................ 21
3.1.1 大数据产业生态商业角色构成 .............................. 21
3.1.2 大数据产业生态商业模式分析 .............................. 23
3.2 重点领域应用................................................ 24
3.2.1 社会管理与公共服务 ...................................... 24
3.2.2 农业 .................................................... 31
3.2.3 制造业 .................................................. 32
3.2.4 电力及水务领域 .......................................... 33
3.2.5 通信与电子商务 .......................................... 35
3.2.6 交通运输领域 ............................................ 37
3.2.7 邮政领域 ................................................ 38
3.2.8 金融领域 ................................................ 39
3.2.9 科学研究 ................................................ 40
3.2.10 教育领域 ................................................ 41
3.2.11 卫生领域 ................................................ 43
I
3.2.12 文化领域 ................................................ 44
3.3 大数据发展趋势分析.......................................... 44
4 大数据参考架构 ................................................. 47
4.1 参考架构.................................................... 47
4.2 参考架构中涉及的相关内容.................................... 49
4.2.1 系统协调者 .............................................. 49
4.2.2 数据提供者 .............................................. 49
4.2.3 大数据应用提供者 ........................................ 50
4.2.4 大数据框架提供者 ........................................ 52
4.2.5 数据消费者 .............................................. 54
4.2.6 安全和隐私 .............................................. 54
4.2.7 管理角色 ................................................ 57
5 大数据标准化现状 ............................................... 59
5.1 国外标准化现状.............................................. 59
5.1.1 ISO/IEC JTC 1 ............................................. 59
5.1.2 ITU-T ..................................................... 61
5.1.3 IEEE BDGMM ................................................ 62
5.1.4 NIST ...................................................... 63
5.2 国内标准化现状.............................................. 64
5.2.1 国家标准现状 ............................................ 64
5.2.2 行业及地方标准现状 ...................................... 66
6 大数据标准体系 ................................................. 68
6.1 大数据标准体系框架.......................................... 68
6.2 标准明细表.................................................. 70
6.3 重点标准描述................................................ 75
7 我国大数据标准化工作建议 ....................................... 77
7.1 完善大数据标准体系建设...................................... 77
7.2 加强大数据标准的宣传推广工作................................ 77
7.3 加强大数据重点标准应用示范工作.............................. 77
7.4 加强大数据标准化在数据治理领域的推进作用.................... 78
7.5 加快大数据标准化人才队伍的培养.............................. 78
7.6 加快我国大数据标准的国际化步伐.............................. 78
8 附件:成功案例 ................................................. 79
II
1 前言
1.1 研究背景
全球已步入大数据时代,互联网上的数据量每两年会翻一番。截止到 2013
年,全球数据量为 4.3 泽字节,2020 年有望达到 40 泽字节。如果将数据视为一
种生产资料,大数据将是下一个创新、竞争、生产力提高的前沿,是信息时代新
的财富,价值堪比石油。大数据所能带来的巨大商业价值,被认为将引领一场足
以与 20 世纪计算机革命匹敌的巨大变革。当前,世界各国政府和国际组织都认
识到了大数据的重要作用,将开发利用大数据作为夺取新一轮竞争制高点的重要
抓手,世界工业发达国家纷纷制定相关政策,积极推动大数据相关技术的研发与
落实。
我国正处于数字经济发展的转型时期,信息的公开、共享与服务成为时代发
展的主题。信息逐渐成为与物质和能源同等重要的资源,以开发和利用信息资源
为目的的经济活动迅速扩大,逐渐占据或超越工业活动在国民经济活动中的地位。
大数据的出现是跨学科技术与应用发展的结果。对于大数据,自然科学家强调在
网络虚拟环境下对于密集型数据的研究方法,社会科学家则看重密集型数据后面
隐藏的价值与推动社会发展的模式。目前大数据在支撑履行政府职能、保障公共
安全、实施社会治理、支持重大决策和改进公共服务等方面发挥出越来越重要的
作用。
党中央、国务院高度重视大数据发展,将大数据上升为我国国家战略之一。
党的十九大明确提出“推动互联网、大数据、人工智能和实体经济深度融合”。
国务院《促进大数据发展行动纲要》(国发〔2015〕50 号)明确指出要“建立标
准规范体系”。工信部 2017 年初发布的《大数据产业发展规划(2016-2020 年)》
(工信部规[2016]412)中部署了“推进大数据标准体系建设,加强大数据标准
化顶层设计,逐步完善标准体系,发挥标准化对产业发展的重要支撑作用”的重
点任务。2017 年 5 月 14 日,习近平在“一带一路”国际合作高峰论坛上发表讲
话“要坚持创新驱动发展,加强在数字经济、人工智能、纳米技术、量子计算机
等前沿领域合作,推动大数据、云计算、智慧城市建设,连接成 21 世纪的数字
1
丝绸之路。”2017 年 12 月 8 日习近平在中共中央政治局第二次集体学习时强调
“实施国家大数据战略加快建设数字中国”。
2016 年,在工信部信软司和国标委工业二部的指导下,中国电子技术标准
化研究院组织国内相关产、学、研单位的专家针对大数据应用、产业、技术与标
准化需求进行了问卷调研。通过对调研数据的分析,初步形成了对于大数据应用、
技术、产业发展以及标准化需求的分析成果。作为业界共同研究的基础,由 30
家单位共同编制形成并发布了《大数据标准化白皮书》2016 版,得到了业界广
泛关注。2018 版白皮书在 2016 版的基础上更新了大数据政策,分析了大数据发
展的最新趋势和重点领域的应用实践,完善了大数据标准体系,给出了最新的大
数据标准化工作建议,大数据标准相关成果的推进在本版本中也有所体现。
1.2 研究目标及意义
本白皮书介绍了国内、国外主要国家在大数据领域的发展战略、发展现状和
趋势,描述了大数据的核心产业链以及大数据重点领域的应用实践,力图从应用、
技术、产业、标准等角度,勾画出大数据发展的整体轮廓;从数据生存周期的角
度提出大数据参考架构;同时抛开其他影响因素,从数据自身的角度提出在不断
创新应用与服务模式下的大数据标准体系及大数据标准化路线;最后提出了我国
大数据标准化工作建议。
本白皮书立足于大数据产业发展的社会转型历史时期所具有的政策、经济与
文化等特点,分析处于初期发展阶段的大数据产业对于经济、社会的作用和影响,
旨在与业界分享我们在大数据领域的研究成果和实践经验,呼吁社会各界共同关
注大数据的政策研究、技术投入、标准建设与服务应用,共同推动大数据的发展,
提升社会整体决策与服务管理能力。
2
2 相关政策法规
2.1 国外政策
2.1.1 美国大数据政策
2009 年 5 月,美国政府推出 Data .gov,这是为了增加政府资料透明度而设
立的一系列网站。宣布实施“开放政府计划”(OpenGovernmentInitiative),这
项计划提出利用整体、开放的网络平台,公开政府信息、工作程序和决策过程,
以鼓励公众交流和评估,增进政府信息的可及性,强化政府责任,提高政府效率,
增进与企业及各级政府间的合作,推动政府管理向开放、协同、合作迈进。联邦
政府同时开通了旗舰级项目——“一站式”政府数据下载网站 Data.gov,只要
不涉及隐私和国家安全的相关数据,均需全部在该网站公开发布。Data.gov 的
上线意味着美国政府数据仓库的正式建立,标志着美国政府信息进一步公开与透
明。
2012 年 3 月,美国白宫科技政策办公室发布《大数据研究和发展计划》,成
立“大数据高级指导小组”,旨在大力提升美国从海量复杂的数据集合中获取知
识和洞见的能力。具体实现三个目标:(1)开发能对大量数据进行收集、存储、
维护、管理、分析和共享的最先进的核心技术;(2)利用这些技术加快科学和工
程学领域探索发现的步伐,加强国家安全,转变现有的教学方式;(3)扩大从事
大数据技术开发和应用的人员数量。
2013 年 11 月,美国信息技术与创新基金会发布《支持数据驱动型创新的技
术与政策》。建议世界各国的政策制定者应采取措施,鼓励公共部门和私营部门
开展数据驱动型创新。指出“数据驱动型创新”作为崭新命题,所面临的包括新
概念、新技术的挑战;并就政府如何支持数据型驱动的创新提出了建议:一是政
府应大力培养所需的有技能的劳动力;二是政府要推动数据相关技术的研发。
2014 年 5 月,美国总统行政办公室发布《大数据:把握机遇,保存价值》。
对美国大数据应用与管理的现状、政策框架和改进建议进行了集中阐述;并就保
护个人隐私的价值、数字时代负责任的教育创新、大数据与歧视、执法与安全保
3