大数据系统测试方法及实践
陈敏刚
上海计算机软件技术开发中心
上海市计算机软件评测重点实验室
cmg@ssc.stn.sh.cn
2017/1/6
目录
1
2
3
大数据系统测试的挑战
大数据系统测试的方法论
大数据系统测试的实践
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
2
1
2
3
大数据系统测试的挑战
大数据系统测试的方法论
大数据系统测试的实践
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
3
当我们谈大数据测试时我们谈些什么?
大数据
系统
大数据
安全
基石
大数据
智能应用
促进
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
4
当我们谈大数据测试时我们谈些什么?
大数据系统:
大数据存储系统
HDFS、Alluxio、Hbase…
大数据分析处理系统
Hadoop、Spark、Storm…
功能性
兼容性
大数据
系统
性能
可靠性
大数据安全:
系统架构安全
数据安全
数据隐私
大数据
安全
基石
大数据
智能应用
促进
大数据智能算法:
推荐系统
分类算法
聚类算法
精准预测
深度学习
……
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
5
大数据系统测试“痛点”在哪儿?
• 测试数据
大规模—Volume
不同的类型—Variety
数据质量—Value
• 被测试系统
系统的复杂性—分布式架构
影响的因素纷繁复杂——数据质量、网络环境、应用、
虚拟化……
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
6
大数据系统测试“痛点”在哪儿?
• 测试方法
传统的测试工具不再适用
不同的模块需要不同的测试技术
自动化测试困难
缺乏测试监控的方案
诊断方案需要定制
• 测试专业人员
更专业的技能
专业人员的缺乏
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
7
1
2
3
大数据系统测试的挑战
大数据系统测试的方法论
大数据系统测试的实践
上海市计算机软件评测重点实验室
上海计算机软件技术开发中心
8