文档编号
文档版本
V1.0.0
T7 单板性能总体测试报告
密级
共 7 页
T7 单板总体性能测试报告 V1.0
余工
拟 制 :
审 核 :
批 准 :
日 期 :
日 期 :
日 期 :
2018-10-18
XXXXXX 科技有限公司
第 1 页 共 23 页
T7 单板性能总体测试报告
目录
第一章 概述 ................................................................................................................................ 4
第二章 测试活动 ........................................................................................................................ 4
2.1 测试用具 .............................................................................................................................. 4
2.2 测试范围 .............................................................................................................................. 4
2.3 测试目标 .............................................................................................................................. 4
2.4 测试方法 .............................................................................................................................. 5
2.4.1 稳定性测试(LTP).................................................................................................5
2.4.2 基准测试(unixbench)..........................................................................................5
2.4.3 压力测试(Monkey)............................................................................................. 6
2.4.4 压力测试(Monkeyrunner).................................................................................. 6
2.5 性能指标 .............................................................................................................................. 6
2.6 性能测试流程 ...................................................................................................................... 6
2.7 测试术语 .............................................................................................................................. 7
第三章 性能测试环境 ................................................................................................................8
3.1 硬件配置 .............................................................................................................................. 8
3.2 软件配置 .............................................................................................................................. 8
第四章 测试方案 ........................................................................................................................ 9
4.1 测试策略 ...................................................................................................................................... 9
4.1.1 人力资源...................................................................................................................9
4.2 测试策略 ...................................................................................................................................... 9
4.2.1 稳定性测试 LTP.................................................................................................................9
4.2.2 基准测试 unixbench.......................................................................................................10
4.2.3 压力测试 monkey...........................................................................................................10
4.2.4 压力测试 monkeyrunner................................................................................................11
第五章 测试结果描述和分析........................................................................................................11
5.1LTP 稳定性性能测试分析.................................................................................................11
5.2UnixBench 基准测试性能分析.........................................................................................18
5.3Monkey 压力测试性能分析 ...............................................................................................20
5.4Monkeyrunner 压力测试分析 ...........................................................................................22
第六章 测试结论 ......................................................................................................................23
第七章 遗留问题 ......................................................................................................................23
第八章 附件 .............................................................................................................................. 23
XXXXXX 科技有限公司
第 2 页 共 23 页
T7 单板性能总体测试报告
本文档主要描述单板性能测试中的测试内容、测试方法、测试策略等。
摘要
日期
2018-10-18
版本
1.0 余米生
作者
1.0
1.0
修改历史
修改内容
评审号 更改请求号
新建。
修改
更新
性能测试
性能测试回
归
注释:评审号为评审记录表的编号。更改请求号为文档更改控制工具自动生成的编号。
XXXXXX 科技有限公司
第 3 页 共 23 页
T7 单板性能总体测试报告
第一章 概述
本次测试报告为 T7 单板系统的性能测试总结报告,目的在于总结性能测试工作,并分
析测试结果,描述系统是否符合 T7 系统的性能需求。
通过一个较为真实的性能模拟测试来给出答案,通过测试和分析为系统性能的提升提供
一些重要参考数据,以供后期系统在软硬件方面的改善和完善。
预期参考人员包括用户、测试人员、开发人员、项目管理者、质量管理人员和需要阅读
本报告的高层经理。
第二章 测试活动
2.1 测试用具
工具
LTP
Unixbench
Monkey
测试内容
稳定性测试
性能指标
备注
72 小时长期稳定性
获取性能跑分指标
压力和健壮性测试
崩溃率大于 1/2 万
Monkeyrunner
压力测试和 UI
模拟人工点击操作
1
2
3
4
2.2 测试范围
此次性能测试范围是 T7 单板整个硬件,软件,系统进行的一个全量性能测试和评估,
找出其中的性能瓶颈。
2.3 测试目标
本次测试是针对公司 T7 单板性能而进行的测试,主要需要获得如下的测试指标。
1、系统的稳定负载能力:系统是否能够支持 72 小时正常运行
2、系统的极限负载能力:系统能够支持的最多任务数量。
XXXXXX 科技有限公司
第 4 页 共 23 页
3、系统的性能指标参数:即得出系统的各项性能指标参数,为后续优化提供参考
T7 单板性能总体测试报告
2.4 测试方法
总体方法: T7 单板 USB 连接 linux 或 window PC 机,通过 adb 命令进入 T7 系统进
行相关操作,如运行 LTP、unixbench 和 monkey 等工具命令或编写的脚本,开启 logcat 日志
等进行监控,最终对输出的日志进行分析,找出异常和性能瓶颈。
本次将进行基准测试,压力数测试,稳定性测试和性能回归测试 4 种类型测试,并对主
要测试指标进行记录和分析。
工具
LTP
Unixbench
Monkey
Monkeyrunner
1
2
3
4
测试内容
稳定性测试
基准测试
备注
2000 用例,72 小时运行
获取性能跑分指标
压力和健壮性测试
崩溃率大于 1/2 万
压力测试和回归测试
模拟人工点击操作
2.4.1 稳定性测试(LTP)
重点测试 T7 系统在高负载压力下运行的稳定性。
采用 LTP 测试工具,为系统提供足够的压力,评估在超越最大负载的情况下系统的运行,
是系统在正常的情况下对某种负载强度的承受能力的考验 。
LTP 套件的测试用例:包含了超过 2000 个测试用例,涵盖了内核的大多数接口,如系统调
用、内存、IPC、I/O、文件系统和网络。
2.4.2 基准测试(unixbench)
重点测试 T7 系各方面的性能指标。
unixbench 是一套 unix 系统基准测试套件。unixbench 的设计目标是为类 unix 系统提供
一套基本的指标,所以有许多项目测试系统各方面的性能。各项的测试有得分,然后有一个
XXXXXX 科技有限公司
第 5 页 共 23 页
T7 单板性能总体测试报告
综合的得分,这样可以很方便的通过分数去比较。
2.4.3 压力测试(Monkey)
重点测试 T7 系统的崩溃率,crash 和异常。
Monkey 测试是 Android 自动化测试的一种手段。Monkey 测试本身非常简单,就是模拟
用户的按键输入,触摸屏输入,手势输入等,看设备多长时间会出异常。
当 Monkey 程序在模拟器或真实设备运行的时候,程序会产生一定数量或一定时间内的
随机模拟用户操作的事件, 如点击,按键,手势等, 以及一些系统级别的事件。通常也称
随机测试或者稳定性测试。
2.4.4 压力测试(Monkeyrunner)
重点测试 T7 系统的性能、UI 并进行回归测试。
monkeyrunner,您可以通过命令行,或写出一个 Python 程序去安装一个 Android 应用
程序或测试包,运行它,向它发送模拟击键,截取它的用户界面图片,并将截图存储于工作
站上。
2.5 性能指标
在本次性能测试,由于没有具体和明确的性能指标,所以各类测试指标包括测试中应该
达到的某些性能指标和相关服务器的性能指标,都应该受到以下三个基本条件的约束。
总体性能达到芯片厂商性能数据的 80%以上
崩溃率大于业界标准 1/2 万,总运行 25 万次点击无崩溃
支持 72 小时长期运行,无明显异常和故障停止
2.6 性能测试流程
通过自动化测试工具模拟真实用户点击,进行性能测试。通过测试工具对测试过程中系
统各点进行监控,每一次测试结束后工具自动生成结果报告供分析使用。
XXXXXX 科技有限公司
第 6 页 共 23 页
T7 单板性能总体测试报告
2.7 测试术语
详细见各子文档
XXXXXX 科技有限公司
第 7 页 共 23 页
T7 单板性能总体测试报告
第三章 性能测试环境
3.1 硬件配置
T7 单板名称
配置/详细信息
数量
Modem
CPU info
CPU
Memory
ARMv7 Processor rev 5 (V7l)
1104M
6 CPUs in system
1G
1
1
1
1
备注
32 位
约 1.1G 主频
六核
3.2 软件配置
序号
软件名称
服务器
1
2
操作系统
Linux
ubuntu-18.04.1-desktop-amd64
其他
--
备注
64
--
XXXXXX 科技有限公司
第 8 页 共 23 页