前言
现网投诉类问题的复现,一直没有标准的测试规范,测试人员的测试随机性很大,测试结果也会随着测试方法不同千差万别,最终导致问题无法定位或者反复测试。
针对以往产品的经验,我们经常遇到如下痛点:
- Log不全,没有AP侧log或者modem侧log;没有主叫或者被叫log;没有对比机log;log配置文件错误,没有抓到需要的log等等;
- 测试组提供的log超大(动辄好几百MB甚至上G);
- 没有提供发生问题的时间点;
- 测试情况日报内描述不清晰;
如上这些问题,可能导致问题反复沟通不清楚,要求复测,重新测试,重新分析,研发分析效率低,且增加沟通成本,浪费了人力物力,产生了无效工作量,甚至可能产生错误的分析结论。为了减少这些问题,提高沟通效率,减少人力浪费,提高研发分析效率,我们总结以往的经验,联合研发测试,共同输出了针对各类问题的测试指导规范。
适用范围
本测试指导适用于:BETA外场测试,CHR外场测试,EWP问题外场测试,其他类型的测试也希望能够参考此测试规范。
使用人员:协议开发、协议测试、协议PM
测试准备和校准
入口条件
软件条件:
1 正式转测试的版本,未经过任何手动修改配置项或者设置某些特殊功能菜单(比如关闭呼叫等待,开启呼叫转移等操作。专项测试除外),软件版本基本功能稳定;
2 BETA或者EWP问题测试,要求软件版本与用户问题使用版本一致,验证问题除外;
3 log工具要使用与测试问题匹配的log_config。比如高通log需要抓语音包,需要采用能够抓到语音帧的logmask;
4 测试前要同步所有测试机,对比机,辅助机的手机时间,如果涉及PC,要同步PC时间,保持所有时间的一致性后进行测试;
5 BETA/EWP外场测试需要样机的射频OTA指标、软件版本稳定;
射频OTA:要求OTA测试达标样机,并保证各网络制式的基本频点OTA数据达标;
软件版本:要求软件版本与用户问题使用版本一致;
硬件工具
与用户问题一致的SIM卡、笔纸、USB线、便携机、测试机、对比机、辅助机(如果是Iphone手机,请备好USB线转接头)等硬件工具;
测试机与对比机
- 测试机
- 测试机选择:与用户上报问题的机器子型号保持一致;
- 测试机预装软件:安装最新版本Beta Club、AresRT并确认可用;
//如果样机有保密外壳,需要确认好对于外场测试的影响;
- 对比机
- 对比机选择:单卡问题选择IPHONE6/IPHONE6+为对比机;如果用户上报为双卡问题或者电信SVLTE问题,选择SAMSUNG作为对比机(移动联通考虑NOTE4、电信考虑S5);涉及语音质量类问题,对比机使用KNT/MLA,Hisi平台电信问题对比MHA。
- 对比机预装软件:三星对比机请安装AresRT并确认可用;Iphone手机请确认log可正常抓取并能够导出;华为对比机安装Beta 俱乐部。
- 参考全解寻呼机
- 寻呼机选择:被叫不通问题必须携带:FRD寻呼机(LTE);MLA/CAN寻呼机(CDMA)
- 寻呼机预装软件:安装最新版本Beta Club、AresRT并确认可用;软件版本需要和张文莉/付雷确认
便携机
请安装配置ADB、QCAT、QPST、QXDM、HIDS、HiMS、iTunes等工具并确认可用;请安装测试机和对比机的驱动并确认可用;请将相应的logmask下载到便携机;(三方合作员工安装HIDS&HiMS需要申请特殊权限)
被叫不通问题-硬件资源:
- 便携机需要安装Call Center工具,同时需要一部辅助机和一张流量充足的SIM卡搭建热点;(三方合作员工无Call Center只能用MO/MT方式进行测试)
- 准备几部辅助机和SIM卡(数量=测试机+对比机);
- 准备几部可用的座机(数量=测试机+对比机);
注意:①、②、③任选其一即可,再准备几张同一寻呼组的SIM卡(数量=测试机+对比机),如果没有足够数量的同一寻呼组的卡,请带一部全解寻呼的手机;
掉话问题-硬件资源:
① 携机需要安装Call Center工具,同时需要一部辅助机和一张流量充足的SIM卡搭建热点;(三方合作员工无Call Center只能用MO/MT方式进行测试)
② 准备几部辅助机和语音包充足的SIM卡(数量=测试机+对比机),同时辅助机需要安装Beta Club并确认可用;
③ 准备几部可用的座机(数量=测试机+对比机);
注意:①、②、③任选其一即可;
单通问题-硬件资源:
请准备几部辅助机和语音包充足的SIM卡(数量=测试机+对比机),同时辅助机需要安装Beta Club并确认可用,且将Beta Club配置文件选取正确。
全部测试问题-软件资源要求:
※重要:EWP测试时若为用户机安装Beta Club测试,测试完毕导出log后,一定要卸载用户机中Beta Club,一定不允许用户自己抓取log。
测试准备/Checklist
测试前打印此表格作为Checklist |
|||
准备项目 |
描述 |
检查结果 |
备注说明 |
地点 |
根据用户回访的详情一致 |
|
|
Cell ID和信号强度 样机 |
根据已有log或CHRlog提供的信息,提供Cell ID和信号强度范围(BETA必选/EWP可选) |
|
|
※重要:样机硬件检测,无重大损坏或者摔过,包括测试机和对比机 |
|
|
|
测试样机OTA指标确认达到外场测试要求 |
|
|
|
若测试多部样机,样机需要编号,并且和IMEI号&S/N号对应记录 |
|
|
|
记录测试样机和对比机IMEI/SN/硬件版本 |
|
|
|
※重要:确认好此次测试的样机软件版本 |
|
|
|
测试样机root已经升级且能够抓取LOG(EWP可选,用户机不可root) |
|
|
|
测试机和对比机电池电量充满 |
|
|
|
全解寻呼机 SIM卡 |
FRD(AL)全解寻呼机(接受LTE寻呼),电信使用高通机器(关闭时隙模式,详见附件4),包含软硬件及测试软件,log抓取软件(被叫不通问题必选) |
|
|
测试SIM卡通过表格记录,包括SIM卡编号,卡后面的数字和手机号码等对应关系
|
|
|
|
查询SIM卡余额和剩余套餐资源足够本论测试,若不够及时充值 |
|
|
|
确认好SIM卡在手机上都可用 |
|
|
|
SIM卡(可选) SD卡 |
移动/联通 :同一寻呼组的SIM卡 电信:同一频点的SIM卡 |
|
|
为保证存储空间足够,SD卡建议32GB |
|
|
|
记录好SD卡编号,和手机对应关系 |
|
|
|
PC |
※重要:需要SD卡抓LOG的手机,默认存储设置到外置SD卡,并确认抓取在外置SD卡 |
|
|
便携机上LOG抓取工具均已经安装 |
|
|
|
便携机上手机驱动已经安装 |
|
|
|
测试apk |
需要PC上进行的测试工具已经安装,FTP测试时的客户端,Netmeter |
|
|
※重要:测试apk已安装在测试机和对比机上 |
|
|
|
※重要:测试apk验证可用 |
|
|
|
※重要:测试apk打印结果正确 |
|
|
|
LOG工具 |
测试apk后台保存的打印结果正确 |
|
|
LOG工具已经安装在测试机和对比机上 |
|
|
|
若对比机不能用log工具则确认通过PC可以抓取LOG |
|
|
|
LOG工具验证可用 |
|
|
|
※重要:LOG打印和正常保存 |
|
|
|
时间校准 |
※重要:测试机、对比机、辅助机时间和电脑时间都需要校准且同步,误差在2秒内 |
|
|
结果记录 |
测试结果记录表格具备 |
|
|
问题记录 |
测试问题记录表格具备 |
|
|
USB线 |
测试机和对比机是否需要连接USB线需确认 |
|
|
是否双卡 |
若测试机为双卡手机,测试时两个卡槽都插卡测试(BETA&EWP需按照用户反馈场景测试) |
|
|

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/26376.html