2025年通信协议测试Beta&EWP问题测试规范

通信协议测试Beta&EWP问题测试规范前言 现网投诉类问题的复现 一直没有标准的测试规范 测试人员的测试随机性很大 测试结果也会随着测试方法不同千差万别 最终导致问题无法定位或者反复测试 针对以往产品的经验 我们经常遇到如下痛点 Log 不全 没有 AP 侧 log 或者 modem 侧 log

大家好,我是讯享网,很高兴认识大家。
  1. 前言

现网投诉类问题的复现,一直没有标准的测试规范,测试人员的测试随机性很大,测试结果也会随着测试方法不同千差万别,最终导致问题无法定位或者反复测试。

针对以往产品的经验,我们经常遇到如下痛点:

  1. Log不全,没有AP侧log或者modem侧log;没有主叫或者被叫log;没有对比机log;log配置文件错误,没有抓到需要的log等等;
  1. 测试组提供的log超大(动辄好几百MB甚至上G);
  1. 没有提供发生问题的时间点;
  1. 测试情况日报内描述不清晰;

如上这些问题,可能导致问题反复沟通不清楚,要求复测,重新测试,重新分析,研发分析效率低,且增加沟通成本,浪费了人力物力,产生了无效工作量,甚至可能产生错误的分析结论。为了减少这些问题,提高沟通效率,减少人力浪费,提高研发分析效率,我们总结以往的经验,联合研发测试,共同输出了针对各类问题的测试指导规范。

  1. 适用范围

本测试指导适用于:BETA外场测试,CHR外场测试,EWP问题外场测试,其他类型的测试也希望能够参考此测试规范。

使用人员:协议开发、协议测试、协议PM

  1. 测试准备和校准

  1. 入口条件

软件条件:

1 正式转测试的版本,未经过任何手动修改配置项或者设置某些特殊功能菜单(比如关闭呼叫等待,开启呼叫转移等操作。专项测试除外),软件版本基本功能稳定;

2 BETA或者EWP问题测试,要求软件版本与用户问题使用版本一致,验证问题除外;

3 log工具要使用与测试问题匹配的log_config。比如高通log需要抓语音包,需要采用能够抓到语音帧的logmask;

4 测试前要同步所有测试机,对比机,辅助机的手机时间,如果涉及PC,要同步PC时间,保持所有时间的一致性后进行测试;

5 BETA/EWP外场测试需要样机的射频OTA指标、软件版本稳定;

射频OTA:要求OTA测试达标样机,并保证各网络制式的基本频点OTA数据达标;

软件版本:要求软件版本与用户问题使用版本一致;

  1. 硬件工具

与用户问题一致的SIM卡、笔纸、USB线、便携机、测试机、对比机、辅助机(如果是Iphone手机,请备好USB线转接头)等硬件工具;

  1. 测试机与对比机

  1. 测试机
  • 测试机选择:与用户上报问题的机器子型号保持一致;
  • 测试机预装软件:安装最新版本Beta Club、AresRT并确认可用;

//如果样机有保密外壳,需要确认好对于外场测试的影响;

  1. 对比机
  • 对比机选择:单卡问题选择IPHONE6/IPHONE6+为对比机;如果用户上报为双卡问题或者电信SVLTE问题,选择SAMSUNG作为对比机(移动联通考虑NOTE4、电信考虑S5);涉及语音质量类问题,对比机使用KNT/MLA,Hisi平台电信问题对比MHA。
  • 对比机预装软件:三星对比机请安装AresRT并确认可用;Iphone手机请确认log可正常抓取并能够导出;华为对比机安装Beta 俱乐部。
  1. 参考全解寻呼机
  • 寻呼机选择:被叫不通问题必须携带:FRD寻呼机(LTE);MLA/CAN寻呼机(CDMA)
  • 寻呼机预装软件:安装最新版本Beta Club、AresRT并确认可用;软件版本需要和张文莉/付雷确认
  1. 便携机

请安装配置ADB、QCAT、QPST、QXDM、HIDS、HiMS、iTunes等工具并确认可用;请安装测试机和对比机的驱动并确认可用;请将相应的logmask下载到便携机;(三方合作员工安装HIDS&HiMS需要申请特殊权限)

  1. 被叫不通问题-硬件资源:

  1. 便携机需要安装Call Center工具,同时需要一部辅助机和一张流量充足的SIM卡搭建热点;(三方合作员工无Call Center只能用MO/MT方式进行测试)
  1. 准备几部辅助机和SIM卡(数量=测试机+对比机);
  1. 准备几部可用的座机(数量=测试机+对比机);

注意:①、②、③任选其一即可,再准备几张同一寻呼组的SIM卡(数量=测试机+对比机),如果没有足够数量的同一寻呼组的卡,请带一部全解寻呼的手机;

  1. 掉话问题-硬件资源:

① 携机需要安装Call Center工具,同时需要一部辅助机和一张流量充足的SIM卡搭建热点;(三方合作员工无Call Center只能用MO/MT方式进行测试)

② 准备几部辅助机和语音包充足的SIM卡(数量=测试机+对比机),同时辅助机需要安装Beta Club并确认可用;

③ 准备几部可用的座机(数量=测试机+对比机);

注意:①、②、③任选其一即可;

  1. 单通问题-硬件资源:

请准备几部辅助机和语音包充足的SIM卡(数量=测试机+对比机),同时辅助机需要安装Beta Club并确认可用,且将Beta Club配置文件选取正确。

  1. 全部测试问题-软件资源要求:

※重要:EWP测试时若为用户机安装Beta Club测试,测试完毕导出log后,一定要卸载用户机中Beta Club,一定不允许用户自己抓取log。

  1. 测试准备/Checklist

测试前打印此表格作为Checklist

准备项目

描述

检查结果

备注说明

地点

根据用户回访的详情一致

Cell ID和信号强度

样机

根据已有log或CHRlog提供的信息,提供Cell ID和信号强度范围(BETA必选/EWP可选)

※重要:样机硬件检测,无重大损坏或者摔过,包括测试机和对比机

 

测试样机OTA指标确认达到外场测试要求

 

若测试多部样机,样机需要编号,并且和IMEI号&S/N号对应记录

 

记录测试样机和对比机IMEI/SN/硬件版本

 

※重要:确认好此次测试的样机软件版本

 

测试样机root已经升级且能够抓取LOG(EWP可选,用户机不可root)

 

测试机和对比机电池电量充满

 

全解寻呼机

SIM卡

FRD(AL)全解寻呼机(接受LTE寻呼),电信使用高通机器(关闭时隙模式,详见附件4),包含软硬件及测试软件,log抓取软件(被叫不通问题必选)

测试SIM卡通过表格记录,包括SIM卡编号,卡后面的数字和手机号码等对应关系

 

查询SIM卡余额和剩余套餐资源足够本论测试,若不够及时充值

 

确认好SIM卡在手机上都可用

 

SIM卡(可选)

SD卡

移动/联通 :同一寻呼组的SIM卡

电信:同一频点的SIM卡

为保证存储空间足够,SD卡建议32GB

 

记录好SD卡编号,和手机对应关系

 

PC

※重要:需要SD卡抓LOG的手机,默认存储设置到外置SD卡,并确认抓取在外置SD卡

 

便携机上LOG抓取工具均已经安装

 

便携机上手机驱动已经安装

测试apk

需要PC上进行的测试工具已经安装,FTP测试时的客户端,Netmeter

※重要:测试apk已安装在测试机和对比机上

 

※重要:测试apk验证可用

 

※重要:测试apk打印结果正确

 

LOG工具

测试apk后台保存的打印结果正确

 

LOG工具已经安装在测试机和对比机上

 

若对比机不能用log工具则确认通过PC可以抓取LOG

 

LOG工具验证可用

 

※重要:LOG打印和正常保存

 

时间校准

※重要:测试机、对比机、辅助机时间和电脑时间都需要校准且同步,误差在2秒内

 

结果记录

测试结果记录表格具备

 

问题记录

测试问题记录表格具备

 

USB线

测试机和对比机是否需要连接USB线需确认

 

是否双卡

若测试机为双卡手机,测试时两个卡槽都插卡测试(BETA&EWP需按照用户反馈场景测试)

小讯
上一篇 2025-01-28 21:58
下一篇 2025-03-04 09:09

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/26376.html