XXX公司自动化测试框架咨询项目投标文件
场景分析图
1)
并发数执行情况(Running Vusers)
并发数执行情况反映了在场景执行过程中各个并发数的运行情况,成功了多
少,失败了多少,是否按照既定的场景执行计划运行,是否达到预期的执行效果,如果在某个时间,执行失败了,或者存在异常,那么并发数的图表将是波动,可以从图中直观的看出来,同样根据场景中Error的信息,定位在何时出现了错误,此时执行的并发数是多少。并发数的图表如下:
31
XXX公司自动化测试框架咨询项目投标文件
并发数执行情况图
2)事务通过数(Throughput)
事务通过数的意思是每个特定时间间隔内通过的事务数,如果随着场景执行时间的推延,通过事务数曲线应该是平缓的,如果突然上升,则可能是服务不稳定,或者网络因素导致的,如果持续下降,则表示服务的处理能力在下降,此时可以查看服务器段是否有进程堵塞,或者服务器的连接数不够,也可能是网络带宽不够。
32
XXX公司自动化测试框架咨询项目投标文件
事务通过数图
3) 平均事务响应时间(Average Transaction Response Time)
平均事务响应时间在整个测试过程中是一个很重要的参考指标,他能清晰的反映出场景执行过程中,每个事务的执行时长,整个业务中哪个操作最耗时等等。场景执行结束后,可以根据这个图表分析出在一定响应时间要求下,系统可支持的并发数,假如我们要求在查询的时候要求这个返回结果的时候不超过5秒,那么可以在场景中找到对应的SubQue事务在处理时间为5秒左右的时间点,再从Running Vuser图中找到对应的时间点,查看对应的并发用户数。同样,在整个执行过程中,当并发数达到一定数值后,平均事务响应时间曲线应该是平缓的,如果出现突然升高或者降低的情况,则表示系统存在异常,这样我们可以找到这个时间点去查看服务器端的运行日志,查找原因。
平均事务响应时间图
4) 服务器资源分析
服务器资源监控利用的是nmon工具,在得出分析结果后,可以查看对应的图表进行分析。
33
XXX公司自动化测试框架咨询项目投标文件
3.6.2.3.2.5.5重复测试保证系统发布的高性能
负载测试是一个重复过程。每次处理完一个出错情况,您都需要对您的应用程序在相同的方案下,再进行一次负载测试。以此检验您所做的修正是否改善了运行性能。
3.6.2.4测试缺陷管理
对缺陷和问题进行分析有助于经理们对应用部署做出相应的决策。缺陷管理支持整个缺陷生命周期——从初始问题发现,直至缺陷修复和验证修复,这样就确保了缺陷在定位之前,不会被忽视和关闭。在任何新的缺陷被提交之前,Quality Center 会检查数据库以发现相似的缺陷,最大程度地减少重复缺陷,并消除了手动检查的需要。
可以定义缺陷创建和显示界面,不同角色人员可以浏览到不同的字段和信息。 可以建立缺陷和缺陷,测试执行,测试案例和需求之间的关联,便于对缺陷进行全方位的跟踪。
可以对缺陷根据不同的条件进行查询,对列表展现可以进行分组,便于查看。
34
XXX公司自动化测试框架咨询项目投标文件
3.6.2.5测试报告管理
测试流程中生成了大量的数据。度身定制的图示和报告帮助用户分析这些数据。在大多数机构中,创建一个测试状态报告或应用就绪评估报告需要花费数个小时,有了Quality Center ,所有这些信息都可以在中央存储器中找到,因此可以快速地就应用状态或小组生产力情况做出决策。
需求,测试计划,测试实验室和缺陷模块都提供了分析和报告,提供了针对各种项目视图的图示,包括:
? 测试需求:概要图,进度图,范围图,趋势图
? 测试案例:概要图,进度图,趋势图
? 测试执行:概要图,进度图,概要图,进度图
? 缺陷:概要图,进度图,生命周期,趋势图
用户可以修改各种图示的过滤条件和显示条件。报告提供了一些缺省的模板,用户也可以自定义,例如过滤条件,显示内容等,可以建立子报告,即在报告中显示和当前实体有关联的其它信息,例如通过报告可以看到需求相关的案例是哪些,这些案例执行的情况如何,产生了哪些缺陷,提供丰富的信息展示。对报告和分析图示的修改可以存储为共有视图或者私有视图,便于以后重复使用。
QC还支持用户自定义产生Excel报告,用户可以通过SQL语句进行有关信息的查询,结果可以生成MS Excel文件,支持用户自定义数据产生以后的处理脚本,便于用户进行更加灵活的配置和展现,也便于用户后期在MS Excel进行加工。
35
XXX公司自动化测试框架咨询项目投标文件
QC提供了测试项目整体的MS Word报告,用户可以选择项目实体(需求,案例,执行和缺陷)可以定义实体的过滤条件和展现字段和方式,最后生成总体的MS Word格式报告,便于分发和保存。
配合HP Quality Center Dashboard,可以提供组织级跨项目的,基于门户的测试结果展现,基于KPI帮助用户建立质量评估指标,自动收集结果,便于用户对整个部门测试工作的集中展现和分析统计。
测试报告分析图
36