实验室能力验证活动是实验室质量控制和能力评估的重要手段，软件实验室在申请CNAS/CMA相关资质认证前，必须要通过一次能力验证，并拿到满意结果。获证后，还需要定期参加能力验证，将能力验证作为实验室质量控制的常规手段。本文我们一起来看一下，在最近的一次能力验证官方报告中，给出的失分考核点统计与分析，帮助我们更好地去准备能力验证。
一、需求理解和测试设计方面：
部分机构未在提供的需求分析或者测试设 计文档中明确预约参观方式、查询条件、集合点等需求要求，或者是理解错误，占参加机构的 62%。此问题反映出部分机构对于软件性能测试需求理解不到位，或者忽视了对于需求的分析，可能导致在脚本编写时忽略需求要求，进而影响测试结果。具体问题有：
1、未提供需求理解和测试设计，测试结果未识别通过项或者测试结果不在区间范围。
2、需求理解或测试设计中未明确说明是否关闭缓存或者说明错误。
3、需求理解或测试设计中未明确说明是否设置集合点或者说明错误。
4、需求理解或测试设计中未明确设置查询条件或者设置错误。
5、需求理解或测试设计中仅识别一种预约参观方式或者未明确预约参观方式。
二、脚本编写方面
脚本编写是机构技术能力的重要体现，通常脚本编写或者执行存在重大问题会导致整个测试的失败。本次能力验证，脚本存在问题的机构占参加机构的 61%。主要问题包括几方面：一是由于需求理解存在问题，导致脚本不完整或者编写不正确，例如只有一种预约方式、查询未设置查询条 件、并发未设置集合点等；二是编制脚本时事务点错误，未能准确捕捉到被测事务点；三是数据池、动态关联、参数化迭代方式设计错误，导致脚本执行出现错误。上述问题反映出部分机构对于测试工具的使用、脚本的开发和调试能力等方面存在不足。
1、未提供测试脚本或者脚本回放不通过，测试结果未识别通过项或者测试结果不在区间范围
2、只迭代一次测试
3、未关闭缓存
4、与需求中流程不符，脚本设计问题（例如：容量测试先预约再取消、超过 100 用户并发等）
5、参数化迭代方式选择错误
6、事务点错误(例如：脚本未设置事务点、脚本事务点位置错误、包含重复请求或测试点外的其他请求等)
7、集合点错误(例如：“用户登录”集合点设置在事务开始后或未设置集合点等)
8、未设置查询条件
9、数据池错误(例如：“用户登录”未对账号做数据池或数据池错误，导致登录失败、未提供数据池文件等)
10、关联错误(例如：“取消预约”关联错误，导致未产生取消预约记录等)
11、仅提供一种预约参观脚本
三、测试结果方面
由于软件性能测试的特殊性，影响测试结果的因素很多。本次能力验证能保证被测样品、服务器端软硬件环境和网络带宽的一致性，而参加机构所在地区的网络状况、使用的不同工具、客户端测试环境等也可能对测试结果产生影响，而这些是测试方法之外的影响因素。因此判断测试结果正确性采用了区间值，而非单点值。一般情况下，脚本不正确会在一定程度上影响测试结果，因此存在脚本编写问题的机构在测试结果上有不同程度的扣分，占参加机构的 57%。
1、未提供测试结果或者脚本回放不成功
2、未识别测试结果为通过的测试项
3、并发脚本设置错误(例如：集合点错误，未关闭缓存，对测试结果产生影响的数据池错误、关联错误、参数化方式设置错误等)
四、文档规范性方面
本次能力验证仅对提交文档类型进行要求，未对文档格式和内容进行规定。参加机构均按照各自体系文件的格式编写文档。从规范性上看，大部分机构格式较为规范，内容完整。但部分机构测试计划中缺少对需求的分析内容、测试用例要素不完整、缺少测试报告等问题。少量机构提供的文档中的数据前后不一致、测试报告中的数据与原始记录不一致等。因此，建议机构加强文档规范性管理、关注对文档的审核。
测试文档描述不准确（例如：测试报告与原始记录不一致等）
以上就是在性能效率能力验证活动中，出现的问题汇总，希望能够对计划参加软件性能效率能力验证的实验室有所帮助，欢迎在评论区交流讨论。
（仅作交流学习，如有侵权，请联系删除。谢绝转载，更多内容可查看我的专栏）
