

测试工作中的Bug处理争议场景实际案例分析(一)
在软件研发过程中,测试和开发,作为两个相爱相杀的岗位,一个要尽力避免出现Bug,一个要努力找出Bug,因此工作中围绕Bug的处理,发生争议冲突是极为常见的情况。
本系列我们将结合一些实际的争议案例来分析出现Bug争议时的处理原则
案例一:Bug指派争议
测试工程师小赵在测试中发现,软件界面上有个信息栏的刷新总是会提示报错,于是提交了一个Bug给前端开发工程师小李。但是不一会,小赵就收到了Bug被拒绝的提醒,拒绝理由是小李认为这个信息刷新的报错信息是后端模块返回给他的,他正常显示没有问题。这种情况下,小赵应该接受Bug拒绝吗?
分析:
这个案例,是软件测试中测试和开发关于bug争议的经典场景。
我们首先应该明确两个岗位针对bug的职责:
测试岗位的职责是发现产品中的bug,并在开发修复后完成验证。
开发岗位的职责是分析测试发现的bug并完成修复。
那么在这个案例中,小赵发现了问题,判断是bug并提交bug单,因为问题是前端界面上出现的,所以分配给到前端开发小李。从流程上来说是没有问题的。
争议点在于Bug经过小李分析后,认为前端只负责显示后端返回的错误信息,因此错误是出在后端模块,在小李这里没有需要解决的问题,所以选择拒绝。
站在小李角度来说,似乎也无可厚非。但从流程上其实还是小李处理的问题。
因为这里bug分析虽然做了,认可是Bug,但并没有完成修复,所以不应该选择拒绝。
拒绝Bug对应的应该是Bug误报、或者是和已有Bug重复上报这两种情况。在经过小李分析后,对于Bug来说,并不能认为分析已经完成了,Bug单的状态其实还是处于分析阶段,只是经过前端分析,问题还需要后端开发人员继续完成分析。
所以流程上,正确的做法应该是小李将bug重新指派给后端开发,而不是选择将bug拒绝回测试。
实际处理:
回到小赵这里,这种情况下,Bug单已经被拒绝回来,要如何处理这个Bug单呢?
因为问题没有解决,所以肯定需要重新提交这个bug。
从正常流程上,问题直接重提给小李也是可以的。但因为此时前端已经部分完成了分析,明确指出了后续模块,所以重开这个bug时,最好还是直接将bug重新提交给后端开发人员,目的就是避免无谓的重复沟通,提高效率。
同时,针对小李的流程处理错误,也应该在重提Bug时附加说明,同时知会到项目管理团队,而不是认可这种直接拒绝的行为。
补充思考:
这里我们虽然从流程上澄清了标准做法。但测试人员是否应该首先正确进行指派?
实际工作中,因为软件系统的复杂性,对于测试人员来说,难以准确判断出问题具体所属模块以及实际需要负责分析的开发人员属于正常情况,很多情况下不能准确指派在所难免。但是我们从提供价值的角度,作为测试,还是应该尽可能准确地去将问题单提交给对应的开发人员来分析,以提高问题处理效率和解决速度。
回到上面这个例子,后端给前端返回错误信息,虽然是从前端显示出来的,但是如果小赵能从前端页面跟踪一下接口返回信息,应是不难发现接口返回的异常,进而判断出问题可能出在后端,从而直接指派给后端。
结论:
总结来说,Bug单提交后,如果存在模块和首接处理人不匹配的情况,处理人有义务将Bug重新指派给实际处理人,而非错误地将Bug进行拒绝处理。
同时从测试人员这边,也应该加强对系统的理解和对团队成员的熟悉,尽可能做到首次指派正确。
另外,对于比较大型的研发团队和复杂产品,如果较难确定问题归属,开发侧 通常还会设置一个默认的分析工程师角色,专门对Bug进行初步分析并统一进行二次指派。
总之,工作流程目标以效率为先,避免任何可能的额外沟通和处理时间的浪费。
测试工作中的Bug处理争议场景案例分析(二)
软件研发过程中,开发和测试两个岗位,因为Bug产生争议,几乎是家常便饭。上一篇 文章【】中,我们分析了一个Bug指派争议案例的处理原则。
本讲我们继续结合案例分析软件研发中Bug处理时的争议场景和处理原则。
案例二:未能复现Bug的处理
测试工程师小赵在测试一款App的时候,在完成某一个操作后,App出现了闪退的情况。由于测试时同步开启了录屏,小赵便将闪退的录屏和操作过程汇总提交了一个Bug单给App开发小孙。到了第二天,小孙将Bug单按拒绝进行打回,理由是这个bug他没法复现,根据录屏和操作过程,结合代码分析不出问题。而小郑自己再次测试,尝试复现问题也未果。这种情况下应该接受Bug的拒绝吗?
分析:
这个案例,也是比较典型的Bug争议场景。
很多时候,测试因为多种因素的原因,比如环境干扰、数据不正确、包括测试人员本身的误操作,确实会提交一些实际并非Bug的问题单。这些问题单经分析后,确认不是问题,按 非Bug 进行拒绝处理。
而在拒绝问题单的理由中,比较特殊的一种情况就是问题无法复现,它代表问题现象无论在测试环境还是开发环境都无法再次产生,而因此判断问题近似于不存在,进行拒绝。
但是,因为“问题无法复现”拒绝Bug单,应该是一个慎用的理由。
因为理论上说,任何问题现象,排除误报的情况,如果确实存在,不能复现,通常只是没有找到它的触发条件。
从本例来说,闪退是一个影响比较严重的问题现象,这个现象有明确的录频记录证明确实存在,但无论开发和测试均无法重现问题。可能只是没有发现触发这个问题的实际条件(也就是案例描述中说的完成某一个操作后,出现闪退 并不是问题的根本原因。)
质量管理中有一个很重要的措施 RCA(根因分析), 从面向质量的角度,对于比较明确的问题现象,不能立即复现的问题,应该参照 RCA 的流程完成根因分析,再确定 Bug 的后续处理。
实际处理:
对于这个案例,因为问题现象明确且比较严重,如果问题确实存在,到用户侧出现必然引起较恶劣的质量影响。
所以对该问题的处理,小孙经过初步分析后,其实是没有发现导致问题的根因,这时正确的做法应该是如下这样的流程:
- 首先开发者应深入考虑问题的可能原因,并进一步收集信息。
根据我之前对于 Bug 不同状态迁移的介绍 (参考【】),这时小孙经分析后,还是可以将Bug打回,但不应该是拒绝(Reject) Bug,而是 收集更多信息(Need More Info),收集更多的问题相关信息以便更进一步深入分析,比如:
- 测试设备的型号?操作系统版本?
- 设备的存储、内存情况?
- 问题出现时的系统资源占用情况?
- 使用的网络?稳定性如何?
- 执行的操作路径,是否存在某些非正常路径?
再根据补充的信息完成 RCA,包括复现路径、可能的问题代码走查,请其他开发专家参与会诊等动作后,如果依然还是无法复现,其实这里因为经过比较充分的论证和分析,其实可以认为问题在用户侧出现的可能性也不太高,问题的优先级级实际比较低。这时,可以提交项目CCB(变更控制委员会)决定该问题的后续处理策略。
项目CCB对该问题进行决策
这里通常又包含几种不同的后续处理:
- 判定问题影响有限,认为不是问题,按Bug 拒绝处理
- 问题虽然大概率不会出现,但从质量至上角度,还是希望找出问题原因。这时可以将问题按延期处理。也就是还是认为这里存在问题,但当前版本不再解决,继续观察,开发人员也继续分析,尝试在后续版本解决。实在长期无法定位原因,再考虑关闭问题。
- 分析问题的规避策略,比如增加更上层的异常保护,调整版本的功能路径规避触发动作。在版本中增加相关保护措施,规避问题路径
总之,对于问题影响比较严重的未能复现问题,应该严肃对待,不可简单地拒绝了之。
补充思考:
对于这类很难定位到原因的问题,最终的结局是否就肯定是不了了之?
还是强调以下上面的观点:问题无法复现,不是问题不存在,而是没有找到正在的根本原因或触发条件。
因此,找不到问题原因,除了上面说到的收集更多更充分的信息之外,还有一个重要的方面,是需要产品和开发团队重视和持续提升的,就是产品的可测试性需求或者维护需求。
也就是产品应该包含必要且充分的问题跟踪、日志采集、故障诊断手段,从产品设计、开发阶段,就应该考虑相关的诊断工具的同步开发,避免在后续系统测试乃至用户使用场景下,问题难以分析定位的尴尬情况。
结论:
最后,有的同学可能还会说,以上所说的正确处理流程虽然很合理,但实际工作中,大多情况下,进度紧张,本来就挺焦头烂额,很难真的针对这类问题做深入分析,这种情况下流程实际很难落地。
确实如此,但流程、规范的作用,是告诉大家正确的行为准则,而非一定是僵化地执行,了解流程、规范背后的原则更重要。
本例的重点,其实是对这个问题影响的最终判断。产品或项目对质量的预期也会左右问题的处理结果。
测试岗位,站在评估质量状态的角度,在问题现象明确的情况下,是不应该简单地认可问题不存在的
测试工作中Bug处理争议场景的案例分析(三)
本系列之前两篇,我们分别分析了在软件研发过程中,两个典型的Bug争议案例:
- 指派对象争议
- 不可复现Bug的处理争议
本篇我们继续带来另一个争议场景的处理分析
案例三:Bug认定
小赵在进行App测试时,发现在进行一个批量操作的时候,如果测试数据量比较大,系统会有较长时间的等待且无法进行其他操作(超过5秒)。小赵认为这个等待影响用户体验,提交了一个易用性bug。但该bug被后端开发工程师小王拒绝,理由是按照需求, ”系统应该支持批量数据操作,在接收到批量数据请求后,依次完成数据处理并更新数据状态“,那么响应时间必然随着测试数据量的增多而增加,因此响应时间较长属于正常现象。这里小赵应该如何继续处理这个Bug呢?
分析:
首先测试工程师站在用户视角,这个问题现象确实会影响用户体验,让用户产生困扰。所以当然会按照发现Bug来对待。
但站在后端开发者的角度,目前的实现方案是按照需求进行处理的,出现这种现象是必然结果,因此不能算是Bug
这里,我们从软件质量角度来思考,该问题现象当然是一个质量问题,因此把这个问题定性为一个Bug没有问题。
但后端开发在实现上又确实是按照需求来进行实现的,因此也不能说这个Bug是开发的问题。那么问题其实就很明确了,就是这个问题它不是开发Bug,而是一个 需求Bug。
也就是提出的需求本身,因为需求笼统和场景考虑不足,导致按需求实现后,出现了以上质量问题。
实际处理:
那么对于这个问题的处理流程,小赵站在质量视角提出Bug是应该的,小王这里参照我们案例一的处理原则,对于非归属自己的质量问题,不应该进行拒绝处理,而应该转交给实际处理人。
所以这里小王的正确做法应该是重新指派该Bug给业务分析师,由业务分析师重新明确需求方案,再重新考虑这部分的代码实现。
补充思考:
到系统测试阶段,发现这种因为需求问题导致的质量问题,如果要修复,往往牵涉到实现方案的调整,很多时候动作较大,很可能导致交付的滞后。
比如这个案例,可能的调整实现方案:
- 限制批量处理的数据量?
- 后端异步处理,开始处理后就返回处理状态给到前端,完成后再向前端推送完成通知。
- 前后端重新定义处理接口,页面呈现处理进度反馈?
这些实现可能都会对原有实现方案造成较大影响。
所以,虽然问题归属为需求Bug,但在系统测试阶段,发现需求Bug其实是应该尽量避免的。这种问题,最佳的提出阶段应该是在早期的需求分析阶段或方案设计阶段,这也是测试左移和测试人员充分参与前期需求讨论和方案评审的意义所在。
结论:
软件测试阶段发现的Bug并非全都是开发人员的Bug,因需求考虑不周、需求不明确等原因导致问题也不鲜见。
但需求导致的Bug,在测试阶段才被发现和提出,往往修复成本和对产品的伤害也更高,所以应尽可能在测试开始前,就充分理解需求、就可能出现的问题尽早完成需求的澄清,而非到测试阶段再亡羊补牢。