「谁做的功能谁测」,在应用还小的时候是很好的分工。业务线一条条加、工程师一个个进来之后,裂缝出现了:新功能被认真测过,几个月前上线的功能却几乎没人再回头看。回归缺陷开始先到用户手里,再回到团队。
有个具体的场景很典型:火车业务里改了一个共享组件,结果把大巴业务的某个页面弄坏了,团队在发布前一天从聊天群里才知道。当时唯一的安全网是全员集中手测,覆盖度取决于谁还记得什么;每多一位工程师,就多出几种「没人负责」的破坏路径。
缺的不是更多测的人手,是让应用自己反复检查自己的能力。
一、选型:要的是能在 PR 里评审的测试
团队先定了标准:开发者应该能在几分钟内写出可靠的端到端测试,而且覆盖的不只是应用自身的页面,还要能走进第三方支付应用、系统弹窗和相机。
把现成方案摆开评估:
- 框架自带的集成测试方案要把测试编译进应用,每改一次都要走一遍慢速重建
- 面向跨端的另一套 Flutter 方案同样绕不开编译与重建开销
- 老牌跨平台自动化框架能力很全,但配置重、等待不稳
- 两套原生框架都很强,代价是 Android 与 iOS 各维护一套用例
每个都解决了问题的一部分,没有一个同时给出「快速反馈 + 跨端覆盖 + 开发者愿意写」这三样。
最后选中的方案是纯 YAML 的流程描述。第一条流程只花了大约五分钟:启动应用、进入火车、选一个站点、确认票价出现。它是纯文本,任何人都能读,在合并请求里像其他代码一样被评审。
真正让这套方案立住的是六个特性:
- 内置等待:每一步之前等界面稳定,大部分不稳定问题就此消失
- 黑盒驱动:直接操作已安装的应用,因此能跳进第三方支付应用或系统弹窗
- 稳定选择器:用语义 ID 定位,而不是屏幕文字或坐标
- 一套流程两端跑:同一份 YAML 在 Android 模拟器、iOS 模拟器和真机上执行
- 边看边写:可视化工具与 MCP 接口让开发者(和编码代理)能看着实时屏幕写流程
- 可复用子流程:登录、引导、导航只写一次,全业务线共享
二、两台机器当一个池子
这套夜间回归系统是一间自建设备实验室:两台 Mac mini 跑着 18 个 Android 模拟器和 2 个 iOS 模拟器,另加一台真机专门处理支付。它从五个仓库里拉取超过 300 条流程、分成 15 个套件。
云设备农场被评估过,但两个理由让团队选择自建:按运行次数增长的成本,以及租不到一台插着绑定真实银行账户 SIM 卡的手机——而本地支付流程必须要它。成本结构因此变成一次性硬件投入,加上自托管 runner 的电费与维护,CI 执行本身几乎不额外花钱。
一次运行的流水线是固定的:
- 取最新构建
- 把流程切片分散到 18 个模拟器上并行执行
- 相机相关流程交给专用模拟器,支付相关流程交给那台真机
- 每条流程都从干净的应用状态开始,失败时留下截图与日志
- 结果以 HTML 报告的形式发到工作群
全量套件不会在每个 PR 上跑,那会把实验室整天占满。它只在三个点触发:
- 每个 PR 上做一次轻量检查:新 UI 必须有对应流程,新加的语义 ID 必须真的被某条流程用到,且变更屏幕上至少 80% 的 ID 被覆盖,否则阻断合并
- 每晚跑一次全量回归
- 大版本前的全员手测之前先跑全量,让团队一开始就知道老功能里哪些已经坏了,把人力留给新功能与边界情况
有个工程细节很能说明「自建」的真实代价:最初两台机器通过 Wi-Fi 相连,每条发往远端模拟器的命令、每张截图、每次安装包传输都要过网络,600–700 毫秒的往返让一个本该很快的步骤变成肉眼可见的卡顿。把两台机器改接有线之后,这个数字降到约 1 毫秒,远端模拟器用起来和本地几乎没有区别,扩容也从「改 runner」变成「再加一台机器」。

一个共享模拟器池:取构建、分片并行、专用设备承接特殊流程、失败留证、早间汇总报告
三、支付、UPI 与相机这三块硬骨头
绝大多数旅程的终点是支付。停在「支付」按钮上的测试,其实什么也没测到——它没验证扣款、没验证结果页,也没验证失败路径。
团队的做法是把应用构建成测试模式:几家支付网关与支付 SDK 被替换成一个只有「成功」和「失败」两个按钮的模拟网关。共享子流程会先确认屏幕上出现了「模拟已启用」标记,才允许继续支付,保证任何流程都不可能碰到真实网关。于是每条业务线的旅程都能端到端跑完成功与失败两种结果。
本地统一支付接口(UPI)更麻烦:它要求 SIM 绑定和 PIN 键盘,必须有真实 SIM 卡的真实手机。这类流程固定落在实验室那台专用真机上;扫码支付则由系统生成二维码,预先放进手机相册,让流程从相册取图完成扫描。
机场权益类流程从扫描登机牌开始。系统把生成的登机牌二维码转成一段循环视频,用它作为某个模拟器的「后置摄像头」启动,扫描器像平时一样读取画面,19 条机场流程(扫描、校验、核销)就此无人值守地跑完;上传路径则是把登机牌图片或 PDF 推进设备相册。
这三块没有捷径,共同思路是把不可控的外部依赖改造成可控、可断言、且不会误触真实世界的替身。

模拟网关、专用真机与「视频摄像头」分别解决支付结果、SIM 绑定与扫码输入三个问题
四、早上的报告,以及从规格就开始的测试
夜间运行从零点开始,早上工作群里已经有一份报告:每条失败都带着逐步截图和一段自动生成的可能原因说明,各业务线的通过率直接 @ 到责任人。真缺陷当天修掉或建单,过时的流程当天更新,不会攒成债。
更关键的是流程从哪儿来。团队采用规格驱动开发:需求与低层设计在写代码之前就定稿,而端到端流程现在是这个流程的一部分:
- 先规划旅程:从规格里写出一份清单,列明每个屏幕、每条用户旅程、以及每个元素需要的语义 ID——此时 UI 代码还不存在
- 带着 ID 实现:每个可点击、可校验的组件都拿到规划好的 ID
- 生成流程:把旅程写成 YAML,模拟真实使用顺序,先浏览、改选项、再完成任务
- 在设备上跑到通过:每条流程都要在实时设备上跑绿才算完成
这些步骤被做成编码代理的技能,开发者可以从一份批准的设计,一次坐下来就把端到端测试跑到通过,代理通过工具接口查看实时应用来写流程。于是「完成」的定义也变了:不是在开发自己手机上能跑,是它的旅程在设备上通过。
五、它真的能抓到 bug 吗:植入一个试试
连续好几周没有报出任何回归,团队反而警觉起来:这到底说明应用稳定,还是说明断言太弱?
于是有人在一个分支上,把卡片首页快捷操作里的一个分期入口删掉,跑了一遍 Cards 套件。结果:50 条流程中 9 条失败,全部指向同一个缺失的语义 ID;另外 41 条不经过这个入口的流程保持全绿。失败报告还列出了当时屏幕上实际剩下的元素,不用复现就能定位原因。
这是一个植入缺陷,不是证明,团队正在跨业务线补更多。但它至少回答了那个问题:断言确实在看东西。
六、几百条绿灯,不等于覆盖了多少
语义 ID 覆盖率只能说明「这个屏幕有测试」,说明不了「测了屏幕上多少东西」。于是团队又做了一层度量,问一个更难的问题:在某个业务线里用户能做的一切动作中,有多少是我们的流程可证明地检查过的?
这件工具不运行应用,而是用 Dart 分析器静态读代码,把每个屏幕、每种状态(加载中、空、错误、已加载)、每个动作(按钮、返回、排序、筛选、开关)都映射出来,且每个动作只计一次。然后把每条流程在这张「纸面地图」上重放,给每个动作三种判定:确定覆盖、可能覆盖、未覆盖。同一份代码在任何机器上得到同一个数字,因此可以在 CI 里追踪每个 PR 带来的增量。
截至十月中的基线数字相当清醒:
- 商城流程确定覆盖了 commerce 544 个动作中的 24.6%,下单后旅程覆盖 34%
- 机票、火车、推荐三条业务线各自都低于 15%,火车低于 2%
- 换句话说,几百条流程每晚全绿,应用里大部分行为仍未被证明
最有价值的反而是「确定」与「可能」之间的落差:机票业务确定覆盖只有 7%,可能覆盖却高达 54%。流程其实已经走过那些屏幕,只是按位置或文字点击、或者跳过了一条断言,所以没有任何证据能证明发生了什么。补一个语义 ID 或加一条 assertVisible,就能把这段落差闭合,完全不必新写测试。
「未覆盖」清单则直接指出了真正的空洞:错误态、返回按钮、筛选与排序、以及取消这类下单后旅程。现在每个屏幕都有一张「还差什么」的列表。

把静态分析得到的动作地图与流程重放结果对照,动作被分为确定覆盖、可能覆盖、未覆盖三档
七、代价与节奏
从七月的一条火车流程,到十月每晚 300 多条,大约三个月,且是与正常产品工作并行完成的。核心是四名工程师搭起 runner、支付替身和 PR 检查;约 25 名开发者分头写各自业务线的流程;第二台 Mac mini 在十月加入。
维持健康状态的成本是每周一小时的自动化同步会,加上各团队按早报修自己的失败,全队合计大约每周两小时。
这套东西改变了日常:开发者只手测新东西,所有已上线的功能——包括支付、UPI 与登机牌扫描——每晚被自动重测;全员手测开始前老流程已经查过;新屏幕没有测试就不合并。
八、结语
没有专职 QA 团队,并不意味着质量没人负责,而是责任被分散到了每个做功能的人身上。难点不在于「该不该让开发者测」,而在于给他们一条成本足够低、反馈足够可信的路径:写一条流程要几分钟、跑一次全量在一夜之间、早上能拿到可行动的失败证据、还得有人诚实地量出「这些绿灯到底证明了多少」。
最后那一层度量尤其值得留住。能每晚跑完 300 条流程是工程能力;敢把确定覆盖率只有 24.6%、火车低于 2% 摆出来,才是让这套系统继续变好的前提。
