Featured image of post AI 写完 Playwright 测试之后:让它值得信任的七道检查

AI 写完 Playwright 测试之后:让它值得信任的七道检查

下面这段自动化代码,模型几秒钟就能写出来:

下面这段自动化代码,模型几秒钟就能写出来:

1
2
3
4
5
6
7
8
import { test, expect } from '@playwright/test';
test('should create a invoice', async ({ page }) => {
  await page.goto('/invoices/new');
  await page.getByLabel('Supplier').fill('Supplier A');
  await page.getByLabel('Invoice Number').fill('INV-001');
  await page.getByRole('button', { name: 'Save' }).click();
  await expect(page.getByText('Invoice created successfully')).toBeVisible();
});

定位器选得不错,await 齐全,用的是会自动重试的 web-first 断言,首次运行就绿,快速评审大概直接就批了。

现在假设应用里有个缺陷:发票保存失败时,页面照样弹出「创建成功」。这段测试仍然全绿。

这就是问题所在。生成自动化代码正在变得越来越容易,让它可靠、有意义、可维护,仍然是我们的工作。模型擅长产出「看起来对」的测试,而它是否真的在保护我们,是另一个问题。所以生成之后,还有七道检查值得逐条过一遍。

一、先回到需求:缺口往往在场景里,不在代码里

在逐行读 TypeScript 之前,先问这条测试本该证明什么。以「创建发票」为例,真正要紧的问题可能是:

  • 发票编号是否唯一?
  • 必填项缺失时会怎样?
  • 允许重复的发票编号吗?
  • 保存之后,发票会不会出现在列表里?
  • 有没有决定「能否保存」的业务规则?

模型只知道我们告诉它的东西。提示里没提重复编号,生成的测试就不会去查重复编号。而这类缺口读代码是看不出来的——代码本身完全正确,缺的是场景。

所以第一道检查永远是读需求、把该覆盖的场景列出来,再回头看生成结果覆盖了哪几条。跳这一步,很容易得到一条跑得很顺、却只保护了极窄一条路径的用例。

二、检查断言:验的是结果,还是一次点击

回到「创建成功」那句提示。如果需求就是「显示一条成功提示」,断言它没问题;如果需求是「创建出发票」,这句提示就不是足够的证据。

应用若在保存后跳转到新发票详情页,就可以把断言换成页面上的实际数据:

1
2
3
4
5
6
7
8
...
  await expect(
    page.getByRole('heading', { name: 'INV-001' })
  ).toBeVisible();
  await expect(
    page.getByText('Supplier A', { exact: true })
  ).toBeVisible();
...

也可以按应用形态去发票列表里找这条记录,或者通过接口查落库数据。共同点是把证据从「UI 说它成功了」挪到「东西确实产生了」。

模型容易停在成功提示上,原因不难理解:它只能看见页面上有什么,并不知道页面上哪部分才算数。更糟的一种情况是应用本来就有 bug,模型可能写出一条期待这个 bug 的断言,然后稳定地绿下去。

评审断言时问自己三个问题就够:

  • 如果这个功能坏了,这条测试还能通过吗?
  • 期望值具体到足以区分对错吗?
  • 我验的是结果,还是只验了「点击发生过」?

断言不是越多越好,是把证据选对。

从「成功提示可见」升级到「详情页存在且字段正确」,断言的证据强度完全不同

三、检查定位器:是不是有人刻意选过

模型也很乐意写出这样的代码:

1
await page.locator('.btn-primary:nth-child(2)').click();

它能跑通,但依赖 CSS 类名和元素在父节点里的位置。一次小改版就可能让它失效,或者更隐蔽——让它点到另一个按钮,测试依旧全绿,只是测错了东西。

更符合用户找元素方式的写法是:

1
2
await page.getByRole('button', { name: 'Save' }).click();
await page.getByLabel('Invoice Number').fill('INV-001');

并不存在唯一正确的定位策略:有些元素没有可访问名称,团队刻意加的 data-testid 就是合理选择。要紧的是有人做过选择,而不是让生成器顺手挑了一个能跑通的表达式。逐个确认三件事:它是否唯一、是否命中我们想操作的那个元素、下一次界面改版后是否大概率还在。

四、检查时序:别拿秒数当等待条件

本地跑得通的测试,在 CI 里可能随机失败——机器更慢、接口响应更长。最顺手的「修复」是加一段固定等待:

1
2
await page.getByRole('button', { name: 'Save' }).click();
await page.waitForTimeout(3000);

这行代码无论动作是否完成都等三秒:应用快的时候白白拖慢,应用慢于三秒时依然不稳定。Playwright 本身会为动作自动等待、对 web-first 断言自动重试,绝大多数情况下直接删掉即可:

1
2
3
4
5
6
...
  await page.getByRole('button', { name: 'Save' }).click();
  await expect(
    page.getByText('Invoice created successfully')
  ).toBeVisible();
...

如果确实依赖某个网络请求,就显式等那个响应(page.waitForResponse())——等你需要发生的那件事,而不是等一个数字。

还有一个只差一个词、评审极易漏掉的问题:expect 前面漏写 await。断言没被等待,测试可能在断言执行完之前就结束,于是「通过」得毫无根据。

五、检查它是否属于我们的工程

单看能跑通,不等于可以合并。多数项目已经有 fixtures、认证设置、测试数据助手和页面对象,而模型通常看不到这些,于是自己另写一套。最常见的例子是:项目里明明有已认证的 fixture,生成的测试却老老实实从 UI 登录一遍。

合并之前逐条确认:

  • 是否复用了已有的 fixture 与认证设置?
  • 是否遵循项目的命名与目录约定?
  • 是否自己创建测试数据,因而可以安全地并行运行?
  • 是否能独立运行,不依赖另一条测试先跑?
  • 是否重复实现了仓库里已有的 helper?

这不等于每条测试都要层层抽象,有时一条朴素的直线测试就是最合适的写法;它只需要真的属于这个代码库。

一部分检查可以交给工具:eslint-plugin-playwright 覆盖了上面多数代码层错误,例如 no-wait-for-timeout、missing-playwright-await、以及针对无断言测试的 expect-expect。另外,Playwright 执行 TypeScript 时并不做类型检查,CI 里补一条 tsc --noEmit,能抓出模型偶尔发明出来的方法名。

六、绿灯不是证明:让它先失败一次

一次通过只说明「这次通过了」,不说明「它能抓到 bug」。还有几件事值得做:

  • 重复跑。npx playwright test --repeat-each=2 能把时序和共享状态带来的间歇性问题逼出来。
  • 放到 CI 跑。不同浏览器、更少资源、更多并行 worker,有些问题只在那里现身。
  • 失败时读 trace。逐步动作与当时的页面状态,能让「只在 CI 复现」的失败变得可解释。
  • 故意让它失败。这一条最有价值:如果测试本该验证发票被保存,就在测试环境里让保存失败——用 page.route() 把接口改成返回错误,或临时改一行本地代码。若测试仍然全绿,它就没有在测我们以为它测的东西。

同样的思路也适用于「自愈」能力。现在的工具提供了会在测试失败时自动修复的代理,按钮改个名确实省事;但有时测试失败是因为应用真的坏了,修复代理未必分辨得出。一旦它把测试改成匹配坏行为,一个真实缺陷就变成了一个绿色对勾。把自愈结果当作一条「建议变更」来评审,和评审任何其他代码一样。

刻意让保存失败,观察测试是否变红:这是验证断言有效性的最直接方法

七、最后问一句:这条测试值得留吗

即使一条测试写得很好,也还要问需不需要它。生成变便宜了,但每条测试都有运行成本与维护成本:第二条只是把字段值换了一下的「创建发票」用例,几乎不增加任何覆盖;而一条边界条件或一条尚未被覆盖的业务规则,价值可能很高。

判断标准就两个量:它覆盖了什么风险,以及留着它要付多少代价。目标是拥有一套能抓回归的套件,不是拥有尽可能大的测试数量。

八、结语

模型省下了大量时间:写重复部分、给场景建议、让第一版快速跑起来,这些都没理由抗拒。但写代码从来不是这份工作的全部。理解需求、识别风险、挑选断言、管理测试数据、调查失败,仍然是人要承担的部分——而且随着「写」越来越容易,「判断」的分量只会更重。

最该警惕的不是一眼看上去就写错的测试,而是那些看起来没问题、每次都通过、却给了我们一份并不配得到的信心。

使用 Hugo 构建
主题 Stack 由 Jimmy 设计