AI

提示词工程权威指南：赋能软件测试的艺术与科学

在人工智能（AI）和大型语言模型（LLM）浪潮席卷全球的今天，软件测试领域正迎来一场深刻的变革。传统的测试方法正在与前沿的AI技术相融合，而**提示词工程（Prompt Engineering）**正是驾驭这场变革的核心技能。本指南将深入探讨提示词工程的理论、实践与高级技巧，并提供一系列面向软件测试岗位的具体案例，旨在帮助测试工程师和团队有效利用AI提升测试效率、覆盖率和深度。

第一章：初识提示词工程——与AI高效对话的艺术

1.1 什么是提示词工程？

提示词工程是一门旨在设计、构建和优化输入文本（即“提示词”）的学科，其目的是引导大型语言模型（LLM）如GPT-4、Claude等，生成我们期望的、高质量且相关的输出。如果说LLM是一个强大的、拥有海量知识的引擎，那么提示词就是控制这个引擎方向盘和油门。

对于软件测试而言，提示词工程不仅仅是“向AI提问”，它是一种战略性的沟通方式。通过精心设计的提示词，测试人员可以驱使AI完成一系列复杂的测试任务，例如：

  • 生成测试用例：基于需求文档、用户故事或代码片段，自动创建功能、边界、异常等各类测试用例。
  • 创建测试数据：生成多样化、符合特定格式和业务规则的测试数据。
  • 编写自动化脚本：辅助编写或直接生成Selenium、Cypress、Playwright等框架的自动化测试脚本。
  • 分析测试结果：对大量的测试日志和报告进行摘要、分类和根本原因分析。
  • 模拟用户行为：创建符合特定用户画像的交互场景，用于用户验收测试（UAT）或探索性测试。

掌握提示词工程，意味着测试工程师可以将繁琐、重复性的工作交由AI处理，从而将更多精力投入到更具创造性和战略性的测试活动中。

1.2 核心理念：清晰、具体、有上下文

成功的提示词工程遵循一个核心原则：Garbage In, Garbage Out (GIGO)。你提供给AI的信息质量直接决定了其输出的质量。因此，一个优秀的提示词通常具备以下特点：

  • 清晰明确 (Clear & Specific)：避免使用模糊、笼统的语言。直接告诉AI你想要什么。
  • 提供上下文 (Contextual)：为AI提供充足的背景信息，如被测功能描述、相关代码、用户画像、业务规则等。
  • 指定角色 (Role Assignment)：让AI扮演一个特定的角色，例如“你是一位资深的软件测试专家”，这有助于模型以更专业的视角和口吻进行回应。
  • 明确输出格式 (Format Specification)：清晰地定义你希望得到的输出格式，如JSON、CSV、Markdown表格、项目列表等。
  • 迭代优化 (Iterative Refinement)：很少有提示词能一次就达到完美。准备好根据AI的反馈进行多次尝试和调整。

第二章：提示词工程术语宝典

为了更好地理解和应用提示词工程，熟悉以下关键术语至关重要。

术语 (Term)中文解释说明
Prompt提示词用户提供给LLM的输入文本，用于引导其生成回应。
Zero-shot Prompting零样本提示在不提供任何示例的情况下，直接要求LLM完成任务。适用于模型已经熟练掌握的任务。
Few-shot Prompting少样本提示在提示词中提供少量（通常是1-5个）示例，向LLM展示期望的输入输出格式和风格。
Chain-of-Thought (CoT) Prompting思维链提示指导LLM在给出最终答案前，先进行一步一步的逻辑推理。通过加入“让我们一步一步地思考”等短语来触发。
Role Prompting / Persona角色提示/人设为LLM设定一个特定的角色或身份（如“资深安全测试工程师”），以影响其回应的风格、口吻和专业深度。
Context Window上下文窗口LLM在一次对话中能够记住和处理的信息量（以token计算）。超出此窗口的信息将被遗忘。
Token令牌LLM处理文本的基本单位，可以是一个单词、一个字符或一个词根。
Hallucination幻觉LLM生成看似合理但实际上是虚假或与事实不符的信息的现象。
Temperature温度参数一个控制输出随机性的参数（通常在0到1之间）。较低的温度使输出更具确定性和一致性，较高的温度则更具创造性和多样性。
Self-Consistency自我一致性一种高级技术，通过多次生成（使用较高的温度）并对结果进行“投票”，选出最一致的答案，以提高复杂推理任务的准确性。
ReAct (Reasoning and Acting)推理与行动一种高级框架，让LLM不仅能进行推理，还能执行某些“行动”（如调用外部API、执行代码），并将行动结果融入下一步的推理中。
Delimiter分隔符使用特殊字符或标签（如```, ###, <tag>）来清晰地分隔提示词的不同部分（如指令、上下文、示例）。

第三章：软件测试中的提示词工程实践

本章将通过具体的案例，展示如何在软件测试的各个阶段应用提示词工程。

3.1 案例一：基于用户故事生成测试用例 (功能测试)

假设我们有一个电商平台的用户故事：“作为一个已登录用户，我希望能够将商品添加到购物车中，以便稍后一次性结算。”

一个糟糕的提示词 👎:

为添加购物车功能写测试用例。

这个提示词过于模糊，没有提供任何上下文，AI可能会生成一些非常通用的、价值不高的用例。

一个优秀的提示词 (采用Few-shot和角色提示) 👍:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# 指令
你是一位经验丰富的电商软件测试专家。请根据以下用户故事和业务规则，为“添加商品到购物车”功能生成一套全面的功能测试用例。

# 角色
- 你非常注重细节，能够考虑到各种边界情况和异常场景。
- 你生成的测试用例应包含：用例ID、测试标题、前置条件、测试步骤、预期结果和用例类型（正面/负面）。
- 输出格式应为Markdown表格。

# 上下文：用户故事
“作为一个已登录用户，我希望能够将商品添加到购物车中，以便稍后一次性结算。”

# 上下文：业务规则
1.  用户必须是登录状态才能添加商品。
2.  购物车最多可以容纳50件不同的商品。
3.  单个商品的最大购买数量为99。
4.  已下架或库存为0的商品不能添加到购物车。
5.  添加成功后，页面右上角的购物车图标应实时更新商品数量。

# 示例 (Few-shot)
以下是一个参考示例：
| 用例ID | 测试标题 | 前置条件 | 测试步骤 | 预期结果 | 用例类型 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| TC-CART-001 | 验证登录用户可以成功添加一件商品到购物车 | 用户已登录；购物车为空 | 1. 浏览到一个有库存的商品详情页。<br>2. 点击“添加到购物车”按钮。 | 1. 页面提示“商品已成功添加到购物车”。<br>2. 购物车图标数量更新为1。 | 正面 |

# 任务
现在，请基于以上信息，为该功能生成至少10个详细的测试用例，覆盖正面、负面和边界场景。

AI可能的输出:

AI将会遵循指令，以指定的Markdown表格格式，生成包括验证未登录用户、添加商品达到上限、添加无库存商品、验证数量输入边界值（0, 1, 99, 100）等一系列高质量的测试用例。

3.2 案例二：生成特定格式的测试数据 (数据驱动测试)

在进行数据驱动测试时，我们常常需要大量符合特定格式和规则的数据。

场景：测试一个用户注册表单，该表单对用户名、密码和邮箱格式有特定要求。

一个优秀的提示词 (采用指令和格式规范) 👍:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# 角色
你是一个测试数据生成器。

# 任务
请为用户注册功能生成20组测试数据，并以CSV格式输出。

# 数据要求
数据应包含三列：`username`, `password`, `email`。

# 列定义和规则
1.  `username`:
    * 必须是6-15个字符。
    * 只能包含小写字母和数字。
    * 请包含有效和无效的用户名（例如，过短、过长、包含特殊字符）。
2.  `password`:
    * 必须是8-20个字符。
    * 必须包含至少一个大写字母、一个小写字母、一个数字和一个特殊字符（!@#$%^&*）。
    * 请包含符合规则的强密码和不符合规则的弱密码。
3.  `email`:
    * 必须是有效的电子邮件格式。
    * 请包含一些常见的邮箱提供商（如gmail.com, outlook.com, yahoo.com）以及一些格式无效的邮箱（例如，缺少@符号，域名无效）。

# 输出格式
请严格按照以下CSV格式输出，包含表头：
```csv
username,password,email

AI可能的输出: AI将生成一个CSV格式的文本块，包含20行数据，其中混合了有效的和刻意构造的无效数据，可以直接用于自动化测试脚本或手动测试。

1
2
3
4
5
6
7

username,password,email
validuser1,ValidPass1!,test.user1@gmail.com
short,WeakPass1,test.user2@outlook.com
toolongusername123,AnotherGoodP@ss,test.user3@yahoo.com
invalid-user,Weak1,invalid-email
user.123,StrongerP@ssword123,test.user4@gmail.com
... (and so on)

3.3 案例三：辅助编写自动化测试脚本 (测试自动化)

对于测试自动化工程师来说，AI可以成为一个强大的编程助手。

场景：需要为前面提到的“添加购物车”功能编写一个使用Selenium和Python的自动化测试脚本。

一个优秀的提示词 (采用思维链和代码生成) 👍:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

# 角色
你是一名资深的自动化测试工程师，精通Python和Selenium WebDriver。

# 任务
请为“验证登录用户可以成功添加一件商品到购物车”这个测试场景，编写一个完整的、可执行的Python Selenium自动化测试脚本。

# 指令与思考过程 (Chain-of-Thought)
让我们一步一步地完成这个任务：
1.  **设置环境**：导入必要的Selenium库，初始化WebDriver（请使用Chrome浏览器），并设置隐式等待。
2.  **登录操作**：首先，编写一个函数`login(username, password)`，导航到登录页面，输入用户名和密码，然后点击登录按钮。请使用ID选择器定位元素。
3.  **导航到商品页**：登录后，导航到一个具体的商品页面。假设商品页面的URL是 "[http://example.com/product/123](http://example.com/product/123)"。
4.  **执行添加操作**：定位“添加到购物车”按钮（假设其ID为`add-to-cart-button`）并点击。
5.  **断言验证**：
    * 添加一个显式等待，等待成功提示信息出现（假设其CSS选择器为`.success-message`）。
    * 获取该提示信息的文本，并断言其内容为“商品已成功添加到购物车”。
    * 获取购物车图标旁边的数量元素（假设其ID为`cart-item-count`）的文本，并断言其值为 "1"。
6.  **清理**：最后，关闭浏览器`driver.quit()`。
7.  **代码结构**：请将所有操作封装在一个主函数或测试类中，并添加注释来解释关键步骤。

# 请输出完整的Python代码。

AI可能的输出:

AI会根据这个详细的、分步的指令，生成一个结构清晰、注释完整、包含所有必要操作和断言的Python Selenium脚本。这种方式远比“给我写个Selenium脚本”这样的简单请求要高效和准确得多。

第四章：高级提示词工程技巧

当你掌握了基础后，可以运用更高级的技巧来应对复杂的测试挑战。

4.1 思维链 (Chain-of-Thought) 的深化应用

对于需要复杂逻辑推理的任务，如根本原因分析 (Root Cause Analysis)，深化CoT的应用至关重要。

场景：一个API测试失败，返回了500错误，你需要分析可能的原因。

提示词:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# 角色
你是一名顶级的站点可靠性工程师（SRE），正在诊断一个API故障。

# 上下文
- **API端点**: `/api/v1/users/{userId}/profile`
- **问题**: 在高并发负载测试期间，该端点偶尔返回 HTTP 500 内部服务器错误。
- **日志片段**:
  ```log
  ERROR: Connection pool exhausted. Could not get a connection from the pool.
  ...
  Caused by: java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 30000ms.


# 任务

请使用“思维链”方法，一步一步地分析这个问题的潜在根本原因，并为每个原因提出具体的调查步骤和解决方案建议。请像专家一样思考，从多个层面（应用层、数据库层、配置层）进行分析。


**思考开始：**

1. **日志分析**: 日志明确指出了“Connection pool exhausted”（数据库连接池耗尽）。这是最直接的线索。
2. **为什么连接池会耗尽?**
    - **原因A: 连接未被释放。** 应用代码中是否存在某个逻辑分支，在查询数据库后没有正确关闭连接（`connection.close()`）？
    - **原因B: 连接池太小。** `HikariCP`的`maximumPoolSize`配置是否对于当前的并发负载来说过低？
    - **原因C: 查询本身过慢。** 是否存在慢查询，导致连接被长时间占用，在高并发下迅速耗尽了连接池？
    - **原因D: 数据库性能瓶颈。** 数据库服务器本身是否达到了CPU、内存或IO的瓶颈，导致查询响应变慢，从而间接导致连接池耗尽？
3. **如何调查?**
    - **针对原因A**: 审查处理`/api/v1/users/{userId}/profile`请求的所有代码路径，特别是异常处理块，确保`finally`语句中正确关闭了连接。
    - **针对原因B**: 检查应用的配置文件（如`application.properties`或`yml`），查看`spring.datasource.hikari.maximum-pool-size`的值。监控连接池的实时使用情况。
    - **针对原因C**: 开启数据库的慢查询日志，分析在问题发生时间点是否有慢查询记录。对该API涉及的SQL语句进行`EXPLAIN ANALYZE`。
    - **针对原因D**: 检查数据库服务器的监控仪表盘（CPU使用率、内存、磁盘I/O、活跃连接数）。
4. **解决方案建议?**
    - ...

# 输出

请根据以上的思维链，整理成一份正式的故障分析报告。

这种CoT提示词不仅引导AI得出结论，更重要的是强迫它展示一个结构化的、逻辑清晰的分析过程，这对于复杂的诊断任务非常有价值。

4.2 自我一致性 (Self-Consistency) 用于探索性测试

在需要创造性和发散性思维的探索性测试中，可以利用Self-Consistency来生成更多样化的测试想法。

场景：为一个新的“在线文档协作”功能设计探索性测试的思路。

提示词:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


# 角色

你是一个极具创造力和破坏性的软件测试员，擅长找到用户意想不到的Bug。

# 任务

请为“在线文档实时协作”功能，生成5个不同的、创造性的探索性测试思路（charter）。我需要的是多样化的、非常规的想法。

# 指令

1. 我将多次运行此提示。
2. 请你思考并生成5个测试思路，专注于并发操作、网络延迟、数据冲突和非常规用户交互。
3. 请以项目列表的形式输出。

(你可以将模型的`temperature`参数调高，例如0.8，然后多次运行这个提示词)

运行1的可能输出:

  • 模拟断网重连: 两个用户同时编辑，其中一个用户突然断网，进行大量修改后再重连，观察数据如何合并。
  • 疯狂光标移动: 多个用户在同一行疯狂地输入、删除、移动光标，测试渲染性能和同步的准确性。
  • …

运行2的可能输出:

  • 权限动态变更: 当一个用户正在编辑时，管理员突然将其权限从“可编辑”降为“只读”，观察其客户端的行为。
  • 混合富文本与纯文本: 一个用户粘贴复杂的富文本（带格式、图片），另一个用户同时在附近输入纯文本，检查格式是否错乱。
  • …

通过多次生成并综合所有独特的想法，测试人员可以获得一个远比单次请求更丰富、更全面的探索性测试清单。

第五章：总结与展望

提示词工程正迅速成为软件测试工程师的核心竞争力之一。它不是要取代测试人员的思考，而是要增强他们的能力，将他们从重复劳动中解放出来，去完成更需要智慧和洞察力的任务。

成功的关键在于实践。从今天起，尝试将本文介绍的技巧应用到你的日常工作中。从小任务开始，比如用AI帮你润色缺陷报告，或者为你正在测试的功能头脑风暴一些边缘案例。随着你对模型“脾气”的了解加深，你将能够构建出越来越强大的提示词，真正实现与AI的高效协同，将软件测试的效率和质量提升到一个全新的高度。

未来的软件测试，将是人类智慧与人工智能深度融合的时代，而提示词工程，正是开启这扇大门的钥匙。

© 2023 - 2025 |by 城下秋草（公众号： 秋草说测试）
使用 Hugo 构建
主题 Stack 由 Jimmy 设计