以下是该文章的逐句翻译:
混沌测试的教训:我们在一个本以为低风险的服务中失去了客户体验
大家好,
今天我想分享一些我们从混沌测试经验中获得的见解。
简单来说,混沌工程是在受控方式下故意“破坏”系统,以了解它们在意外情况下的表现。
其目标并不是真的要破坏系统,而是为了提前发现漏洞,发掘改进机会,并采取预防措施。
起初,我们将重点放在那些看起来微不足道的服务上,认为它们风险很小。
但混沌工程很快向我们展示了,即使是表面上“很小”的服务也可能对客户体验产生巨大影响。
在这篇文章中,我将带你了解我们如何准备环境、定义混沌场景、监控系统,以及——最重要的是——当事情未按预期发展时我们学到了什么。
这种方法多年前随着 Netflix 的 Chaos Monkey 工具而流行起来,现在被许多科技公司使用——因为没有系统能 100% 无错误运行。
真正重要的是故障对客户的影响有多大,以及团队能多快地对此做出响应。
作为 Trendyol 卖家广告团队,我们也开始采用这种方法。
在我们最初的测试中,我们发现那些我们最初认为低风险的领域,实际上对客户体验至关重要。
为什么要进行混沌测试?
在设计系统时,我们通常专注于“最佳情况”。
换句话说,服务是健康的,连接是稳定的,数据库是有响应的,用户发送请求也没有问题。
但在现实中,事情并不总是那么顺利:
Pod 可能会崩溃,
CPU 或内存限制可能会被超出,
可能会发生网络丢包,
或者第三方服务可能只是暂时无法响应。
混沌工程试图回答“如果出错了怎么办?”这个问题——而我们的测试恰恰建立了这种关键的意识。
一个乍看之下风险很低的服务
在开始我们的混沌测试之前,我们的团队需要决定专注于哪个服务。
经过一番讨论,我们选择了一个我们认为风险相对较低的服务。
普遍的看法是,“这项服务并不关键;我们要在这里不会遇到任何重大问题。”
我们的目标是从一个更安全的点开始,在团队内传播混沌文化,并分享经验。
但我们很快意识到,该服务对客户的影响远比我们预期的要大。
我们遵循的步骤
我们试图按照混沌工程的原则来设计我们的步骤。
1. 定义假设
如果 Pod 崩溃,服务能自动恢复吗?
当超出内存限制时,服务能优雅地降级吗?
如果服务返回错误,我们能向客户显示一个兜底值吗?
例如,我们形成了一个这样的假设:“如果此服务失败,X 值将不会显示在客户的屏幕上。”

2. 提取依赖关系和流程
我们要绘制该服务与其他系统的依赖关系图。
识别故障可能产生级联效应的点是一个关键步骤。

3. 故障、可能性与影响分析
我们评估了每个识别出的场景发生的可能性及其业务影响。
低可能性 / 高影响 → 最关键的场景
高可能性 / 低影响 → 运营负担
4. 混沌监控仪表板
我们要创建一个专用的仪表板来监控测试期间的错误。
诸如 CPU、内存、Pod 重启次数、错误率和响应时间等指标被实时跟踪。



5. 预发布环境的准备
我们准备了测试环境以使其更类似于生产环境,考虑了像 Pod 数量和多数据中心(MDC)设置等因素。
此外,我们运行了性能测试以生成人工流量。

6. 混沌场景
我们将识别出的假设转化为混沌实验:
Pod 网络丢失(Pod 之间的网络中断)
Pod 崩溃,内存/CPU 限制压力测试
增加服务响应时间

| 字段 (Field) | 内容 (Content) |
|---|---|
| 假设 (Hypothesis) | 当 Pods 应用网络中断时,服务将在混沌期间尝试重启。混沌结束后,应用程序应该能够成功响应请求。 |
| 混沌工具 (Chaos Tool) | Ares(Trendyol 内部工具)/ Litmus |
| 环境 (Environment) | 预发布环境 (Stage) |
| 爆炸半径/影响范围 (Blast Radius) | 我们将对 100% 的相关服务 Pods 应用网络丢失故障类型。 |
| 在团队日历上设置实验时间 (Set Experiment Time at Team Calendar) | 我们可以在日历上标记运行实验的时间。这样每个人都会知道这个实验。还可以在团队日历中添加一个 Zoom 会议。 |
| 通知利益相关者 (Notify Stakeholders) | 我们通过 Slack 频道通知了可能受影响的利益相关者和直接参与人员。 |
意想不到的现实
测试中最惊人的发现是:
我们最初认为不关键的一个服务,结果却是客户体验中最重要的组件之一。
在一个场景中,我们要遇到了一个 5XX 错误。
由于这个错误,某些需要显示给客户的值无法在屏幕上显示。
从技术上讲,这个服务看起来“很小”,但从业务角度来看,它产生了重大影响。

更重要的是,系统对这种故障没有弹性。
服务难以恢复,Pod 重启了多次,并且在很长一段时间内无法处理流量。
在此期间,我们无法向客户显示数值。
这时,我们意识到:
即使在混沌场景中,从客户的角度来看,整个系统也不应该失败。
服务的重要性不应仅由技术复杂性决定,还应由它们对客户体验的影响决定。
输出与行动
混沌测试中最具体的教训:
缺少兜底机制。 当服务失败时,无法向客户显示替代信息。
警报存在缺口。 应该为 Pod 崩溃和内存限制激增定义更有意义的警报。
应审查资源限制(CPU 和内存)。
Kubernetes 构建块(存活探针、就绪探针、重启策略)应正确配置。
风险分析应以客户体验为中心。 一个技术上看起来很小的服务,从客户的角度来看可能至关重要。
结论
我们的混沌工程经验教会了我们:
真正的风险有时隐藏在我们预期之外的地方。
当我们最初认为微不足道的服务无法传递关键信息时,它导致了整个客户体验的失败。
通过混沌测试,我们要亲身体验了这一现实,并被提醒系统永远不应从客户的角度失败。
混沌不仅向我们展示了系统在哪里崩溃,还展示了我们在哪里失去了客户。