以下是该文章的逐句翻译:

混沌测试的教训:我们在一个本以为低风险的服务中失去了客户体验

大家好,

今天我想分享一些我们从混沌测试经验中获得的见解。

简单来说,混沌工程是在受控方式下故意“破坏”系统,以了解它们在意外情况下的表现。

其目标并不是真的要破坏系统,而是为了提前发现漏洞,发掘改进机会,并采取预防措施。

起初,我们将重点放在那些看起来微不足道的服务上,认为它们风险很小。

但混沌工程很快向我们展示了,即使是表面上“很小”的服务也可能对客户体验产生巨大影响。

在这篇文章中,我将带你了解我们如何准备环境、定义混沌场景、监控系统,以及——最重要的是——当事情未按预期发展时我们学到了什么。

这种方法多年前随着 Netflix 的 Chaos Monkey 工具而流行起来,现在被许多科技公司使用——因为没有系统能 100% 无错误运行。

真正重要的是故障对客户的影响有多大,以及团队能多快地对此做出响应。

作为 Trendyol 卖家广告团队,我们也开始采用这种方法。

在我们最初的测试中,我们发现那些我们最初认为低风险的领域,实际上对客户体验至关重要。

为什么要进行混沌测试?

在设计系统时,我们通常专注于“最佳情况”。

换句话说,服务是健康的,连接是稳定的,数据库是有响应的,用户发送请求也没有问题。

但在现实中,事情并不总是那么顺利:

  • Pod 可能会崩溃,

  • CPU 或内存限制可能会被超出,

  • 可能会发生网络丢包,

  • 或者第三方服务可能只是暂时无法响应。

混沌工程试图回答“如果出错了怎么办?”这个问题——而我们的测试恰恰建立了这种关键的意识。

一个乍看之下风险很低的服务

在开始我们的混沌测试之前,我们的团队需要决定专注于哪个服务。

经过一番讨论,我们选择了一个我们认为风险相对较低的服务。

普遍的看法是,“这项服务并不关键;我们要在这里不会遇到任何重大问题。”

我们的目标是从一个更安全的点开始,在团队内传播混沌文化,并分享经验。

但我们很快意识到,该服务对客户的影响远比我们预期的要大。

我们遵循的步骤

我们试图按照混沌工程的原则来设计我们的步骤。

1. 定义假设

  • 如果 Pod 崩溃,服务能自动恢复吗?

  • 当超出内存限制时,服务能优雅地降级吗?

  • 如果服务返回错误,我们能向客户显示一个兜底值吗?

例如,我们形成了一个这样的假设:“如果此服务失败,X 值将不会显示在客户的屏幕上。”

Image Placeholder

2. 提取依赖关系和流程

我们要绘制该服务与其他系统的依赖关系图。

识别故障可能产生级联效应的点是一个关键步骤。

Image Placeholder

3. 故障、可能性与影响分析

我们评估了每个识别出的场景发生的可能性及其业务影响。

  • 低可能性 / 高影响 → 最关键的场景

  • 高可能性 / 低影响 → 运营负担

4. 混沌监控仪表板

我们要创建一个专用的仪表板来监控测试期间的错误。

诸如 CPU、内存、Pod 重启次数、错误率和响应时间等指标被实时跟踪。

Image Placeholder

Image Placeholder

Image Placeholder

5. 预发布环境的准备

我们准备了测试环境以使其更类似于生产环境,考虑了像 Pod 数量和多数据中心(MDC)设置等因素。

此外,我们运行了性能测试以生成人工流量。

Image Placeholder

6. 混沌场景

我们将识别出的假设转化为混沌实验:

  • Pod 网络丢失(Pod 之间的网络中断)

  • Pod 崩溃,内存/CPU 限制压力测试

  • 增加服务响应时间

Image Placeholder

字段 (Field)内容 (Content)
假设 (Hypothesis)当 Pods 应用网络中断时,服务将在混沌期间尝试重启。混沌结束后,应用程序应该能够成功响应请求。
混沌工具 (Chaos Tool)Ares(Trendyol 内部工具)/ Litmus
环境 (Environment)预发布环境 (Stage)
爆炸半径/影响范围 (Blast Radius)我们将对 100% 的相关服务 Pods 应用网络丢失故障类型。
在团队日历上设置实验时间 (Set Experiment Time at Team Calendar)我们可以在日历上标记运行实验的时间。这样每个人都会知道这个实验。还可以在团队日历中添加一个 Zoom 会议。
通知利益相关者 (Notify Stakeholders)我们通过 Slack 频道通知了可能受影响的利益相关者和直接参与人员。

意想不到的现实

测试中最惊人的发现是:

我们最初认为不关键的一个服务,结果却是客户体验中最重要的组件之一。

在一个场景中,我们要遇到了一个 5XX 错误。

由于这个错误,某些需要显示给客户的值无法在屏幕上显示。

从技术上讲,这个服务看起来“很小”,但从业务角度来看,它产生了重大影响。

Image Placeholder

更重要的是,系统对这种故障没有弹性。

服务难以恢复,Pod 重启了多次,并且在很长一段时间内无法处理流量。

在此期间,我们无法向客户显示数值。

这时,我们意识到:

即使在混沌场景中,从客户的角度来看,整个系统也不应该失败。

服务的重要性不应仅由技术复杂性决定,还应由它们对客户体验的影响决定。

输出与行动

混沌测试中最具体的教训:

  • 缺少兜底机制。 当服务失败时,无法向客户显示替代信息。

  • 警报存在缺口。 应该为 Pod 崩溃和内存限制激增定义更有意义的警报。

  • 应审查资源限制(CPU 和内存)。

  • Kubernetes 构建块(存活探针、就绪探针、重启策略)应正确配置。

  • 风险分析应以客户体验为中心。 一个技术上看起来很小的服务,从客户的角度来看可能至关重要。

结论

我们的混沌工程经验教会了我们:

真正的风险有时隐藏在我们预期之外的地方。

当我们最初认为微不足道的服务无法传递关键信息时,它导致了整个客户体验的失败。

通过混沌测试,我们要亲身体验了这一现实,并被提醒系统永远不应从客户的角度失败。

混沌不仅向我们展示了系统在哪里崩溃,还展示了我们在哪里失去了客户。


使用 Hugo 构建
主题 Stack 由 Jimmy 设计