混沌工程（Chaos Engineering）到底是啥？

现实世界比demo更复杂，系统的正常运行需要网络、存储、虚拟化层、OS、中间件、数据、应用的多项配合，每天都会遇到各式各样的故障，这些真实世界的故障信息就是最好的混沌工程变量。
我认为的混沌工程，和安全领域的零信任颇为类似，无论处于网络边界之内或之外，都不应该自动信任任何事务。任何组件都有发生故障的可能。

混沌工程是测试工作的超集，虽然混沌工程和传统测试通常会有很多共性，比如都使用“错误注入故障注入”，测试是使用测试工具都某块进行测试，混沌工程更像实验，通过不断模拟故障，观察系统的”反应”，追求在真实环境中演练。
在真实世界中，常见的故障：
硬件，硬盘老化、电源掉电、内存ECC等
网络，延迟、丢包、阻断等
系统，资源耗尽、内核bug等
拜占庭错误，集群脑裂、影响选举制度等
上下游服务故障，比如三方接口故障、服务循环依赖等

没必要对所有的风险点进行测试，要考虑故障比例，把较为频繁的故障列为第一优先级。比如没必要测试内网间的延时、OSS的文件损坏、SLB的转发失效等，应该模拟自身服务调用延迟、依赖厂商的支付接口、外部被墙等，这样的模拟是非常有效果。

接下来是争议最大的部分，混沌工程追求在生产环境模拟，大部分厂商是没魄力的，传说网飞就很猛，有自信直接停掉aws的一个可用区（个人觉得夸张）。常见的做法是录制线上流量，成倍数、倍速回放到测试环境、或者在金丝雀环境。失效也仅影响一小部分用户。btw，阿里云的AHAS年初已经正式版，全自动的故障模拟，包装了大部分复杂度👍🏻

给自己定个OKR，下半年把以往做过的故障注入、流量管理串起来形成文字💪🏻

标签: none

添加新评论