网格奇迹之--屏蔽故障节点

背景：海外用户投诉我们一个边缘功能失效，定位到程序假死。随着各种复盘会，把这件小事无限放大。
难点：探针改造复杂，尽管已经有了基础的http接口检测，但针对服务连接各种中间件等场景无法一一覆盖
在研发根治此问题前，使用“熔断”来降低此类故障的影响

熔断，是创建弹性微服务应用程序的重要模式。熔断能够使您的应用程序具备应对来自故障、潜在峰值和其他未知网络因素影响的能力

中间方案，通过网关日志，假死会有504超时的信息，SLS已支持触发各种钩子，逐个重启故障服务的pod

• 优点：配置相对简单，覆盖面广
• 缺点：按照监控的频率间隔，有几分钟延迟

更优istio方案，使用VirtualService配合DestinationRule对超时或者错误重试，并将故障pod踢出

• 优点：侦测更快，发现故障后立即生效
• 缺点：局部配置，所有服务都要写一遍

环境：

• kubernetes v1.18.20
• istio 1.10.3
• 后端服务flask，代码如下，sleep5秒用于模拟超时

from flask import Flask
import time

app = Flask(__name__)


@app.route("/", methods=["GET"])
def index():
    time.sleep(5)
    return "Hello World Pyvo 2!"

istio中配置如下

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: backend-gateway
spec:
  selector:
    istio: ingressgateway
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "*"

---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: vs-backend-flask
spec:
  hosts:
  - "*"
  gateways:
  - backend-gateway
  http:
  - match:
    - uri:
        prefix: /flask
    rewrite:
      uri: /
    route:
    - destination:
        host: backend-flask
        port:
          number: 80
    retries:
      attempts: 3
      perTryTimeout: 2s

---
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: dr-backend-flask
spec:
  host: backend-flask
  trafficPolicy:
    outlierDetection:
      consecutive5xxErrors: 1
      interval: 10s
      baseEjectionTime: 30s

效果如图，访问出现上游服务超时错误后，在30秒内不会再调度到故障节点