网格奇迹之--屏蔽故障节点
背景:海外用户投诉我们一个边缘功能失效,定位到程序假死。随着各种复盘会,把这件小事无限放大。
难点:探针改造复杂,尽管已经有了基础的http接口检测,但针对服务连接各种中间件等场景无法一一覆盖
在研发根治此问题前,使用“熔断”来降低此类故障的影响
熔断,是创建弹性微服务应用程序的重要模式。熔断能够使您的应用程序具备应对来自故障、潜在峰值和其他未知网络因素影响的能力
中间方案,通过网关日志,假死会有504超时的信息,SLS已支持触发各种钩子,逐个重启故障服务的pod
- 优点:配置相对简单,覆盖面广
- 缺点:按照监控的频率间隔,有几分钟延迟
更优istio方案,使用VirtualService配合DestinationRule对超时或者错误重试,并将故障pod踢出
- 优点:侦测更快,发现故障后立即生效
- 缺点:局部配置,所有服务都要写一遍
环境:
- kubernetes v1.18.20
- istio 1.10.3
- 后端服务flask,代码如下,sleep5秒用于模拟超时
from flask import Flask
import time
app = Flask(__name__)
@app.route("/", methods=["GET"])
def index():
time.sleep(5)
return "Hello World Pyvo 2!"
istio中配置如下
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
name: backend-gateway
spec:
selector:
istio: ingressgateway
servers:
- port:
number: 80
name: http
protocol: HTTP
hosts:
- "*"
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
name: vs-backend-flask
spec:
hosts:
- "*"
gateways:
- backend-gateway
http:
- match:
- uri:
prefix: /flask
rewrite:
uri: /
route:
- destination:
host: backend-flask
port:
number: 80
retries:
attempts: 3
perTryTimeout: 2s
---
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
name: dr-backend-flask
spec:
host: backend-flask
trafficPolicy:
outlierDetection:
consecutive5xxErrors: 1
interval: 10s
baseEjectionTime: 30s
效果如图,访问出现上游服务超时错误后,在30秒内不会再调度到故障节点