分类 工作日志 下的文章

遇到一种场景，某前端服务部署在kubernetes中，有偶发的服务故障。想着健康探针重启就行，忽然想到，如果是重要的线上服务宕机，不查出来心里憋得慌，怎么让服务恢复的同时又能保留现场呢
改当前pod的标签，这样deployment会认为副本消失，自动创建。完美实现老容器保留，业务也及时恢复
截图.jpg

kong中默认有安全插件，黑白名单限流等，限制UA暂时没找到。可以自己开发一个

-- handler.lua
local BasePlugin = require "kong.plugins.base_plugin"
local MyPluginHandler = BasePlugin:extend()

MyPluginHandler.VERSION = "1.0.0"
MyPluginHandler.PRIORITY = 10

function MyPluginHandler:new()
  MyPluginHandler.super.new(self, "block-user-agent")
end

function MyPluginHandler:access(conf)
  MyPluginHandler.super.access(self)
  
  -- 检查 User-Agent 请求头
  local user_agent = kong.request.get_header("User-Agent")
  for i, ua in ipairs(conf.blocked_user_agents) do
    if user_agent == ua then
      -- 如果 User-Agent 被阻止，使用 kong.response.exit 返回响应并停止处理
      return kong.response.exit(conf.response_code, { message = conf.response_message })
    end
  end
end
-- schema.lua
local typedefs = require "kong.db.schema.typedefs"

return {
  name = "block-user-agent",
  fields = {
    { consumer = typedefs.no_consumer },
    { config = {
        type = "record",
        fields = {
          { blocked_user_agents = { type = "array", default = {}, elements = { type = "string", }, }, },
          { response_code = { type = "number", default = 403 }, },
          { response_message = { type = "string", default = "Forbidden" }, },
        },
      },
    },
  },
}

docker启动时注意修改kong/constants.lua，在插件底部加入UA_block

docker stop kong-gateway
docker rm kong-gateway  
docker run -d --name kong-gateway \
 --network=kong-net \
 -e "KONG_DATABASE=postgres" \
 -e "KONG_PG_HOST=kong-database" \
 -e "KONG_PG_USER=kong" \
 -e "KONG_PG_PASSWORD=kongpass" \
 -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
 -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
 -e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
 -e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
 -e "KONG_ADMIN_LISTEN=0.0.0.0:8001" \
 -e "KONG_ADMIN_GUI_URL=http://localhost:8002" \
 -v /data/UA-block:/usr/local/share/lua/5.1/kong/plugins/UA-block \
 -v /data/constants.lua:/usr/local/share/lua/5.1/kong/constants.lua \
 -p 8000:8000 \
 -p 8443:8443 \
 -p 8001:8001 \
 -p 8444:8444 \
 -p 8002:8002 \
 -p 8445:8445 \
 -p 8003:8003 \
 -p 8004:8004 \
 kong/kong-gateway:2.6.1.0-alpine

UA-ill.jpg

近一周安全问题频发，明显是针对性的精准渗透行为，钓鱼邮件、ERP服务器被拿下、线上kubernetes集群被拿到部分权限成功部署反弹shell。从入侵轨迹来看，未做破坏但有明显的扫描内网行为，对方对安全、运维都有比较深入的了解。与政府组织的“磐石行动”时间点吻合，推测是对我们的白帽行为
云安全中心提醒还是很精准的，以容器中被运行反弹shell为例。从kubernetes审计日志，“黑客”使用被泄露账号通过暴露在公网的k8s api server进来，在进行了一系列尝试后发现有A命名空间的管理权限，具有onl的namespace 权限，查看了cm发现免密登陆，推送镜像，创建deployment ，镜像中传输数据。已关服务，wifi api server取消外网监听

过程中用到的命令
pstree -p -a #查看
docker inspect #查看pod信息
docker run -it --entrypoint /bin/sh xxxxx #启动疑似容器
查看kubernetes 审计日志
kubernetes get rolebinding -n xxx -o yaml

最新战报：
内部员工已中招，对方社工客服运行了可执行文件，导致在OA内向其他用户发送病毒文件
ERP服务器沦陷，有扫描内网的行为
CRM服务器中毒
🏳️

在家隔离的2个多月，重新捡起了运维开发工作

已实现or改进：

  1. 物理资产自动采集，通过DRF上报
  2. 通知功能*
  3. 长周期任务异步
  4. 密码管理
  5. 密码操作审计
  6. 使用了新的前端模板，耳目一新

待实现or改进

  1. 异步任务通知
  2. DASHBOARD功能
  3. 资产要关联应用，应用管理
  4. kubernetes的报表功能
  5. 权限管理

附几张效果图
资产管理.png审计管理.png模态对话框js.png

今天在排错时遇到个奇怪的现象，相同名称添加多条A记录超过512字节时，就会影响部分递归DNS的记录同步。
测试域名 liyang.sunmi.com 添加了36条A记录，大小610字节
A记录.jpg

必现部分递归DNS无法更新、解析失败
解析失败.jpg

1.查阅了DNS的RFC1035，udp包有512字节的长度限制，超出部份会被截断 原文
2.超过限制后使用tcp协议进行解析
3.公共DNS中，只有114.114.114.114会把超长结果截断在509字节，其他DNS都会原样返回

近期接到个古怪需求，历史原因有部分设备在代码中访问废弃接口uat.api.xxx.com，现有接口为 api.uat.xxx.com（顺序变化）。老设备升级rom版本较繁琐，网关不想动了，在外侧加了台nginx转发

# 通过rewrite301跳转
server {
    listen 80;
    server_name uat.api.xxx.com;

    location / {
        root /usr/share/nginx/html;
        if ( $host ~* uat.api.xxx.com ){
            rewrite .* http://api.uat.xxx.com$request_uri permanent;
        }

    }

}

# 方法2
在location中加，更优
    proxy_set_header Host api.uat.xxx.com;
    proxy_pass https://api.uat.xxx.com;

背景：海外用户投诉我们一个边缘功能失效，定位到程序假死。随着各种复盘会，把这件小事无限放大。
难点：探针改造复杂，尽管已经有了基础的http接口检测，但针对服务连接各种中间件等场景无法一一覆盖
在研发根治此问题前，使用“熔断”来降低此类故障的影响

熔断，是创建弹性微服务应用程序的重要模式。熔断能够使您的应用程序具备应对来自故障、潜在峰值和其他未知网络因素影响的能力

中间方案，通过网关日志，假死会有504超时的信息，SLS已支持触发各种钩子，逐个重启故障服务的pod

  • 优点：配置相对简单，覆盖面广
  • 缺点：按照监控的频率间隔，有几分钟延迟

更优istio方案，使用VirtualService配合DestinationRule对超时或者错误重试，并将故障pod踢出

  • 优点：侦测更快，发现故障后立即生效
  • 缺点：局部配置，所有服务都要写一遍

环境：

  • kubernetes v1.18.20
  • istio 1.10.3
  • 后端服务flask，代码如下，sleep5秒用于模拟超时
from flask import Flask
import time

app = Flask(__name__)


@app.route("/", methods=["GET"])
def index():
    time.sleep(5)
    return "Hello World Pyvo 2!"

istio中配置如下

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: backend-gateway
spec:
  selector:
    istio: ingressgateway
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "*"

---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: vs-backend-flask
spec:
  hosts:
  - "*"
  gateways:
  - backend-gateway
  http:
  - match:
    - uri:
        prefix: /flask
    rewrite:
      uri: /
    route:
    - destination:
        host: backend-flask
        port:
          number: 80
    retries:
      attempts: 3
      perTryTimeout: 2s

---
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: dr-backend-flask
spec:
  host: backend-flask
  trafficPolicy:
    outlierDetection:
      consecutive5xxErrors: 1
      interval: 10s
      baseEjectionTime: 30s

熔断.jpg
效果如图，访问出现上游服务超时错误后，在30秒内不会再调度到故障节点

网购、中介、挪车等不想留真实号码的场景，可以用阿里小号。通过软件方法绑定一个真实号码，可以呼入呼出收发短信。以往的￥40/年，忽然涨价到￥120/年。
咸鱼买到个方法分享出来

【淘宝】https://m.tb.cn/h.fn38Yzz?sm=250fe0?tk=XfzD24SBX0s「阿里小号.普通小号卡券(仅供已有联通小号用户充值使用)」
点击链接直接打开，反馈后就能以20每年的价格购买5年了

401647496361_.pic.jpg

水一篇，公司从前年上thoughts后，编辑md文档还是很爽的，但也仅限于标题、分割、缩进、引用，今天花了点时间尝试了所有md支持的格式，原来各个编辑器还是有差异，常用的typora居然收费了。
有道云笔记默认的md格式就很好用了。
花10分钟学习工具使用，方便一生 :smile:

一键三连1，我们再测一个2
把大象放冰箱

  1. 打开冰箱
  2. 塞进去大象
  3. 关上冰箱门

- 阅读剩余部分 -

又到年底，回顾一下今年的身边事

  1. 初衷很好的分享制度，平日里见不到一篇，最近被密集刷榜。虽然是公司内部的贴吧，大家的帖子质量属实不高。上来没头没尾直接贴代码片段，上下文、解决什么问题都不写清
  2. 内部贴吧逐渐沦为吐槽办
  3. 正式承接了IT部门，以往的管理水平实在太低。供应商价格不合理，等保做了100多W，服务器、网络设备平均高15%；维保厂商屌的一笔。两个月内全部换掉，拉内审、采购的兄弟与我们制约，防大家碰红线。内部系统完全依赖供应商、缺乏监控，owner连服务宕机的处理规则都不清楚，2个月内梳理个大概，让问题能先于用户报出来- -，虚拟化也启动了
    当然也有IT兄弟们不理解离开了，可能是我的管理风格，对以往的“遗产”深恶痛绝，明明能通过公网解析，非要买两台硬件服务器搭建DNS，关键还要线上每一次域名更改手动告诉他，他再手动加到公司内的DNS服务器。这不纯纯脱裤子放屁行为！这类例子不胜枚举！

    其次我把采购这肥差变成清水衙门，让大家把自己的供应商都晒出来，同质价低者得。想起某部门要做ISO认证，明明3W能做的事情硬是整成10W+，本来我不想参与的，毕竟没花我部门预算，可IT并过来之后我就必须管：）

  4. 每天的时间被各种管理任务、绩效、安全、审计、提供资料等等填满。需求必须经过我，觉得合理之后才会路由给小伙伴，这也是我比较累的根因
  5. 近段时间有某网站的编辑付费邀约我录制课程，赶巧嗓子咳嗽，多次拉扯后以5000/2小时成交。每天晚上下班后等小孩睡了才能录，经常搞到1点以后。被这编辑的彩虹屁吹的头晕
  1. 1
  2. 2
  3. 3