一次&&引发的重大事故

在一次常态的EMQ集群巡检时发现，有非周期的CPU超过80%毛刺，按照预案新增了如下防火墙规则限流（此规则验证过多次），当天为了方便使用&&将多行语句连接成一行。执行后发现连接数立刻下降，通过监控发现大量连接都变成了non-establish

# 清空INPUT链，标记RELATED,ESTABLISHED，对超出限速的REJECT
iptables -F INPUT
iptables -t filter -A INPUT -p tcp -m multiport -m state --dport 1883,8883 --state RELATED,ESTABLISHED -j ACCEPT
iptables -t filter -A INPUT -p tcp -m multiport -m state -m limit --dport 1883,8883 --limit 200/second --limit-burst 600 --state NEW -j ACCEPT
iptables -t filter -A INPUT -p tcp -m multiport --dport 1883,8883 -j REJECT --reject-with tcp-reset
service iptables save
# 当天为批量执行，简化为一条
iptables -F INPUT && iptables -t filter -A INPUT -p tcp -m multiport -m state --dport 1883,8883 --state RELATED,ESTABLISHED -j ACCEPT && iptables -t filter -A INPUT -p tcp -m multiport -m state -m limit --dport 1883,8883 --limit 200/second --limit-burst 600 --state NEW -j ACCEPT && iptables -t filter -A INPUT -p tcp -m multiport --dport 1883,8883 -j REJECT --reject-with tcp-reset && service iptables save

黄色为non-establish

经排查，在执行标记流量 --state RELATED,ESTABLISHED 会将连接当前状态写入系统内核文件 /proc/net/nf_conntrack，当时每台机器均有100000左右连接，写入磁盘需要2-3秒。用&&将命令合并=没有间隔马上执行下条命令，未写完的连接未标记完成，命中了第三条REJECT tcpreset。陷入取消限速集群扛不住，增加限速丢弃连接死循环，通过SLB限速后，原厂删除集群信息后重建恢复。结论：iptables标记流量需要考虑写盘IO，执行时慢一些