PageAdmin网站内容管理系统(CMS)交流论坛

注册

 

QQ登录

只需一步,快速开始

发新话题 回复该主题

美国服务器宕机检测需要注意的异常情况 [复制链接]

1#

美国服务器关于宕机检测,可能很多用户都会误会美国服务器宕机可以能够得知,所以不清楚宕机检测的必要性。实际上在很多时候美国服务器出现宕机,并不会总是被及时感知的。 那么关于如何准确发现宕机情况,美国服务器用户可以有以下操作,下面小编就来具体介绍一下。

通过心跳源可以初步发现美国服务器异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后会立即上报异常,并修改路由表,所以心跳异常做到秒级感知。

update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。

delete消息,在心跳异常并且SA判断ping不通,且美国服务器SSH不通情况下发起,删除该条消息,避免延迟太长。

insert消息,在新增加机器或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。

心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。

而当美国服务器出现以下异常时需要多加注意:

1、网络干扰排除

宕机分析中较多误报是由于网络问题干扰,无法准确判断出美国服务器是否宕机,因为也有可能是网络问题。 排除上联网络设备异常导致的误报,包括机房小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。

美国服务器本身未丢包的误报除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机。

2、特殊情况干扰排除

个别美国服务器机房有时候会出现大面积风暴式的无故心跳异常,同时网络Ping值异常,但上联网络设备Ping值包正常,这种误报一般根据具体case具体进行针对性的分析,如根据监控每个机房的上报频率,排除干扰。

3、进一步识别误报

至此大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,Ping异常,都合乎美国服务器宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常。或者美国服务器并没有宕机,但IO延时和资源占用率各项指标都不正常等场景,需要增加uptime判断以及带外日志分析排查。
分享 转发
TOP
发新话题 回复该主题