内网连接异常怎么回事(wifi内网连接正常外网连接异常)

上午刚到公司,刚开始刷头条,某客户电话就来了。客户:我们这里网络出问题了,出口路由器访问断断续续,上外网不受影响,能帮忙远程看看吗?我:好,给个远程故障现象:电脑ping出口路由器时,时断时续,SSH无法连接路由器。截图如下:故障现象截图客户存档核心区域拓扑图如下:客户核心区域网络拓扑排查过程:1、根据故障现象,结合之前的工作经验,首先怀疑网络中可能存在环路。环路有一个典型的现象就是导致访问核心交换机或者其他设备的时候ping包会出现大延时或者连续丢包。核心交换机排查:通过查看核心交换机的日志信息,发现网

早上刚到公司,刚开始刷头条,一个客户打来电话。

顾客:我们这里的网络有问题。出口路由器的访问是间歇性的,外网不受影响。你能帮我远程看一下吗?

我:好吧,给我来个长途。

症状:当计算机ping出口路由器时,是间歇性的,SSH无法连接到路由器。

截图如下:

故障现象截图

客户档案核心区的拓扑图如下:

客户核心区域网络拓扑

故障排除流程:

1.根据故障现象和以往的工作经验,我们首先怀疑网络可能存在环路。该环路的一个典型现象是,当访问核心交换机或其他设备时,ping数据包会有很长的延迟或连续的丢包。

核心交换机故障排除:

通过查看核心交换机的日志信息,发现网络环境中确实存在环路。通过日志提示,逐级检查后,解决了循环影响。但解决之后,问题依然存在。问题是其他原因造成的,继续定位问题。

问题不在核心交换机上,因此请继续使用网络中常见的逐步排除故障的思路来定位问题。

2.检查出口路由器:

因为ping路由器的IP地址存在异常,所以需要确认ping包是否到达了路由器的IP地址。

因为不能通过SSH访问路由器,所以选择通过控制台端口登录设备。登录路由器后,先看看设备的日志,看有没有异常(通常网络异常时,日志会有更直观的提示)。经过查询,路由器的日志没有任何异常。查看设备的流表信息,发现用户的ping包可以正常到达路由器的内网端口,路由器已经做出正常回复。此时,排除路由器故障。

注:流表是某厂商路由器独有的功能,详细功能就不赘述了。

3.防火墙检查:

3.1.首先检查防火墙的安全策略,确认是否存在影响ping包数据转发的安全策略。经过检查,确认所有策略都没有影响数据转发。

3.2.使用wireshark包捕获工具,通过对防火墙设备上下端口的包捕获分析,发现ping包的转发没有异常,排除了防火墙问题。如下图所示:

防火墙数据包捕获页面

防火墙上行端口的Ping数据包分析页面

防火墙下部连接端口的Ping数据包分析页面

4.核心交换机的数据包捕获分析

由于上行路由器和防火墙设备没有异常,继续往下检查,看核心是否正常接收到ping包的返回包。通过核心交换机的上端口捕获数据包后,确认核心交换机只发送数据包,不返回数据包。包捕获结果如下图所示,ping包提示没有回复消息:

核心交换机上接口的数据包捕获结果

5.重新组织站点拓扑。

在这一点上,很奇怪。根据存档的拓扑图,防火墙和核心交换机通过光纤跳线连接。是光纤跳线丢弃了数据吗?但是只有部分数据被丢弃。如果链路出现故障,就应该全部丢弃。和客户的运维工程师沟通后发现,客户最近在测试某厂商的WAF,位置正好在核心交换机和防火墙之间。这里的基本判断是,由于厂商的WAF政策,数据被丢弃。指示运维工程师跳过WAF后,ping包正常。

测试WAF和WAF的相应位置被添加到实际拓扑中。

问题终于解决了:

运维工程师联系了某厂商的技术工程师后,最终定位。问题是由于路由器内网端口数据量大,WAF判定网络受到了攻击,路由器是攻击源,于是将路由器内网端口地址加入动态黑名单。WAF工程师将路由器网络端口地址添加到白名单中,问题得到解决。

其实问题不是很麻烦,但是因为不在现场,不了解现场实际情况,走了很多弯路。后续出现类似问题时,可以多了解,提前和客户沟通,看看最近网络有没有变化,更快定位问题原因。