内网连接异常怎么回事(wifi内网连接正常外网连接异常)
早上刚到公司,刚开始刷头条,一个客户打来电话。
顾客:我们这里的网络有问题。出口路由器的访问是间歇性的,外网不受影响。你能帮我远程看一下吗?
我:好吧,给我来个长途。
症状:当计算机ping出口路由器时,是间歇性的,SSH无法连接到路由器。
截图如下:
故障现象截图
客户档案核心区的拓扑图如下:
客户核心区域网络拓扑
故障排除流程:
1.根据故障现象和以往的工作经验,我们首先怀疑网络可能存在环路。该环路的一个典型现象是,当访问核心交换机或其他设备时,ping数据包会有很长的延迟或连续的丢包。
核心交换机故障排除:
通过查看核心交换机的日志信息,发现网络环境中确实存在环路。通过日志提示,逐级检查后,解决了循环影响。但解决之后,问题依然存在。问题是其他原因造成的,继续定位问题。
问题不在核心交换机上,因此请继续使用网络中常见的逐步排除故障的思路来定位问题。
2.检查出口路由器:
因为ping路由器的IP地址存在异常,所以需要确认ping包是否到达了路由器的IP地址。
因为不能通过SSH访问路由器,所以选择通过控制台端口登录设备。登录路由器后,先看看设备的日志,看有没有异常(通常网络异常时,日志会有更直观的提示)。经过查询,路由器的日志没有任何异常。查看设备的流表信息,发现用户的ping包可以正常到达路由器的内网端口,路由器已经做出正常回复。此时,排除路由器故障。
注:流表是某厂商路由器独有的功能,详细功能就不赘述了。
3.防火墙检查:
3.1.首先检查防火墙的安全策略,确认是否存在影响ping包数据转发的安全策略。经过检查,确认所有策略都没有影响数据转发。
3.2.使用wireshark包捕获工具,通过对防火墙设备上下端口的包捕获分析,发现ping包的转发没有异常,排除了防火墙问题。如下图所示:
防火墙数据包捕获页面
防火墙上行端口的Ping数据包分析页面
防火墙下部连接端口的Ping数据包分析页面
4.核心交换机的数据包捕获分析
由于上行路由器和防火墙设备没有异常,继续往下检查,看核心是否正常接收到ping包的返回包。通过核心交换机的上端口捕获数据包后,确认核心交换机只发送数据包,不返回数据包。包捕获结果如下图所示,ping包提示没有回复消息:
核心交换机上接口的数据包捕获结果
5.重新组织站点拓扑。
在这一点上,很奇怪。根据存档的拓扑图,防火墙和核心交换机通过光纤跳线连接。是光纤跳线丢弃了数据吗?但是只有部分数据被丢弃。如果链路出现故障,就应该全部丢弃。和客户的运维工程师沟通后发现,客户最近在测试某厂商的WAF,位置正好在核心交换机和防火墙之间。这里的基本判断是,由于厂商的WAF政策,数据被丢弃。指示运维工程师跳过WAF后,ping包正常。
测试WAF和WAF的相应位置被添加到实际拓扑中。
问题终于解决了:
运维工程师联系了某厂商的技术工程师后,最终定位。问题是由于路由器内网端口数据量大,WAF判定网络受到了攻击,路由器是攻击源,于是将路由器内网端口地址加入动态黑名单。WAF工程师将路由器网络端口地址添加到白名单中,问题得到解决。
其实问题不是很麻烦,但是因为不在现场,不了解现场实际情况,走了很多弯路。后续出现类似问题时,可以多了解,提前和客户沟通,看看最近网络有没有变化,更快定位问题原因。