一次网络故障的处理

harddisk

故障处理过程及结果：

在3月6日晚间20：30接到电话云终端桌面出现中断现象。开始远程排查，发现以下状况：

    1）远程vpn登录3850，失败。

2）登录3850上联设备6509.在2台6509上ping 3850管理口，连接不通。

3）查看cdp邻居，2台6509存在3850邻居，3850正在运行，但无法远程操作。

20:37时，到达现场发现3850信号灯显示正常。但业务中断。怀疑3850存在内存或者cpu消耗过高，导致网络连通性问题，重启3850交换机。

21:05时，3850交换机经过一段时间运行后出现业务中断。vpn远程连接中断。影响业务严重，同时3850操作困难，计划将云终端桌面从3850切换至6509，优先恢复呼叫业务。

业务迁移具体操作：

1）21:11时，6509与云桌面接入交换机互联光钎。接口up。

2）21:20时，6509-1及6509-2远程创建新SVI端口（用户指定为vlan50-55），并使用hsrp实现冗余。

3）21:30时，测试连通性，172.21.20.35ping 6509-1的172.21.20.1不通。

4）21:35时，查找原因，172.21.20.1网段vlan50未能up。

5）21:50时，工程师到达，了解现场情况。与用户协商业务切换事项。

6）22:05时，现场console登录6509-1，查看云桌面与网关未能互通原因。

7）22:20时，与用户对照vlan规划表，172.21.21.0网段规划为vlan51

22:27时，测试电话业务，业务恢复正常。

23:00时，业务全部测试完毕，console登录3850检查问题，收集日志信息。Show logging显示3850在存在内存资源耗尽的log信息同时ipv4 cef功能关闭。

4   3月7日 1:00时，与用户沟通排查3850交换机下联设备的所有端口，最终发现异常端口：gi1/0/11 gi1/0/12gi2/0/11 gi 2/0/12，查找出的问题IP信息如下:

      172.21.19.53   172.21.19.54     172.21.19.149

172.21.19.150  172.21.19.151    172.21.19.152

关闭交换机与此连接的相关端口后，观察3850运行正常，故障现象消失。

1:30时，观察3850交换机运行状态和arp表项，日志显示无异常，相关信息日志如下：

CTI-3850#show processes cpu

CPU utilization for five seconds:4%/1%; one minute: 5%; five minutes: 6%

CTI-3850#show ip arp summary

8870 IP ARP entries, with 2 ofthem incomplete

CTI-3850#show memory statistics

Tracekey :1#59e094c7032091669b6b9ec21fb520ae   

            Head       Total(b)   Used(b)  Free(b   Lowest(b)  Largest(b)

Processor FF90B5E010  873325200 366075092  507250108  173720   34070348

故障修复改进：

1、所有上线设备必须确保是干净的

2、对于已经受感染的设备，必须低级格式化后重装系统和软件

3、未经授权不得插入任何移动设备

4、对于外联Internet设备，必须启动防火墙，并关闭不必要的服务、端口以及删除无用的用户账号

5、远程登录用户名和密码必须由持有人单独持有，不得共用一个账号

确认防火墙访问控制语句是否有必要再收紧访问策略