通信人家园

 找回密码
 注册
搜索
热搜: 家园 活动

军衔等级:

  新兵

注册时间:
2012-7-27
发表于 2018-3-9 14:04:40 |显示全部楼层
故障处理过程及结果:
在3月6日晚间20:30接到电话云终端桌面出现中断现象。开始远程排查,发现以下状况:
    1)远程vpn登录3850,失败。
2)登录3850上联设备6509.在2台6509上ping 3850管理口,连接不通。
3)查看cdp邻居,2台6509存在3850邻居,3850正在运行,但无法远程操作。
20:37时,到达现场发现3850信号灯显示正常。但业务中断。怀疑3850存在内存或者cpu消耗过高,导致网络连通性问题,重启3850交换机。
21:05时,3850交换机经过一段时间运行后出现业务中断。vpn远程连接中断。影响业务严重,同时3850操作困难,计划将云终端桌面从3850切换至6509,优先恢复呼叫业务。
业务迁移具体操作:
1)21:11时,6509与云桌面接入交换机互联光钎。接口up。
2)21:20时,6509-1及6509-2远程创建新SVI端口(用户指定为vlan50-55),并使用hsrp实现冗余。
3)21:30时,测试连通性,172.21.20.35ping 6509-1的172.21.20.1不通。
4)21:35时,查找原因,172.21.20.1网段vlan50未能up。
5)21:50时,工程师到达,了解现场情况。与用户协商业务切换事项。
6)22:05时,现场console登录6509-1,查看云桌面与网关未能互通原因。
7)22:20时,与用户对照vlan规划表,172.21.21.0网段规划为vlan51
22:27时,测试电话业务,业务恢复正常。
23:00时,业务全部测试完毕,console登录3850检查问题,收集日志信息。Show logging显示3850在存在内存资源耗尽的log信息同时ipv4 cef功能关闭。
4   3月7日 1:00时,与用户沟通排查3850交换机下联设备的所有端口,最终发现异常端口:gi1/0/11 gi1/0/12gi2/0/11 gi 2/0/12,查找出的问题IP信息如下:
      172.21.19.53   172.21.19.54     172.21.19.149
172.21.19.150  172.21.19.151    172.21.19.152
关闭交换机与此连接的相关端口后,观察3850运行正常,故障现象消失。
1:30时,观察3850交换机运行状态和arp表项,日志显示无异常,相关信息日志如下:
CTI-3850#show processes cpu
CPU utilization for five seconds:4%/1%; one minute: 5%; five minutes: 6%
CTI-3850#show ip arp summary
8870 IP ARP entries, with 2 ofthem incomplete
CTI-3850#show memory statistics
Tracekey :1#59e094c7032091669b6b9ec21fb520ae   
            Head       Total(b)   Used(b)  Free(b   Lowest(b)  Largest(b)
Processor FF90B5E010  873325200 366075092  507250108  173720   34070348


故障修复改进:
1、所有上线设备必须确保是干净的
2、对于已经受感染的设备,必须低级格式化后重装系统和软件
3、未经授权不得插入任何移动设备
4、对于外联Internet设备,必须启动防火墙,并关闭不必要的服务、端口以及删除无用的用户账号
5、远程登录用户名和密码必须由持有人单独持有,不得共用一个账号
确认防火墙访问控制语句是否有必要再收紧访问策略



军衔等级:

  上等兵

注册时间:
2009-11-4
发表于 2018-3-9 17:57:00 |显示全部楼层
确认防火墙访问控制语句是否有必要再收紧访问策略
您需要登录后才可以回帖 登录 | 注册

Archiver|手机版|C114 ( 沪ICP备12002292号 )|联系我们 |网站地图  

GMT+8, 2018-6-19 22:36 , Processed in 0.078124 second(s), 14 queries , Gzip On.

Copyright © 1999-2018 C114 All Rights Reserved

Discuz Licensed

回顶部