事故学习心得体会

wh76233

事故描述：
邢台电信公司为了增强网络安全性和稳定性，准备将原有2.5G冶金-顺德环和平乡-清河环进行优化重组，组成一个新的2.5G环。现场操作工程师乔栋在割接前作准备的时候将待优化的网络与局方工程主管、维护负责人等进行了详细了解，将网管数据进行了备份和导出脚本，以方便对本次割接数据做更好的整理。本次割接原计划在7月31日进行割接，但由于用户原因，本次割接推迟到了8月5日和6日的00：00-6：00进行操作 ，分两天晚上进行割接。本次割接的割接方案已经提前提交华为办事处和用户，获得了华为办事处和用户的批准，并由用户盖章签字确认。
8月4日21：50负责割接的工程师乔栋到达电信冶金局网管机房，做割接前的准备工作，准备工作包括检查网元运行状态、查询相关告警、数据库备份、网元空余时隙穿通等。8月4日22：00局方维护人员也到达了现场，乔栋在没有和局方人员做任何说明的情况下，就开始检查网元运行状态及相关告警。22：10分，乔栋准备进行数据库备份数据前的上载操作，结果在操作时误点到了网管上的下载按钮上，而且在网管两次提示会中断业务的情况下，都没能及时发现错误操作，导致数据下载命令最终执行。22：12，乔栋发现操作错误后马上进行了取消操作，此时已经有22个网元（5个3500，2个7500，15个Metro 1000V3）执行了下载命令。操作取消以后有2个3500和8个Metro 1000V3已经操作成功，1个7500和2个Metro 1000V3部分成功，3个3500、1个7500和5个Metro 1000V3操作失败。发现错误操作的同时乔栋马上通知了邢台地区负责人陈志金。22：23分陈志金到达网管机房，对事故进行了解后马上开始进行恢复并让乔栋分别通知公司白玉强主任和王志经理，王志在22：35分，将事故通报给了办事处相关责任人李永刚和王伟平及我公司的白玉强。之后，王志联系现场操作人员陈志金了解本次事故的影响程度，从陈志金处了解到影响的基站数目很多，但是具体数量不明，影响的电路有几百条。此时，电信集团公司监控到基站掉站并打电话至电信省公司和邢台市公司询问原因。陈志金通过和局方了解得知网管数据就是最新数据，决定对下载操作失败的网元重新进行数据下载，22：30分开始重新下载操作。但由于网管的下载速度较慢，直到23：00才将所有操作失败和操作部分成功的站点重新下载完成。
根据电信BSC网管告警了解到从22：20分开始出现断站，23：08所有站点全部恢复。站点中断最长时间为28分钟，大部分站点中断时间为10-20分钟之间，部分站点中断时间小于10分钟，影响到的站点总数为155个，出现中断站点次数共260次，另从用户处了解到共330条左右电路业务受到影响。此外还存在互联互通站点中断，BSC网管无法监控，具体中断数目不清楚。
事故分析：
1)、现场操作工程师乔栋，入职一年来，规范意识薄弱，在进入客户机房后，不向局方在场人员汇报就私自进行操作，割接当晚也不进行短信通报。风险意识根本没有，对网管的高危操作从思想上不重视，麻痹大意，在有2步会中断业务的提示下，都没有发现自己的错误操作，简直不可思议，这是导致本次事故发生的直接原因。技术水平差，事故发生以后，又不能及时恢复业务，耽误了宝贵的时间。

2)、区域责任人陈志金，负责区域所有的工程项目，对重大操作不重视，没有起到很好的监控和管理作用，明知道乔栋是刚刚入职一年的工程师，操作风险比较大，还是放心的任由工程师自己单独操作，没有过多的进行关注。而且基本的规范流程都没有执行，当晚有重大操作，并没有进行短信通报。

个人体会：
      在任何高危操作前，高危操作方案必须通过华为和用户的审核。我公司的方案审核责任人每次高危操作前都要明确向操作人邮件和电话提醒操作中有可能出现的问题和高危操作要求注意的事项，现场操作必须要严格按照割接方案执行并对方案审核人员提出的注意事项要重点关注。然而，反复强调的事情，总会有人不去认真执行，非要“撞”个头破血流才能深刻牢记。
事故给我们上了一堂“生动”的课，让我们深刻体会到在通信领域事无小事，让我们从心里将重视每一件工程中遇到的事情，不论大小。每次事件的出现总是说偶然，其实偶然中存在必然，我们做工程做的非常辛苦，可是如果在安全意识上松懈了，那么到最后很可能就会出现99％＝0。在以后的施工一定要严格要求自己。今后在工作中我们要拿出最大的细心和最多的耐心，严格按照技术流程规范走，不断提高自我安全意识。不但保证自己要做好今后工程，还将整改以前一些自己各方面的不合格地方！ “不言胜，先言败”，以优质的服务和精湛的技术去争取让客户满意，为提高华为服务品牌贡献自己的一份力量。