本帖最后由 王守臣 于 2018-3-17 10:22 编辑
小灵通那些事儿(7)
第七篇 战北海(2)
三.客户点将
大年初三接到杨总电话,要我立即前往北海。原来,以为北海已经解决掉的单通问题又出现了。
客户点将一定要我去,说上次王博士一来,问题就解决了。这次还是只要王博士。
到北海后,与项目组成员坐下来一起分析故障原因。对现象大家达成一致,认识如下:
1、确认更换深圳发来控制板后,单通问题解决了。 2、两天后单通再次出现,并随着时间的增加单通比例增加。这个通过用户投诉数据可以证明。
有图有真相。
结论一、单通的故障一定出在控制板上。 结论二、控制板使用一段时间后出现了变化,软件出了问题,或者硬件出现了失效。
又是甘建平,他说了一个重要的现象:同一块单板,出现单通后,如果重新复位或重新插拔后,单通故障也消失了。
这小子可以呀,应该去当警察。换新单板与复位对程序起到的作用是一样的。这样的细节也能观察的到。
我们曾经开玩笑说,出差要带的最重要工具是牙签,遇到故障,捅一下复位键就恢复正常了。
最终结论:控制板运行一段时间后,程序发生了什么变化,造成了单通。
越来越接近真相。
四.神人钱沛
研发来人了,钱沛。
钱沛是公司老员工,软件专家,是公司接入网软件开发部的部长。其实他不负责小灵通产品线,但这个问题在研究所名气太大了,被他知道了。好事者一个,他就要到北海来看看。
杨总特别叮嘱我,钱沛到现场后按他的意见办。凡是NB的人都有个性。
钱沛到了,热烈欢迎,他的名气比较大,原来就比较熟悉。把这边情况给钱沛汇报后,他眼睛一瞪,怎么可能?再汇报,眼睛再一瞪,怎么可能?最后说我知道了。让他再到机房看看,出去测试体验一下,他说不用了,就回房间了。
我觉得他不深入一线,行吗?
领导说,钱沛想干啥随他,我就不管了,看他怎么死的。
第二天再看到钱沛的时候,他拿着一本宝典,西门子的芯片用户手册,说,我估计是西门子的E1芯片出了问题,西门子E1芯片的一个寄存器的一位,一段时间后会发生改变,由0变成1,所以就单通了。寄存器的这一位是0的时候就代表通,寄存器的这一位是1的时候就代表不通。
原因终于找到了,能够解释出现的古怪现象了。我问钱沛,寄存器写好了,内容怎么能改变呢?钱沛曰,这可能是西门子芯片的一个Bug。
用我儿子的话说:这也行!
修改软件,过一段时间就让程序重新写一下这一位,保证为0,这个问题就这样彻底解决了。
神人钱沛,钱沛神人!
当我们碰到问题的时候,通常会在自身找原因, 一般不会去怀疑厂家给的源代码有问题。
钱沛做到了。
能做到这样的,还有一位神人,师弟徐灏。我们在做一个水泥厂自动化项目的时候,买了上海一套控制系统,徐灏在此基础上开发了一个控制程序,怎么编译都不对。后来徐灏说一定是我们买的调用程序错了。然后他就去看系统自带的源程序,修改了一个宏定义,然后结果就对了。
身边有这样的神人,才有了这些传奇故事。
五.向日本人学习
单通问题解决了,还有一个半个月左右就会发生一次的接通率突然下降的问题。
小灵通是一个TDD的时分系统,空口同步就非常重要。如果时钟不同步,相互时隙之间就会干扰,接通率就下降了。
日本人是我们的师傅,让我们自己解决这些问题,不知道要摸索多长时间,所以解决问题的最好方法就是把师傅请过来,直接上战场,徒弟在旁边看着。
在我们的一封封邮件,一个个电话的催逼下,京瓷小灵通的最高领导神野 纯一部长亲自带队,率领一行十人到了北海现场。
神野部长中等身材,微胖,小眼睛,转起来贼溜溜的,一只嘴巴总是笑着,感觉和蔼可亲,他听你讲话的时候,总是不断的点头,感觉对你说的非常的认可。时间长了,才知道那只不过是他的一个习惯性的动作,点头也可能摇头的意思。
日本团队到了以后,首先与我们的技术团队一起讨论了出现的问题和现象,他们拿出笔和比报纸大一倍的纸,把我们所讲的问题和现象记录下,贴在酒店的墙上。日本人后来叽里呱啦讲了一通,也没给我们翻译,最后讲,今天就这样吧,明天白天我们再碰一下。
第二天再到他们酒店的时候,发现墙上又多了几张纸,其中一张纸上写的是工作计划,每个人什么时间要做什么事,结果是什么。还有一张纸上记录的是,在不同时间段不同基站上的时钟信息。
神野讲话的时候,慢条斯理。他的慢,有一种特别韵味,让人感觉他讲的话特别可信。
重要领导人讲话的速度都是慢的,讲话快的,很少成为领导者。终于发现一个我进步慢的主要原因。
他说昨天晚上我们安排人凌晨两点去采集了时钟同步数据,作为一个参考点。因基站的时钟同步是在两点时进行更新,更新之后,每个基站就单独工作,一天下来基站的时钟会有一定的漂移,当时钟偏差达到一定程度的时候,就会出现基站之间不同步。基站间干扰大了,接通率就会下降。
开出的药方:多装几个GPS,增加凌晨2点基站间的同步。
马上落实。
在算法上做了些优化,多装了几个GPS,问题就解决了。
通过这次十几天与日本人合作,发现他们身上有许多闪光的东西,总结如下:
1、工程能力强。日本人画图制表,徒手可以把一条线画的很直、很平,这是我们多数中国工程师做不到的。我想,他们能够做到这一点,是因为在学校的时候就受到过这样的训练。
2、计划性强。他们每天会进行例会,对每个人的工作制定计划,并贴在墙上,展示出来。对进展随时进行共享使每个成员都知道其他成员的进展情况。
3、展示方式好。他们总会通过图形、表格形象地表示出一些结论。不像我们,不断地列举,讲的人讲了很多,听的人不知道讲在说什么。
向日本人学习! 现在的日本人很好很可怜,不要以为恨日本人才是爱国。
人生过半,忘却已大于记忆,怕来不及,用"文字不灭",记录我们的似水年华。欢迎关注我的公众号
|