通信人家园
标题: UDP数据分析及模型设置 [查看完整版帖子] [打印本页]
时间: 2020-7-6 10:45
作者: lychee1225
标题: UDP数据分析及模型设置
一、数据分析
1、UDP拨测策略
每光猫探针20分钟拨测2000次，拨测服务端口5888-6000共113个端口，每次拨测随机选取服务器端口。各光猫UDP拨测的启动时间随机，按5分钟粒度上报，因此全部光猫实际拨测后在平台统计到的颗粒度是5分钟，但5分钟粒度没有全部光猫拨测数据。
2、数据准确性验证
目的是分析数据是否有明显异常，进行数据的稳定性和可用性评估。
1）上报数据总量情况：
2019年12月14日-17日全天 UDP数据，数据总量：3885147307条（38.85亿），光猫发送UDP拨测包687.6亿个。
（1）拨测数量统计：
（2）拨测质量统计
从拨测质量来看，结合前期PC客户端和手机APP的UDP拨测数据，数据处于正常范围，数据质量可靠。
拨测的DPDK服务器从拨测数据来看，目前暂无瓶颈，但需加强对该服务器的日常监控维护。
2）上报数据的光猫统计情况
数据分析：
（1）不同MAC的数量较根据设备ID或逻辑ID统计的光猫数量小一半以上(约43.6%）。是否正常需后续确认。
（2）存在接收UDP回包为0的光猫（约2.2%）。经过抽样查询，均为欠费未拨号成功用户，即非在线状态光猫。
拨测。
（3）上报周期非均匀的20分钟
拨测时间不均衡是否因光猫CPU或其他指标较高时会暂缓执行拨测命令，还是其他原因，需确认。光猫探针目前开启的功能有南向PING 、网页拨测、游戏拨测、视频拨测、下载测速等功能，还需进行周期数据和各种拨测数据上报，可能造成某个时间光猫资源较高的情况。
结论：
1、从拨测数据和光猫探针相关统计来看，UDP拨测数据基本稳定、数据有效，可做网络质量评估。
2、目前的拨测策略是20分钟发送2000个拨测包，对于数据汇聚量小的PON口和OLT来说，按目前10分钟粒度统计会存在某些统计时间点无数据的情况（BRAS数据量大，可以查询到5分钟粒度的数据），计划调整拨测策略到5分钟，或者设计成间隔N秒不停拨测，已发需求给厂家。
3、数据分析
数据源：
将探针的UDP拨测数据按PON口、OLT、BRAS汇聚进行汇聚，汇聚按时间粒度分为分钟（十分钟粒度）、小时、天，数据自动统计并插入相应大数据表。
1）分钟汇总表（10分钟粒度）：
mid_gw_udp_bras_min
mid_gw_udp_olt_min
mid_gw_udp_pon_min
2）小时汇总表：
mid_gw_udp_pon_hour
from mid_gw_udp_olt_hour
from mid_gw_udp_bras_hour
3）天汇总表：
mid_gw_udp_pon_day
mid_gw_udp_olt_day
mid_gw_udp_bras_day
2、分析方法
1、PON口、OLT、BRAS网络层级的TOP质差分析
2、根据前期丢包率和时延对网络影响和实际数据，确定出网络设备告警和派单阀值，并进行相关分析
3、数据分析
1）PON口统计占比
查询PON口汇总表，查询出全省155987个，查询全省端到端建链表，全省总共PON口470912个，占比33.12%。距离今年全PON口覆盖目标有较大差距，需要用天翼网关探针的覆盖来补充。
2）TOP质差分析
取最近4天持续最差的TOP20进行分析
（1）OLT的TOP20
（2）BRAS的TOP20
分析：OLT和BRAS按10分钟粒度划线，丢包率存在明显波动，但波动一般只持续1到2个周期。BRAS超过暂不具备派发障碍单的情况。
（3）按丢包率进行TOP20的分布分析
（4）终端丢包率及时延
分析：终端维度看，没有明显质量问题。
二、模型设计
告警阀值：丢包率0.1% 或时延6ms；
派单阀值：丢包率0.3% 或时延10ms。
| 通信人家园 (https://www.txrjy.com/) |
Powered by C114 |
