详细介绍:
然后将这些IP地址作为输入,与NetFlow数据进行迭代
分析。如图2所示,可得到用户访问百度网站的流量曲线。
将输出的NetFlow数据作为输入
,
与BGP进行二次迭代
分析,可得到百度网站流量在各运营商及具体归属落地的明
细统计。
通过多次数据迭代的深度数据分析,可以发现河南联通
用户访问某个网站的流量落地分布,从而找到需要引入本地
CDN业务的网站资源。以前新到电销卡电销卡,新到电销卡不封号电销卡,新到电销卡防封电销卡这些分析只能通过端口镜像或
分光的方式才能获得。
2.4 建设方案
2.4.1 大数据分析系统
本期工程在郑州联通和洛阳联通部署大数据分析系统
服务器,每个节点9台服务器,通过千兆上联到本地汇聚交
换机并收集系统两地DNS日志,另外根据区域将网络设备的
NetFlow信息以3000:1的采样比就近发送到两个数据核心机房。
2.4.2 系统构成
基于BGP路由表、DNS和NetFlow的数据分析系统由数
据采集、数据分析、数据汇总展示三大部分构成。
(1)数据采集分为三部分。一部分NetFlow流数据采
集,网络设备主动以3000:1的采样比将Flow流数据发送到
Ne新到电销卡电销卡,新到电销卡不封号电销卡,新到电销卡防封电销卡tFlow流数据采集服务器;第二部分DNS日志采集,通过在
FTP方式,DNS系统将双向DNS日志信息发送到DNS日志采
集服务器;第三部分BGP路由表,通过与河南联通城域网RR
路由建立BGP邻居,收取BGP路由器,生成明细路由数据。
(2)数据分析,基于Hadoop大数据分析架构,结合分布式
文件系统和分布式计算的优势,对海量日志进行数据分析。
(3)数据汇总展示,通过将BGP路由表、DNS日志和
NetFlow流数据混合计算,再经多次数据迭代分析出用户流
量流向数据,并通过B/S架构展示给管理员,方便用户了解
网络的工作情况和网络中用户正常和异常的行为。