Page 18 - 网络电信2018年4月刊上
P. 18
运 营 商 专 栏
运营商DNS海量数据分析技术优化和应用
1
1
1
彭巍 ,贺晓东 ,陆小铭 ,汲传鑫 2
1. 中国电信股份有限公司广州研究院;
2. 上海牙木通讯技术有限公司
摘要:主要分析了域名数据分析的原理和
传统域名数据分析方法的局限性,结合网络
发展的趋势提出了一种基于Hadoop的运营商
DNS海量数据分析技术,对该技术的架构、实
现方案、优势进行了分析,并且在大网上对该
方案进行了应用,最后对DNS数据分析的效果
进行了阐述,该技术可为网络的发展优化、建
设提供科学的参考。
关键词:DNS;Hadoop;数据分析
一、引言 穿越,对于互联网整体层面的质量提升以及网络资源利用率的
DNS(域名系统)作为承载全球亿万域名正常使用的系统, 提高具有重要的意义。
是互联网的基础设施,是广大用户访问互联网的入口。用户通 而面对海量的DNS查询数据,如何进行高效、实时的数据分
过DNS获取访问网站、网址的IP地址解析结果,网络运营者可通 析是一个难题。大型网络运营商在组建自身的DNS节点为用户提
过DNS记录、获取广大用户诸多互联网访问的相关数据,因此通 供直接服务的同时,也需要构建海量DNS数据分析系统。通过应
过相关的用户域名访问流量多维分析,可获取重要的用户互联 用海量数据存储与高性能数据挖掘系统,实现域名流量数据的
网访问信息,有助于运营商大幅提升互联网精细化运营和管控 存储、深度分析,并通过多维分析功能模块实现域名、用户、
能力。通过数据多维分析,根据域名、用户等多个维度进行挖 网络等不同维度和各维度组合的分析能力,最终获取科学、准
掘,可以确定用户的互联网使用行为,为更好地提供差异化域 确、多维度的域名分析参数。
名服务提供信息数据,同时为网络发展布局、工程建设、网络
安全建设提供科学依据。本文探讨了大型运营商在DNS海量数据 三、传统域名数据分析技术及局限性
多维分析方面的关键技术以及优化提升方案,以获取高效、科 1、域名访问信息的内容及特征
学、准确的DNS访问多维分析数据。 某个用户在某个时间向DNS查询某个域名,例如www.
abc.com,DNS会向用户返回域名对应的IP地址抵制,假设为
二、域名数据分析的必要性 202.?.0.1,此数据信息可以在DNS数据分析系统中记录下来。
随着互联网的飞速发展,相关的业务量和业务种类产生了 每天这样的数据信息量是巨大的,据统计,仅某省运营商网内
质的飞跃。在互联网业务量增长的同时也出现了各种各样的新 的查询量峰值就可以达到800万QPS(每秒查询次数)。因此DNS
问题,包括在用户群和网络流量爆炸性增长的情况下如何提升 查询数据反映了互联网域名访问的全网整体情况,目前DNS数据
网络的服务质量、如何提升用户的网络使用体验、如何更合理 存储的主要维度包括源IP地址、域名、时间戳、解析IP地址、
地利用资源等。DNS数据反映了互联网域名访问的整体情况,包 状态码和用户所访问的DNS服务IP地址。
括广大互联网用户经常访问的网站/网址、在某一个网站内用户 通过这些数据维度的组合分析能够获取大量具有实际指导
访问的主要内容是新闻或视频或电子商务等,因此基于域名访 意义的科学数据。例如全网的域名访问TopN排名,即每个网站
问的海量数据可对互联网用户群的访问特征、兴趣进行分析, 访问量的排名;还有各区域网络用户的访问排名;各业务分类
获取互联网整体的访问行为;另一方面,通过对海量访问域名 (视频、即时通信、网页等)的访问数据等。不仅如此,目前
数据的分析,还可以将互联网上的重要域名与IP地址之间的映 各网络运营者以及ICP(内容提供商)均提供了域名智能解析功
射管理数据进行存储,假如域名系统出现故障或问题,可提供 能,即对于不同的用户群提供同一域名的不同解析结果,域名
实时和必要的容灾、备份功能,保证互联网的正常、稳定、高 多维分析结果对提升智能解析的效率具有重要的反馈意义。
效运行;此外,对于互联网用户的访问信息,对于网络运营商 2、传统域名数据分析技术
而言可以根据相关科学数据进行网络建设的优化、IDC建设布局 传统的海量DNS数据分析方法,一般分为4个部分:第一是
的实施,保证提升网络流量的传送效率、减少无谓的流量长途 将远程的DNS存储数据通过网络传输到本地文件系统中,该过程
18 网络电信 二零一八年四月