网络流量分析的方法精选(十四篇)

序言：作为思想的载体和知识的探索者，写作是一种独特的艺术，我们为您准备了不同风格的14篇网络流量分析的方法，期待它们能激发您的灵感。

篇1

关键词：中小型网络；流量控制；方法；应用

中图分类号：TP393.06

近年来，随着经济社会的发展和科学技术的进步，计算机网络技术得到了充分发展。在这种形势背景下，网络在人们生产生活中的应用越来越广泛，比如，我们可以通过网络浏览网页、观看视频、网上聊天以及网上购物等。由此可见，网络在人们生活中发挥着重要作用。在网络的运行过程中，网络流量直接关系着网络的速度，对网络功能的发挥具有重大意义。但是，从现实情况来看，在一些中小型网络使用的过程中，由于服务器管理不当、恶意程序以及P2P下载等原因，导致网络流量不断增长，最终致使网络出现堵塞，网页打不开，影响人们的正常工作和学习。鉴于此，我们必须采取一些措施控制网络流量，使它更好地为人们的生产生活提供服务。

1 中小型网络流量控制方法

1.1 加强对P2P应用的管理。在很多中小型网络应用的过程中，人们会运用到很多P2P应用，比如，快车下载、迅雷视频播放器等。这些P2P应用在运行的过程中会占用大量的流量资源，给网速造成严重影响。针对这个问题，在中小型网络运行中我们可以采取封禁P2P的应用端口或者对并发连接数进行限制等方法来控制网络流量。首先，对P2P的应用端口进行封禁。正如上文所述，在中小型网路中各种下载工具和视频播放工具等P2P占用了很多流量，我们可以使用电脑中的路由器或者防火墙等对P2P应用进行封禁。这种方法在运用的早期收到一定的成效，后来的流量控制效果并不是十分理想。其次，限制并发连接的数量。当我们在运用P2P软件在网络上查找资源的时候，会带到很多的网络连接，此时便会使网络流量大量增加。如果我们对连接到主机上的并发连接数量进行控制，就可以有效限制它所占用的流量。这种方法有一定的成效，但会在一定程度上对网络正常运行造成影响。

1.2 运用专业的流量控制设备。在中小型网络运行中，我们还可以使用专业的流量控制设备对其进行流量控制。就目前的技术水平来看，主要的流量控制技术包括深度报文检测（DPI）和深度流行为检测（DFI）等。以此技术为基础，现在应用比较多的专业流量控制设备厂商主要有华三、思科以及Allot等。这些厂商生产的专业流量控制设备具有良好的流量控制作用，但是，它也存在一定的缺陷，比如，专业流量控制设备的价格比较昂贵。

1.3 对网络用户的流量和宽带进行限制。为了控制中小型网络中的流量，我们还可以采用限制用户流量和宽带的方法进行控制。首先，限制用户流量。我们可以使用城市热点或者防火墙等设备对网络中用户的流量进行控制。这种方法确实发挥了控制流量的作用，但是，有时用户正在使用网络，由于流量限制导致无法上网，就会影响到用户的工作和学习。其次，限制用户宽带使用数量。这种方法也在一定程度上发挥控制网络流量的功效，但是，由于用户无法得到全部宽带，致使网络运行的速度比较缓慢。

2 流量控制方法在中小型校园网络中的应用

从上文的论述中，我们可以了解到，各种流量控制方法各有优劣，在实际的应用过程中，我们要从中小型网路的实际情况出发，综合分析多方面因素，选择科学合理的流量控制方法。下面，我们就结合某学校一中小型的校园网络，对流量控制方法的具体应用进行分析。

2.1 校园网概况。某学校为了满足教学工作需要，建设了一个校园网。在该校园网中，由2个10兆的互联网与当地的教科网和电信网进行连接，依据教学的功能，校园网中被划分成多个VLAN，从而为学校教学和教务工作的开展提供网络服务。但是，从现实情况来看，校园网中存在客户端安全问题、接入控制问题以及上网速度慢问题等，致使校园网在使用的过程中出现网页打不开甚至断网等问题，影响了校园网正常功能的发挥。

在上图的校园网流量控制设备部署中，我们利用流量网络开关，有效实现了对校园网的流量控制。具体来说，流量控制主要表现在以下几个方面。（1）对P2P应用进行了控制。为了保证P2P应用的正常使用同时减少它对网速的影响，我们设立了P2P应用流量通道，对快车、迅雷等P2P应用软件的流量限制在一定范围之内，并根据网速变化作出一些动态调整。比如，在校园网高峰期，我们可以适当降低对P2P应用的限制，当校园网处于低谷期，我们可以调高对P2P应用的限制，从而保证校园网络的有效利用。（2）对不同用户实施不同部署。在校园网运行中，针对不同用户的需求，我们制定了不同的网络流量管理方法。比如，针对学校的办公网络，我们可以适当限制P2P应用的流量，而对于学校教学机房中的网络，则要严格控制P2P应用的流量，尽量减少这些与教学无关的应用占用大量的流量，保证教学网络速度。（3）加强校园网接入安全管理。在过去，由于缺乏相应的技术和管理设备，校园网中对客户端接入缺乏安全管理，校外其他一些用户可以随意接入到校园网中，不仅占用了校园网的流量，而且给校园网安全造成严重威胁。针对这个问题，我们可以采取客户端接入控制和安全性检测等方法对校园网接入安全进行管理，这样一来，只有符合要求的用户才可以接入到校园网中，不仅提高了校园网的运行的安全性，而且对校园网流量控制具有一定的作用。

3 结束语

综上所述，近年来，随着经济社会的发展，中小型网络在我们生产生活中的作用越来越突出。鉴于此，我们要加强对中小型网络的管理，使它更好地为人们提供网络服务。但是，在现实中，由于多种原因导致中小型网络流量增加，影响了网络的正常运行。针对这个问题，我们在分析网络实际情况的基础上，选择恰当的流量控制方法对网络流量进行有效控制，促使中小型网络资源得到合理利用。

参考文献：

[1]郑林江.基于交换机流量和网络线路的监控系统[J].计算机应用，2009（S2）：18-19.

[2]胡俊，程瑾.网络流量管理控制技术在校园网的应用研究[J].中国教育信息化，2009（21）：58-59.

[3]牛军，余萍萍，李思恩.校园网流量控制初探[J].中国教育信息化，2009（04）：152-153.

[4]刘磊，李闻天，肖.校园网中P2P应用的管理策略及流量监控初探[J].昆明理工大学学报（理工版），2008（03）：48-49.

篇2

关键词:网络服务器;流量分析;流量监控

中图分类号:TP393 文献标识码:A文章编号:1007-9599 (2010) 05-0000-02

Network Server Traffic Analysis

Zhu Ye

(TravelSky Technology Limited,Beijing100029,China)

Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.

KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control

一、前言

今天的数据网络给我们的生活、工作和人与人之间的沟通带来了极大的方便,网络业务日趋丰富,网络流量高速增长。同时,网络运营商之间的竞争也逐渐激烈,以高投资为特征,追求简单规模扩张的粗放型竞争模式已经不适应当前的形式。挖掘现有网络资源潜力,控制网络互联成本,提供有吸引力的增值业务,提高网络运维水平成为在激烈竞争中的制胜策而要实现这些,都离不开可靠、有效的网络流量监控的有力支撑。

二、网络流量监控和分析的意义

用户现有的网络管理系统在长期的网络流量分析方面存在不足。主要表现在如下方面:

(一)长期的网络和应用问题分析能力不足

现有的网络管理系统无法长期的纪录网络和应用的运行状态,无法长期的保存网络流量信息,在出现网络或应用问题时,不能为网络技术人员提供有效的信息依据,问题往往是依靠网络技术人员通过推断来分析,这样网络问题的分析效率很低,同时很难得到确实的分析结论。

(二)缺乏对网络和应用间歇性问题的分析能力

网络或应用可能出现间歇性故障,这种故障的出现一般很难判断,在出现后很难分析其产生原因,而再次出现的时间无法确定,因此难以解决,好像网络中存在一个不定时的炸弹,使用户网络和应用时刻处于危险之中。

(三)对网络安全问题的分析能力不足

在发生网络安全问题时,缺乏有效的监控分析手段,导致网络的安全性降低,例如蠕虫病毒的爆发,应该能够对蠕虫病毒的传播情况进行有效的分析。

三、网络流量分析内容

流量分析系统主要从带宽的网络流量分析、网络协议流量分析、基于网段的业务流量分析、网络异常流量分析、应用服务异常流量分析等五个方面对网络系统进行综合流量分析。

(一)带宽的网络流量分析

复杂的网络系统上面,不同的应用占用不同的带宽,重要的应用是否得到了最佳的带宽?它占的比例是多少?队列设置和网络优化是否生效?通过基于带宽的网络流量分析会使其更加明确。工具主要有MRTG等,它是一个监控网络链路流量负载的工具软件, 它通过snmp协议从设备得到设备的流量信息,并将流量负载以包含PNG格式的图形的HTML 文档方式显示给用户,以非常直观的形式显示流量负载。

(二)网络协议流量分析

对网络流量进行协议划分,真对不同的协议我们进行流量监控和分析,如果某一个协议在一个时间段内出现超常暴涨,就有可能是攻击流量或蠕虫病毒出现。Cisco NetFlow V5可以根据不同的协议对网络流量进行划分,对不同协议流量进行分别汇总。

(三)基于网段的业务流量分析

流量分析系统可以针对不同的VLAN来进行网络流量监控,大多数组织,都是不同的业务系统通过VLAN来进行逻辑隔离的,所以可以通过流量分析系统针对不同的VLAN 来对不同的业务系统的业务流量进行监控。Cisco NetFlow V5可以针对不同的VLAN进行流量监控。

(四)网络异常流量分析

异常流量分析系统,支持异常流量发现和报警,能够通过对一个时间窗内历史数据的自动学习,获取包括总体网络流量水平、流量波动、流量跳变等在内的多种网络流量测度,并自动建立当前流量的置信度区间作为流量异常监测的基础。能把焦点放在组织的核心业务上。通过积极主动鉴定和防止针对网络的安全威胁,保证了服务水平协议(SLA)并且改进顾客服务, 从而为组织节约成本。异常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平台、PeakFlow Traffic流量管理平台等。

(五)应用服务异常流量分析

当应用层出现异常流量时,通过IDS&IPS的协议分析、协议识别技术可以对应用层进行深层的流量分析,并通过IPS的安全防护技术进行反击。

四、网络流量控制解决方案建议

对于目前运营商对网络流量控制的需要,论文推荐的流量控制解决方案构架是:全网集中监视+重点控制。全网集中监视反映的是对整个网络的性能监视和分析。重点控制是在网络中的关键位置部署监控探针,在网络中心设置管理系统,以实现运营商在远程对重点地区进行更加细致的监视和控制作用。

(一)监控探针的放置点建议

国际出口、网络互联端口、骨干网的重要中继、重要城市的城域网出口等位置。

(二)全网集中监视主要实现的功能

实时监测网络状况。能实时获得网络的当前运行状况,减轻运维人员工作负担。能在网络出现故障或拥塞时自动告警,在网络即将出现瓶颈前给出分析和预测。

合理规划和优化网络。通过对网络流量的监视、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议协分布特性,为网络规划、路由策略、资源和容量升级提供依据。

引导提供网络增值业务。通过对业务占用带宽的分布、业务会话的统计分析,能够了解和分析网络特性和用户使用偏好,引导开发和规划新的网络应用和业务平台,进行增值业务的拓展和市场宣传,引导用户需求。

灵活的资费标准。通过对用户上网时长、上网流量、网络业务以及目的网站的数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的资费标准。

(三)重点控制实现的功能包括

提供主动的控制功能。不仅仅局限于对网络流量状况的获得,还能够提供基于网络流量监测系统GATE 1000硬件平台和业界领先算法的流量控制功能,主动改进网络服务。

满足重点监控需要。可以提供丰富的监控特征参数,可以进行灵活的复合设定,全面满足运营商需要,也可以通过定制来实现特定要求。

降低互联互通成本。获得重点出口中继链路的利用率、用户和协议分布、源和目的网段间的流量分布和趋势,提供运营和互联成本分析。为网络互通、租用中继以及选择商业战略伙伴决策时提供科学依据,降低成本。

实现区分服务,保证服务质量。流量监控获得的数据,可进行高低优先级客户的网络资源占用率分析、服务质量的监测。通过资费政策的调节、业务等级的区分、在中继线路上实施流量控制,优先保证高优先客户的服务质量。

网络安全和抵御DOS攻击。通过连接会话数的跟踪,源目的地址对的分析,TCP流的分析,能够及时发现网络中的异常流量和异常连接,侦测和定位网络潜在的安全问题和攻击行为,保障网络安全。

五、IPFIX与PSAMP标准

IPFIX(IP Flow Information Export,IP流动信息输出)是IETF的技术人员2004年才制订的一项规范,使得网络中流量统计信息的格式趋于标准化。该协议工作于任何厂商的路由器和管理系统平台之上,并用于输出基于路由器的流量统计信息。

IPFIX定义的格式为Cisco的NetFlow Version 9数据输出格式作为基础,可使IP流量信息从一个输出器(路由器或交换机)传送到另一个收集器。因为IPFIX具有很强的可扩展性,因此网络管理员们可以自由地添加或更改域(特定的参数和协议),以便更方便地监控IP流量信息。使用模板的方便之处在于网管和厂商不必为了用户能够查看流量统计信息,而每次都要更换软件

为了完整地输出数据,路由器一般以七个关键域来表示每股网络流量:源IP地址、目的地IP地址、源端口、目的端口、三层协议类型、服务类型字节、输入逻辑接口。如果不同的包中所有的七个关键域都匹配,那么所有这些包都将被视为属于同一股流量。此外,一些系统中还有为了网络统计进行跟踪而附加的非关键域,包括源IP掩码、目的地IP掩码、源地址自治系统(autonomous system)、目的地自治系统、TCP flag、目的地接口以及IP next-hop等。按照IPFIX标准,如果网络操作人员想以附加的非关键域来描述包,那么基于模板的格式会在输出包的报头之后插入一个新域,并新增新的模板记录。

六、网络监测系统框架

采用不同的检测方法,通过分布式监测方式对通过高速IP网络的数据包进行统计和分析。采集服务器搜集的数据包及统计数据被传送到综合服务器,经合并处理后存入数据库,并进行进一步的分析处理。在这个过程中,可应用Netflow v9、IPFIX以及PSAMP等标准和协议,实现对采集数据的编码与传输。与通常的SNMP、Netflow及其它网管标准不同的是,该框架采取了PSAMP标准及技术,在不降低监测与分析效果的情况下,尽量减少检测数据量。

整个框架从总体看,可分为网络流量数据采集和网络数据分析两大部分。

网络流量数据采集:为适应不断发展的高速网络应用,框架中采用了分布式网络流量数据采集方案,IP流数据可从不同的设备以不同的方法来获取。利用路由器/交换机的数据流量采集功能或是从其他IPFIX/PSAMP数据采集设备,也可直接从网络接口卡等网络数据包摄入设备来得到网络数据,然后再以不同的标准,最终由网络流量数据采集服务器将所有传来的不同格式的数据集中。

为体现现代计算机应用中的兼容性,框架中对网络硬件接口的应用方面,突出了其应用多样性。这样,在原有硬件设备的基础上,如普通的网卡(NIC)、基于硬件时间戳的Endace DAG卡或者其它的专用FPGA网络接口设备,都可以在libpcap、winpcap等库的支持下,由BPF虚拟处理器作为缺省的包捕获工具。在包捕获的软件实现上,采用了多线程机制,使用不同形式的数据队列和数据缓冲设备,以应对突发的大量数据包。

接下来对捕获的数据包,分别交由两种方法和途径进行处理:在Netflow标准支持下,同步完成记帐业务。在这种操作模式下,传送的总的数据量可以被统计下来。数据分析模块利用PSAMP协议,根据不同的具体需求采取不同的取样算法,对数据包进行过滤和抽取以进行分析处理。这样就可以根据实际的需要来进行选择,以减少传输和分析处理的数据量。

网络数据分析:对采集来的网络流量数据,根据不用的应用要进行详细的分析处理。框架中这个部分的设计采用以SQL数据库为中心的分布式数据集中和分析的方法。

以DBMS为中心的操作可以获得更好的分析样本以及统计粒度。此外,为便于网络管理人员的操作,框架中应用基于Web的直观的、图形化的管理界面,所有数据输出都以脚本语言(XML)的形式,直接在Web页面中显示。管理人员可以实时观察网络运行状况,还可以对历史数据进行浏览、分析,同时还可这些实时数据传送到其他应用系统,如分布式入侵检测系统、网络跟踪等。

七、结束语

总的来说,在网络设备上配置网络流量监控系统,对网络流量进行分析和监控,好处还是显而易见的。特别是对于网络流量负荷比较大的网络。可以有效的节省网络带宽和处理资源。也可以作为计费或者流量控制或者网络规划的参考。

参考文献

[1]谢希仁.计算机网络.大连理工大学出版社

篇3

关键词 流量；分类；检测；统计；分析

中图分类号 TN91 文献标识码 A 文章编号 1674-6708（2016）166-00104-01

近年来宽带网络一直保持高速增长，光纤到桌面已基本实现，但网络中巨大的流量会对网络产生怎样的影响，这些流量是如何构成的，始终是一个问题。通过对宽带流量的分析我们可以知道流量的源头和目的、知道协议分布、知道端口情况、知道通信经营指标等、当然最重要的还有数据的安全性。

不同的网络，不同观察点，不同时间的网络流量因网络规模，业务种类，用户构成和使用习惯的不同而不同，甚至受突发事件的影响，网络流量在体量规模，构成成分和比例上都有所不同。一个好的流量分类分析系统，应满足部署位置上的可移植性，流量规模的可伸缩性，时间演进的自适应性。这时系统不仅需要采用先进的分类技术，也需要代表性的训练数据集来确定系统运行参数。数据集主要采用2种方式：PCAP格式和NETFLOW格式，前者捕获的是包级记录，后者则是关于流级得统计信息记录。

宽带流量的分析和检测首先要进行流量的采集，这项工作可以通过交换机或路由器的镜像端口实现，也可以通过光缆分光的方式实现。对捕获的数据进行计算和统计，并把统计数据写入数据库，定期形成网络性能和流量参数的报表，用作分析的依据，在形成足够数量的报表数据后，可以分析数据和系统性能变化的趋势，判断网络是否存在瓶颈，并依据经验，形成经验数据库，使网管系统具备学习的基础和能力。在出现告警或异常情况时，可用来分析对比，判断是否出现了网络的攻击和入侵，判断恶意数据出现的源头和特征，足够数量的数据报表也可以指导各类应急预案的制定，在出现异常情况时可按照事先拟定的规则进行处理。

对于宽带流量的分析和分类，系统需要进行统计模型的学习，统计模型的学习可以分为监督学习和非监督学习方法。所谓的监督学习是需要使用已经标注过的数据集合作为经验知识，对宽带流量的参数和算法进行训练；而非监督学习则不需要使用已经标注过的数据集进行训练，只是根据相关算法对宽带流量集进行汇聚。对数据集的训练过程中需要由经验丰富的专家参与，并进行大量的基础数据分析工作，网络经验数据集是流量分析的重要构成因素。在实际分析过程中，由于宽带核心网络的流量巨大，所以高性能的预处理路由器和大规模刀片服务器必不可少。为了提高分析效率，可以只分析单向流量，并且在预处理过程中将IP数据报文的载荷去掉。但由于各种网络协议不断演进，加密的流量不断增加，各种新应用不断出现，网络数据集的标注也变得越来越困难。

网络流量的分类和分析中对于标准协议的分析最为准确，可根据TIP/IP协议簇中标准的服务端口号对流量报文进行匹配，并根据端口号的不同将流量对应为不同的应用。非标准协议可以使用DPI（深度包检测）在应用层对流量进行特征字符串的分析匹配，由于不同的应用在TCP/UDP的数据包中包含特征字符串，因此在掌握的不同网络应用的特征字符串后，可以将网络流量精确的分类和匹配，缺点是需要消耗较多的系统资源。但很多网络应用的特征字符串难找易变，代表性差及加密度高等问题，也导致误检率和检全率下降。流量分析监控和网络应用的发展一直是不断演变的矛盾。

基于协议的分类方法需要分析每种协议的特定的行为特性，标准的通信协议易于掌握，私有协议比如P2P或VOIP等基于软硬件客户端的应用则会有较多的变化，或进行加密使用就会影响流量分析的效果，甚至无法识别。有时同一应用软件的不同版本间也会出现不同的流量特征，即版本的变化会造成协议特征的变化。另外，网络中的单向流量、数据的时延、抖动都会对流量分析的算法产生影响。以上这些因素都是流量分析的难点和痛点。

运营商的骨干网络逐渐向扁平化发展，网络出口的数量增加和结构日趋复杂，及动态路由算法的大量使用，使得网络流量在多条链路或多个不同ISP之间动态调配，导致在某个观察点只能得到部分流量，这对于依赖双向流量特征的分析方法无法实施。基于P2P的应用目前也在不断扩大，P2P的发展使得应用和传输分离，应用端点和传输分离，打破了原有的B/S或C/S的传统传输模式，多源头并发传输使得流量特征模糊化，使得数据采集的有效性无法保障。还有一些网络应用为了逃避被检测到，常常采用已知协议的方法，例如FTP、HTTP、POP3等，由于IP地址的区分，冒用已知协议并不会影响正常网络通信，但给流量分析带来很大难度。

宽带网络流量分析不仅可以使我们可以清楚的知道网络流量的内容，还可以为网络建设、网络优化、运营管理、网络安全保障提供依据和手段。同时，网络应用在不断推陈出新，各种私有化的协议和加密方法不断出现，且由于用户接入带宽的不断提高，核心网流量呈几何速度增长，这些因素在客观上也大大增加了网络流量分析的难度和成本。现有的网络流量分析再次面临挑战，网络流量的分析研究工作需要不断深入进行。

参考文献

[1]Nader F.Mir.计算机与通信网络[M].潘淑文，等，译.北京：中国电力出版社，2010，1.

[2]余浩，徐明伟.P2P流检测技术研究综述[J].清华大学学报，2009（4）：610-620.

篇4

[关键词]网络流量流(Flow)

中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1210099-01

随着IT、网络技术的迅猛发展和企业信息化程度的不断提高,各种网络应用越来越丰富。因此,如何保证网络的可用性和关键业务的畅通运行,对网络正常健康的发展将起到至关重要的作用。维持正常网络运转,就需要有相应的技术手段,明确了解网络上各种应用的带宽占用情况,分析用户流量行为,以便合理的规划和分配网络带宽,有效地保障关键业务应用的正常运行。尤其是在发生流量异常的同时,迅速有效的分离和抑制异常流量,对非法业务实行遏止,使网络流量能保持其健壮性。

常用的网络流量和协议分析有四种方法:

一、基于SNMP

MRTG是最常使用并且最典型的一种基于SNMP的产品。其安装过程非常简便,其结果输出采用Web页面方式,因此需要在相应的平台上安装系统,如NT上需要安装IIS,UNIX则需要安装apache。MRTG通常被网络管理人员用来收集网络节点端口流量统计信息,是典型的监视网络链路流量负荷的工具。MRTG的定制非常方便,一般可以在网络的重要节点端口和故障发生频繁的网络设备处利用MRTG进行监视,这些监视包括:关键链路流量和关键节点性能状况。

MRTG的优点是安装、定制简单,结果采用Web方式输出方便实用,而且是免费产品,在世界各地有很多的开发人员不断对其升级和改进。MRTG的缺点是功能较单一,分析功能不强,其收集到的流量信息是端口的统计信息,不能用于复杂的分析。

二、基于网络探针(Probe)

流量探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。流量探针安装非常方便,可以实时将RMON II的流量信息完全记录下来,这对分析网络的性能和故障很有价值。如果将流量探针串接到Catalyst系列交换机端口,开启端口映射(Span Port)功能,将各个端口的流量映射到安装了流量探针的端口,则仅通过对一个端口的监测就可以收集到多个端口的流量信息。端口映射(Span Port)是由Cisco公司提出的概念,在其Catalyst系列设备上都可以实现。其它厂商如Foundry公司的交换机也提供端口映射的功能,但现在还不支持跨交换机的映射。

流量探针的安装很简单,可以用于高速(千兆)的网络而不影响网络性能,流量探针可以实时捕捉包,但其成本高,不同的物理链路,因其采样方法也不同,而需要使用不同种探针。

三、基于实时抓包分析

基于实时抓包的分析技术提供详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析,而非用户流量访问统计和趋势分析,仅能在短时间内对流经接口的数据包进行分析,无法满足大流量、长期的抓包和趋势分析的要求。常见的产品有NAI的Sniffer Pro,免费的tcpdump、ethereal等。

通过端口映射Sniffer Portable可以实时采集多种数据并保存到数据库中,同时可以通过其分析部件实时监视和显示这些数据的统计信息。利用Sniffer Portable的数据捕捉功能可以在短时间内对网络流量进行实时采集,这些采集到的流量数据可以包含整个包的信息,也可以只是包的一部分。利用捕获到的包可以进行协议分析、数据重组(如重组E-mail)等工作。对包的解码和分析是Sniffer工具的一个最有特色的,也是最强大的功能。

当不采用厂家的特殊硬件系统,Sniffer Portable只能用于100Mbit/s

及以下速率链路,网络中可以安装多个Sniffer Portable,但它们都是相互独立的,分别有各自的数据库,收集到的数据独立存放,这对于整个网络的分析带来一定难度,因此它特别适合小范围内的性能维护和分析;Sniffer Portable分析能力特别强大,可以解析近370种协议。当要求对更高速(GE或POS 2.5Gbit/s)的链路采集流量,或者是全面收集大型网络的流量时,可以采用Sniffer的硬件产品及其分布式系统,但其价格昂贵。

四、基于流(Flow)的流量分析

目前基于流的分析技术主要有两种:sFlow和NetFlow。sFlow是由InMon、HP和Foundry Networks联合开发的一种网络监测技术,它采用数据流随机采样技术,可以适应超大网络流量(如大于2.5Gbps)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。目前,仅有HP、Foundry和Extreme Networks等厂商的部分型号的交换机支持sFlow。NetFlow[13]是Cisco公司开发的技术,它既是一种交换技术,又是一种流量分析技术,同时也是业界主流的计费技术之一。它可以回答有关IP流量的如下问题:谁在什么时间、在什么地方、使用何种协议、访问谁、具体的流量是多少等问题。NetFlow因为其技术和Cisco网络产品的市场占有率优势而成为当今主流的流量分析技术之一。NetFlow的配置非常方便、安装简单,除了需要在路由器上配置之外,只需要一台UNIX工作站作为流的收集工作站,所有路由器或交换机上发送的NetFlow流都将送到此工作站集中,方便处理和分析。NetFlow流信息量特别丰富,可以为流量分布、业务分布等性能分析提供最充足的数据,但需要消耗一定的路由器资源(CPU和内存)且不能实时捕捉数据包。根据NetFlow的特点可知,其非常适用于大型的网络,和流量探针、Sniffer等比较,NetFlow成本最低,实施最方便,而且不受速率的限制,是数据流量采集的发展方向。

基于Flow的分析方法将成为趋势,在上面所提到的四种方法中,基于Flow的分析方法应该是网络流量分析技术的趋势。这是它的技术实现理论所决定的。

参考文献:

[1]朱士瑞,基于小波分析的异常检测系统[D].江苏大学硕士学位论文,2006.

[2]陈宝钢、张凌、许勇,基于P2P应用的网络流量特征分析[J].计算机应用,2005,Vol.27,No.3.

[3]顾荣杰、晏蒲柳、邹涛,基于统计方法的骨干网异常流量建模与预警方法研究[J].计算机科学,2006,Vol.33,No.2.

篇5

关键词：校园网；流量异常分类；异常检测与处理；流量清洗方法

中图分类号： TP393 文献标识码：A

1 引 言

随着校园网络规模不断扩大与复杂化，校园网络服务同时呈现多样化和复杂化，对网络性能的要求也越来越高。校园网中有教育教学信息管理系统、网上教学、视频会议、电子图书、电子邮件服务、网上购物、网上游戏等各种应用诸全，称得上多业务网络，基本上实现与国际互联网的完全接轨。多种应用基于p2p 、流媒体技术、云运算等新型技术，需占用大量的校园网络有限资源。同时，校园网络安全面临着严峻挑战，网络流量异常时常发生，特别是DDOS、蠕虫、恶意代码、网络扫描及黑客攻击越来越多，这对网络性能、安全管理及网管人员素养提出更高的要求。由于学校教学作息时间的规律性决定校园网络行为特征及日常运行也具有规律，因此正常情况下校园网络流量变化也具有规律性，这就使得网络流量异常管理具有规律可循。本文针对校园网络情况首先阐述了流量异常概念、分类；然后对校园网中引起各种流量异常的原因进行分析，并对各类异常提出了相应的解决办法；接着针对目前解决网络攻击异常在方法上存在的不足，设计出一种异常流量检测、清洗与回注的解决模型，并对其关键算法进行介绍，最后进行小结。2 校园网异常流量检测及处理办法2.1 流量异常与流量异常

网络流量是单位时间内通过网络设备或传输介质的信息量（报文数、包数或字节数）［1-2］。只有知道网络正常情况下的行为特征，我们才能判断什么是流量异常。我们把有限的带宽资源承载着非预期的流量，定义为异常流量。异常流量的存在是网络流量产生异常的重要情形。

2.2 校园网流量异常产生原因及分类

流量异常一般是指非用户正常上网产生的流量，比如病毒、网络攻击等造成的流量异常。在校园中，由于资料的有限，一些热门服务如网络游戏或其他大量的P2P应用等，连接用户数过多，使得核心设备不堪负载而出现异常情况比较频繁。因此,从校园网络用户群体角度考虑,可把网络流量异常分为三类：网络故障引起的异常、连接数异常和网络攻击异常。

1)设备故障异常。因网络设备自身出现故障而引起流量异常，例如校园网中各类服务器故障、路由器故障、交换机故障以及网线接口故障等。这些故障引网络拓朴结构发生变化或链路中断，从而引起流量异常。

2) 连接数异常。各用户争夺热门服务或重要资源，发起的对外连接数过多,造成核心设备负载过大影响正常流量的使用。例如，网络相关课程教学中学生同时访问某一服务器；课余时段大量学生使用P2P服务；还有一年一度的高考招生填报志愿时段，客户访问量短期猛增而且不可预测引起网络流量异常等多种情况。

3)网络攻击异常。是指网络中出现恶意病毒，对网络中某个目标进行攻击时出现的异常［3］。校园网中常见的有蠕虫病毒、DOS/DDOS攻击和端口扫描攻击。例如当校园网内某台上网主机感染蠕虫病毒时，导致该主机疯狂地进行主机探测，这时网络中会出现蠕虫病毒特征包，网络中会大量充斥这种包，从而引起业务数据丢失，网络流量过载，或者网络拥塞，是非用户正常上网产生的流量┮斐！

2.3 流量异常检测与处理

2.3.1 异常监控与检测

在校园环境下，由于教学作息时间具有规律性，各种服务群体相对稳定，使得正常情况下学校教学楼、行政楼、学生公寓等各区域网络流量也呈现出周期性规律，因此，校园网络管理相对容易。

要解决网络流量异常问题，重要的是通过监控与检测发现异常。网络舆情监测软件有很多种，但是主要的流程还是差不多，包括信息采集、信息处理和信息服务三个流程。建议采用MRTG、Sniffer Pro软件进行异常流量检测与监控。MRTG［1］也是一个非常有用的网络流量监控软件，而且是免费的，应用方便；它是利用SNMP协议(对互连的网络设备进行管理时遵循的标准协议)去侦测指定的运行有SNMP协议的网络设备，每隔几分钟采样并统计其设备流量。对于校园网络的流量统计与分析，只要在一台电脑上安装MRTG软件并进行相关设置，如进行snmpd配置允许mrtg读取其interface(网络接口) 流量数据，就可得实时可视化结果（图1所示），从而使管理员可以方便的进行管理。Sniffer Pro是最著名的网络流量分析工具之一，是一个具备完整传统功能的网络故障诊断与流量分析工具，不管是在有线网络还是在无线网络中，它都能够给予网管管理人员实时的网络监视、数据包捕获以及故障诊断分析能力。基于便携式软件的解决方案具备最高的性价比，提供的主要功能包括监控、报表，捕获、解码、专家系统智能分析等。

我们通过观察实时流量图，结合查看日志服务器就能及时了解校园网的运行状态，从而采取相应措施对网络出现的问题进行及时调整和解除。

2.3.2 流量异常处理方法

解决流量异常就是随时发现流量异常，及时定位引起网络异常情况的源头，解除异常或有效地控制异常流量的蔓延，及时有针对性地采取措施，保持网络畅通、避免网络阻塞，同时合理地分配带宽，保障主要业务的正常开展。通过异常检测与监控发现异常之后，就可针对不同异常类型采取相应措施予以解除。

对于设备故障异常的检测与解决方法，通常首先采用Ping、tracert查看网络连通性和速度，再结合查看日志进行定位，最后检测端口与硬件，一般情况下此类异常问题均可解决。

对于连接数异常最简单的方法可采用流量优化系统(如Skynet优化系统)，针对各种服务调节阀值［3］进行限流限速，最好对协议的连接数进行控制，直接删除过多的连接数或发送阻断报文，以保障主要的服务或重要的客户流量。

对于网络攻击异常解决方法，主要采用主动预防和设备拦截等技术。安装监视、日志或者其他流量分析系统, 攻击发生时, 就可很快地诊断出攻击的类型以及攻击源，要尽可能地修正已发现的问题和系统漏洞, 识别、跟踪或禁止这些机器或网络对我们的访问，如对异常流量的端口流量进行限制；把网络分为多个子网, 并改变IP 地址和主机名，在拒绝服务攻击中, 这种方法是一种较为有效的方法；应用包过滤的技术, 配置正确的路由器和防火墙，采用防火墙或网关等设备进行拦截；从保障主要业务不受影响方面考虑可采用异常流量的清洗与回注技术。

3 校园网异常流量的清洗与回注技术

目前面对各种入侵攻击，传统的防护手段采用防火墙或路由器等设备拦截。一方面由于防火墙或路由器等设备均是基于网络层的检测，而大多数DDOS攻击可以采用合法协议进行攻击，因此传统的防护手段无法正确识别并加以防护。另一方面异常流量的拦截往往以牺牲服务质量为代价，用户正常业务受到较大影响。鉴于这些不足，我们针对校园网络设计一种异常流量清洗与回注的解决方案，模型如图2所示。本方案处理过程包括流量采集模块、异常流量检测模块、业务管理模块、异常流量处理模块。

1）流量采集模块：采用流量镜像或者分光的方式把被保护对象的流量复制缓存空间，或从主干交换机或核心交换机实时采集流量。

2）流量分析与检测模块：对实时流量采用深度数据包检测技术（DPI），也可以通过分析网络设备输出的NetFlow/NetStream/SFlow流信息（DFI），从而深入识别隐藏在背景流量中的攻击报文，识别攻击类型及时并报告业务管理模块。

图2 校园网异常流量检测与清洗模型

3）业务管理模块：控制异常流量处理并报告管理信息：从流量分析与检测模块中获取攻击信息，通知流量处理开启攻击防御；攻击停止或处理完毕时清除缓冲区和恢复相关状态值；针对各种检测和清洗的各种威胁流量，提供丰富的攻击日志和报表统计功能，包括攻击前流量信息、清洗后流量信息、攻击流量大小、时间和排序等信息以及攻击趋势分析等各种报表信息，便于了解网络流量纯觥

4）流量清洗与回注模块：发现攻击报文时，迅速地将被攻击用户的流量牵引到异常流量处理模块来，采用先进的“并行流过滤”、“智能流量检测”等技术对其进行清洗。清洗可采用在线和旁路部署两种方式。采用旁路部署的方法时，可以实现对流量的按需清洗，在任何情况下都不会影响正常流量。当采用在线部署模式下，可以实现实时清洗。清洗之后再通过策略路由、MPLS VPN、GRE VPN等方式将干净回注给用户，用户正常业务不受任何影响。

流量清洗与回注算法如下：

步骤1 准备：利用BGPBorder协议（Border Gateway Protocol，边界网关协议），首先和被保护域的旁路设备建立BGP Peer。

步骤2 清洗启动：异常流量检测系统通过镜像或者分光的方式把被保护对象的流量复制过来，按照测试部件中的安全策略基线，判断是否有攻击发生，如果发现有攻击发生，立即进入步骤3

步骤3 清洗与回注：发生攻击时，业务中心通过BGP协议向旁路设备发送BGP更新路由通告，更新旁路设备上的路由策略，将流经所有旁路设备上的被保护对象的IP流量动态地牵引到清洗模块进行清洗，并把清洗后的“干净”流量回注给被保护对象。

步骤4清洗结束：当检测模块检测到攻击停止时，清洗模块根据事先设置好的模式，选择自动或手动停止牵引，弃放缓存空间，返回步骤2。

4 结束语

随着校园网规模扩大和应用的复杂化，网络攻击异常和连接数异常较普遍，严重影响校园网络服务质量和网络性能，我们应该采用主动检测、预防控制和设备拦截技术为主要处理手段。本文针对校园网提出的各种处理方法实用便捷，引入的流量清洗与回注方案具有一定的参考价值。在校园网络中对于重要的业务服务我们建议启用流量检测与清洗方案，目前市场上已有异常流量清洗产品，由于实时清洗对预存容量与速度要求较高，因此一般以硬件产品为主，我们可以根据业务需要选择┦褂谩

参考文献

［1］ 史忠植.MRTG 的研究与部署［J］.计算机应用，2004,24(3).

［2］ 郝星文,李怀诚.网络流量分析系统的设计与实现［D］.北京:北京邮电大学,2005.

［3］ 常莉.浅析校园网络流量的监控策略［J］.信息与电脑(理论版)，2005，20（2）：21-25.

［4］ ERIC MAIWALD.网络安全实用教程［M］.北京: 清华大学出版社, 2003.

［5］ DUFFIELD N,GROSSGLAUSER M. Trajectory sampling for direct traffic observation［J］.Preceedings of the ACM SIGCOMM 2000,271-282.

［6］ DUFFIELD N, LUND C, THORUP M. Charging from sampled network usage.in: ACM SIGCOMM Internet Measurement Workshop 2001, San Francisco, CA［J］.November 1-2,2001,245-256.

［7］ DUFFIELD N, LUND C, THORUP M. Properties and Prediction of Flow Statistics from Sampled Packet Streams.in: ACM SIGCOMM Internet Measurement Workshop 2002, Marseille, France［J］.November 6-8,2002,159-171.

［8］ 高传善, 钱松荣, 毛迪林. 数据通信与计算机网络［M］ . 北京: 高等教育出版社, 2003.

篇6

【关键词】 分层网络 交换机 设计规格

一、前沿

选择交换机硬件时，应确定核心层、分布层和接入层分别需要何种交换机来满足网络带宽需求，应考虑未来的带宽需。应购买合适的交换机硬件来满足当前及未来的带宽需求。为了更准确地选择合适的交换机，要定期执行和记录流量分析。

二、流量分析

流量分析是测量网络带宽使用率并分析相关数据来调整性能、规划容量并作出硬件升级决策的过程，流量分析是通过流量分析软件来实现的。尽管对网络流量并没有确切的定义，但为了便于理解流量分析，可以理解为网络流量是指在一定时间内通过网络发送的数据量。所有的网络数据无论来自何方，无论发往何处，都是流量的一部分。监控网络流量的方法有许多种。可以手工监控各个交换机端口来收集一段时间内的带宽利用率。在分析流量数据时，可能根据每天特定时段的流量以及大部分数据的来源和目的地来确定未来的流量需求。但是，为了获得准确地结果，需要记录足够的数据。手工记录流量数据是件费时费力的机械活，市面上有一些自动化的解决方案。

三、分析工具

现在市面上有许多流量分析攻击可以将流量数据自动记录到数据库中，并执行趋势分析。在大型网络中，采用软件收集解决方案是唯一有效的流量分析方式。通过软件收集数据时，可以看到在给定的时间内网络上每个接口的运行状况。通过输出的图表，可以直观的发现流量问题。比用柱状表示的流量数据更容易理解。

四、用户群分析

用户群分析是确定各类用户群体及其对网络性能的影响的过程，用户的分组方式会影响与端口密度和流量有关的问题，进而影响网络交换机的选择。

在典型的办公楼中，一般根据终端用户的职能对其进行分组，这是因为相同职能用户所需访问的资源和应用程序也大体相同。每个部门的用户数、应用程序需求以及需要通过网络访问的可用数据资源各有不同。不仅要查看网络中指定交换机上的设备数量，还应该调查终端用户应用程序生产的网络流量。有些用户群使用产生大量网络流量的应用程序，而其他用户则不然，通过测量不同用户群使用的所有应用程序所生成的网络流量并确定数据源的位置，可以确定增加用户对该用户群的影响。

小企业中工作组大小的用户群仅用几台交换机提供支持，通常连接到服务器所在的交换机上。在中型企业中，用户群由许多交换机提供支持。中型企业用户群所需的资源可能位于地理上分散的若干区域中。因此，用户群的位置会影响数据存储和服务器的位置。分析用户群的应用程序使用率的难题之一是使用率并非纯粹取决于用户所在的部门或地理位置。还需要分析应用程序穿越多台网络交换机所带来的负面影响。并据此确定总体影响。

五、数据存储和数据服务器分析

在分析网络流量时，应考虑数据存储和服务器的位置，以便确定它们对网络流量的影响。数据存储可以是服务器、存储区域网络（SAN）、网络连接存储（NAS）、磁带备份设备或任何其他存储大量数据的设备或组件。

在考虑数据存储和服务器的流量时，应同时考虑客户端到服务器的流量和服务器到服务器的流量。通过观察不同用户群使用的各种应用程序的数据路径，可以找到潜在的瓶颈，确定在哪些地方因为带宽不足会影响应用程序的性能。为改善性能，可以聚合链路来提供带宽，或者使用能够处理流量负载的快速交换机来取代慢速交换机。

六、拓扑结构图

拓扑结构图是网络基础架构的图形表现形式，拓扑结构图显示所有的交换机如何互连，乃至详细到哪个交换机端口与设备互连。拓扑结构图以图形的形式显示交换机之间用于提供灾难恢复和性能增强的任何冗余路径或聚合端口，显示网络中交换机的位置和数目并标出交换机的配置。通过拓扑结构图，可以直观地找到网络流量的潜在瓶颈，可以抓住流量分析数据的要点，知道哪些网络区域的改进能够最有效地提高网络的整体性能。

七、结语

对于中小型企业而言、基于数据、语音和视频的数字通信至关重要。因此，正确设计局域网是企业日常运营的基本需求。作为网络技术人员，必须能够判断什么才是设计合理的局域网，能够选择合适的设备来满足中小型企业的网络需求。

参 考 文 献

[1] 郭利锋，王勇，张磊，白焱. AFDX交换机的队列整形调度研究[J]. 计算机工程，2011，（24）：58-60

篇7

论文关健词：应用流分析；风险评估；流量分组

论文摘要：针对网络中的各种应用服务的识别检测，采用应用层协议签名的流量识别技术和流量分组技术，实现网络应用流的分析和风险评估系统——RAS，提出基于流量分组技术的应用流风险评估模型。该系统为网络资源分配和网络安全的预测提供有价值的依据。实验结果表明，TARAS系统具有良好的流量分析效率和风险评估准确性。

1概述

基于互联网的新技术、新应用模式及需求，为网络的管理带来了挑战:(1)关键应用得不到保障，OA， ERP等关键业务与BT，QQ等争夺有限的广域网资源;(2)网络中存在大量不安全因素，据CNCERT/CC获得的数据表明，2006年上半年约有14万台中国大陆主机感染过Beagle和Slammer蠕虫;(3)传统流量分析方法已无法有效地应对新的网络技术、动态端口和多会话等应用，使得传统的基于端口的流量监控方法失去了作用。

如何有效地掌握网络运行状态、合理分配网络资源，成为网络管理者们的当务之急。针对以上需求，作者设计并实现了一套网络应用流分析与风险评估系统(Traffic Analysis and Risk Assessment System， TARAS)。

当前，网络流量异常监测主要基于TCP/IP协议。文献[5]提出使用基于协议签名的方法识别应用层协议。本系统采用了应用层协议签名的流量分析技术，这是目前应用流分析最新技术。然而，简单的流量分析并不能确定网络运行状态是否安全。因此，在流量分析的基础上，本文提出了应用流风险评估模型。该模型使用流量分组技术从定量和定性两方面对应用流进行风险评估，使网络运行状态安全与杏这个不确定性问题得到定性评估，这是当前网络管理领域需要的。

2流量分析模型

目前应用流识别技术有很多，本文提出的流量识别方法是对Subhabrata Sen提出的应用协议特征方法的改进。针对种类繁多的应用层协议采用了两级匹配结构，提高效率。

应用识别模块在Linux环境下使用Libpcap开发库，通过旁路监听的方式实现。在设计的时候考虑到数据报文处理的效率，采用了类似于Linux下的NetFilter框架的设计方法，结构见图1。

采取上述流量识别框架的优点:(1)在对TCP报文头的查找中使用了哈希散列算法，提高了效率;(2)借鉴状态防火墙的技术，使用面向流(flow)的识别技术，对每个TCP连接的只分析识别前10个报文，对于该连接后续的数据报文则直接查找哈希表进行分类，这样避免了分析每个报文带来的效率瓶颈;(3)模式匹配模块的设计使得可扩展性较好。

在匹配模块设计过程中，笔者发现如果所有的协议都按照基于协议特征的方式匹配，那么随着协议数量的增大，效率又会成为一个需要解决的问题。

因此，在设计应用流识别模块时，笔者首先考虑到传输层端口与网络应用流之间的联系，虽然两者之间没有绝对固定的对应关系，但是它们之间存在着制约，比如:QQ协议的服务器端口基本不会出现在80， 8000， 4000以外的端口;HTTP协议基本不会出现在80， 443， 8080以外的端口等，因此，本文在流量分析过程中首先将一部分固定端口的协议使用端口散列判断进行预分类，提高匹配效率。

对于端口不固定的应用流识别，采用两级的结构。将最近经常检测到的业务流量放在常用流量识别子模块里面，这样可以提高查找的速度。另外，不同的网络环境所常用的网络应用流也不同，因此，也没有必要在协议特征库中大范围查找。两级查询匹配保证了模型对网络环境的自适应性，它能够随着网络环境的改变以及网络应用的变化而改变自己的查询策略，但不降低匹配效率。应用流识别子模块的设计具体结构见图2。

3风险评估模型

本文采用基于流量分组技术的风险评估方法。流量分组的目的是为流量的安全评估提供数据。

3.1应用流的分组

网络应用种类多、变化频度高，这给应用流的评估带来了麻烦，如果要综合考虑每一种应用流对网络带来的影响，显然工作量是难以完成的。因此，本文引入应用流分组的概念。应用流分组的目的是从网络环境和安全角度的考虑，将识别后的流量进行归类分组。笔者在长期实验过程中，根据应用的重要性、对网络的占用率、对网络的威胁性等因素得到一个较为合理的分组规则，即将网络流量分为:关键业务，传统流量，P2P及流媒体，攻击流，其他5类。应用流分组确定了流量评估的维度，这样有利于提高评估的效率。表1列举了部分应用流的分组。

应用流分组模块有2个功能。首先是将检测到的各种应用流量按照表1中的分组归类，并计算各分组应用流量的大小、连接数目、通信主机数目3个方面的信息，并以一定的时间周期向流量安全评估模块传送数据。另外一个是在安全事件出现时，向安全响应模块提供异常应用流名称和其他相关信息。应用流分组模块的输入是各应用流的流量大小，而输出有2个:

(1)整个网络的流量分布矩阵。

(2)异常主机流量分组中的成份。

笔者引入流量矩阵的概念。流量矩阵A的数学定义为

其中，aij表示第i台主机的第j组流量的大小，aij的单位为实际流量的单位大小。流量矩阵反映了网络中信息流动的整体情况。

由于TCP/IP协议的广泛应用，网络流量中的绝大部分使用基于TCP的传输层协议，因此传输层的网络连接数也在一定程度上反映了网络流量的情况。定义网络连接数矩阵为

其中，Lij表示第i台主机第J组应用流的网络连接数。

在网络通信过程中，每个流量分组的通信主机数量具有参考价值，在此引入通信主机数量矩阵，数学描述为

其中，hij为表示某一分组流量的通信主机数目。

另外，流量分组模块在接收到安全响应模块的请求时，会向其发送该异常网络节点的应用流类别信息。

信息内容为:主机IP地址，主机应用流分组名，应用流名称列表。

3.2应用流的风险评估

网络流量的特征是网络安全性的重要表现。本节主要描述网络用户流量的安全评估过程和机制。流量的安全评估实际上是网络风险评估过程的一部分。风险评估的方法有定量评估、定性评估和定性与定量结合的评估方法。在此本文借鉴风险评估定性与定量结合的方法设计流量的安全评估子模型。

本节首先确定该模型的评估的对象、指标和目标，评估的具体方法如下:

(1)流量安全评估的对象是每个网络节点的应用流分组。

(2)评估对象的定量指标分别是网络流量大小、网络连接数和网络通信主机数。

(3)评价的目标是确定各应用流的安全性。

(4)评估方法是以先定量后定性的方法为原则，具体方法如下:

1)制定各分组流量的安全评估规则，为量化评估提供依据。

2)参照安全评估规则，根据3个量化指标评价网络用户流量的安全性，并得到安全评分。

3)根据安全性评价集，将量化后的安全评分指标定性化。另外，对于攻击流进行特别评估，并且当出现攻击流时，攻击流安全等级代表主机安全等级。

安全评估子模型的结构如图3所示。

3.2.1各分组流量的安全定量评价

对于不同分组的通信行为和流量特点，本模块采用分指标量化评估的方法进行安全评估。表2中各指标的安全性划分是根据实验得出的结论。

对于各流量安全评估节点，A各节点应用分组流量的集合;L为网络连接的集合;H是各节点通信主机数集合;Sij是各节点量化评估的结果集合。定义安全评估函数F(A，L，H)=Sij(1≤ i ≤ n， 1≤ j ≤ 5)，用于表示目标节点流量安全评估的量化结果，从而实现对目标安全状况的定量分析。

将该评价方法设为F则该过程可用数学描述如下:

其中，Sij为各网络节点中应用流分组的安全评分。

3.2.2流量安全定性评价

量化后的安全评分对与安全程度的描述仍然有很大的不确定性，因此，需要将安全评分定性化以确定其所在的安全级别。每个安全级别确定安全分数以及对于攻击流的安全等级划分如表3—表5所示。

以上5个安全等级对于流量的安全性的区分如下:

(1)安全状态表明该分组流量属于正常情况;

(2)可疑状态表明该分组流量中有可疑成分或流量大小超过正常情况;

(3)威胁状态表明该类流量威胁到网络的正常运行和使用;

(4)危险状态主要指该分组流量危害网络的正常运行;

(5)高危状态表明该类分组的流量成分已严重危害网络正常运行。

量化安全评分经过定性划分后可以得到一个定性的流量安全评估矩阵Th，将该过程用运算h表示为

其中，Tij为第i台主机第j组应用流的安全等级。

4实验结果

4.1应用流的识别率

由于TARAS系统能够识别多种应用流量，因此识别算法的准确性是一个重要的指标。网络环境重的各种因素以及网络应用协议特征不断变化等原因，TARAS系统对应用流的识别存在漏报和误报的间题。应用流的识别率见表6。由表6的统计数据可以看到，TARAS对各种协议的识别存在漏报和误报的情况。具体来看，eMule应用由于大量使用UDP传输数据，因此识别率不高。另外，http协议通常使用传输层80端口，但这个端口也被QQ和MSN 2个聊天软件使用，除此之外一些木马后门程序为了防止防火墙的封杀也往往使用该端口，因此，在识别过程中http协议会产生误报，即将非http协议数据也当作http协议计算。

4.2应用流的风险评估

为了测试TARAS系统风险评估的准确性，笔者在拥有8台主机的局域网中做相关测试，并以其中3台(主机17、主机77和主机177)进行实验。局域网内8台主机各应用分组流量状况如表7所示。关键业务和其他应用的分组流量为0。

主机17使用传统应用FTP执行下载任务，其他流量分组中无或只有极少流量，从表7可以看出，该主机的传统应用分组流量达到2 Mb/s，此时传统应用流量分组应该达到威胁级别，而其他分组应该都是安全级别，主机的总体评价为安全。主机77不断受到Nimda蠕虫病毒的攻击，从表7可以发现，该主机高危分组的流量为2 048 kb/s，此时该分组应该达到高危级别，而其他分组由于流量为0因此为安全，主机的总体评价为高危。主机177使用BT进行下载，并使其流量达到1 536 kb/s，根据风险评估策略，该主机的P2P及流媒体分组应该达到威胁级别，其他分组应该都是安全级别，主机的总体评价为安全。表8为TETRAS系统对表7所示流量状况进行评估所得的风险评估结果。

对比表7和表8可以发现，TARAS系统能够正确地对网络中各主机流量状况进行风险评估。同时该实验结果也证实:虽然TARAS系统对于应用流的识别存在一定误差，但是该误差没有严重影响网络运行状况和风险级别安全，误差在可接受范围内。

5结束语

本文针对当前网络管理面临的问题，将应用流成份分析和风险评估引入到网络流量分析和评估领域中，设计并实现了应用流分析和评估系统——TARAS。该系统主要解决网络流量管理中的2个问题:

篇8

论文关健词：应用流分析；风险评估；流量分组

1概述

基于互联网的新技术、新应用模式及需求，为网络的管理带来了挑战:(1)关键应用得不到保障，OA,ERP等关键业务与BT,QQ等争夺有限的广域网资源;(2)网络中存在大量不安全因素，据CNCERT/CC获得的数据表明，2006年上半年约有14万台中国大陆主机感染过Beagle和Slammer蠕虫;(3)传统流量分析方法已无法有效地应对新的网络技术、动态端口和多会话等应用，使得传统的基于端口的流量监控方法失去了作用。

如何有效地掌握网络运行状态、合理分配网络资源，成为网络管理者们的当务之急。针对以上需求，作者设计并实现了一套网络应用流分析与风险评估系统(TrafficAnalysisandRiskAssessmentSystem,TARAS)。

当前，网络流量异常监测主要基于TCP/IP协议。文献[5]提出使用基于协议签名的方法识别应用层协议。本系统采用了应用层协议签名的流量分析技术，这是目前应用流分析最新技术。然而，简单的流量分析并不能确定网络运行状态是否安全。因此，在流量分析的基础上，本文提出了应用流风险评估模型。该模型使用流量分组技术从定量和定性两方面对应用流进行风险评估，使网络运行状态安全与杏这个不确定性问题得到定性评估，这是当前网络管理领域需要的。

2流量分析模型

目前应用流识别技术有很多，本文提出的流量识别方法是对SubhabrataSen提出的应用协议特征方法的改进。针对种类繁多的应用层协议采用了两级匹配结构，提高效率。

应用识别模块在Linux环境下使用Libpcap开发库，通过旁路监听的方式实现。在设计的时候考虑到数据报文处理的效率，采用了类似于Linux下的NetFilter框架的设计方法，结构见图1。

采取上述流量识别框架的优点:(1)在对TCP报文头的查找中使用了哈希散列算法，提高了效率;(2)借鉴状态防火墙的技术，使用面向流(flow)的识别技术，对每个TCP连接的只分析识别前10个报文，对于该连接后续的数据报文则直接查找哈希表进行分类，这样避免了分析每个报文带来的效率瓶颈;(3)模式匹配模块的设计使得可扩展性较好。

在匹配模块设计过程中，笔者发现如果所有的协议都按照基于协议特征的方式匹配，那么随着协议数量的增大，效率又会成为一个需要解决的问题。

因此，在设计应用流识别模块时，笔者首先考虑到传输层端口与网络应用流之间的联系，虽然两者之间没有绝对固定的对应关系，但是它们之间存在着制约，比如:QQ协议的服务器端口基本不会出现在80,8000,4000以外的端口;HTTP协议基本不会出现在80,443,8080以外的端口等，因此，本文在流量分析过程中首先将一部分固定端口的协议使用端口散列判断进行预分类，提高匹配效率。

对于端口不固定的应用流识别，采用两级的结构。将最近经常检测到的业务流量放在常用流量识别子模块里面，这样可以提高查找的速度。另外，不同的网络环境所常用的网络应用流也不同，因此，也没有必要在协议特征库中大范围查找。两级查询匹配保证了模型对网络环境的自适应性，它能够随着网络环境的改变以及网络应用的变化而改变自己的查询策略，但不降低匹配效率。应用流识别子模块的设计具体结构见图2。

3风险评估模型

本文采用基于流量分组技术的风险评估方法。流量分组的目的是为流量的安全评估提供数据。

3.1应用流的分组

网络应用种类多、变化频度高，这给应用流的评估带来了麻烦，如果要综合考虑每一种应用流对网络带来的影响，显然工作量是难以完成的。因此，本文引入应用流分组的概念。应用流分组的目的是从网络环境和安全角度的考虑，将识别后的流量进行归类分组。笔者在长期实验过程中，根据应用的重要性、对网络的占用率、对网络的威胁性等因素得到一个较为合理的分组规则，即将网络流量分为:关键业务，传统流量，P2P及流媒体，攻击流，其他5类。应用流分组确定了流量评估的维度，这样有利于提高评估的效率。表1列举了部分应用流的分组。

应用流分组模块有2个功能。首先是将检测到的各种应用流量按照表1中的分组归类，并计算各分组应用流量的大小、连接数目、通信主机数目3个方面的信息，并以一定的时间周期向流量安全评估模块传送数据。另外一个是在安全事件出现时，向安全响应模块提供异常应用流名称和其他相关信息。应用流分组模块的输入是各应用流的流量大小，而输出有2个:

(1)整个网络的流量分布矩阵。

(2)异常主机流量分组中的成份。

笔者引入流量矩阵的概念。流量矩阵A的数学定义为

其中，aij表示第i台主机的第j组流量的大小，aij的单位为实际流量的单位大小。流量矩阵反映了网络中信息流动的整体情况。

由于TCP/IP协议的广泛应用，网络流量中的绝大部分使用基于TCP的传输层协议，因此传输层的网络连接数也在一定程度上反映了网络流量的情况。定义网络连接数矩阵为

其中，Lij表示第i台主机第J组应用流的网络连接数。

在网络通信过程中，每个流量分组的通信主机数量具有参考价值，在此引入通信主机数量矩阵，数学描述为

其中，hij为表示某一分组流量的通信主机数目。

另外，流量分组模块在接收到安全响应模块的请求时，会向其发送该异常网络节点的应用流类别信息。

信息内容为:主机IP地址，主机应用流分组名，应用流名称列表。

3.2应用流的风险评估

网络流量的特征是网络安全性的重要表现。本节主要描述网络用户流量的安全评估过程和机制。流量的安全评估实际上是网络风险评估过程的一部分。风险评估的方法有定量评估、定性评估和定性与定量结合的评估方法。在此本文借鉴风险评估定性与定量结合的方法设计流量的安全评估子模型。

本节首先确定该模型的评估的对象、指标和目标，评估的具体方法如下:

(1)流量安全评估的对象是每个网络节点的应用流分组。

(2)评估对象的定量指标分别是网络流量大小、网络连接数和网络通信主机数。

(3)评价的目标是确定各应用流的安全性。

(4)评估方法是以先定量后定性的方法为原则，具体方法如下:

1)制定各分组流量的安全评估规则，为量化评估提供依据。

2)参照安全评估规则，根据3个量化指标评价网络用户流量的安全性，并得到安全评分。

3)根据安全性评价集，将量化后的安全评分指标定性化。另外，对于攻击流进行特别评估，并且当出现攻击流时，攻击流安全等级代表主机安全等级。

安全评估子模型的结构如图3所示。

3.2.1各分组流量的安全定量评价

对于不同分组的通信行为和流量特点，本模块采用分指标量化评估的方法进行安全评估。表2中各指标的安全性划分是根据实验得出的结论。

对于各流量安全评估节点，A各节点应用分组流量的集合;L为网络连接的集合;H是各节点通信主机数集合;Sij是各节点量化评估的结果集合。定义安全评估函数F(A,L,H)=Sij(1≤i≤n,1≤j≤5)，用于表示目标节点流量安全评估的量化结果，从而实现对目标安全状况的定量分析。

将该评价方法设为F则该过程可用数学描述如下:

其中，Sij为各网络节点中应用流分组的安全评分。

3.2.2流量安全定性评价

量化后的安全评分对与安全程度的描述仍然有很大的不确定性，因此，需要将安全评分定性化以确定其所在的安全级别。每个安全级别确定安全分数以及对于攻击流的安全等级划分如表3—表5所示。

以上5个安全等级对于流量的安全性的区分如下:

(1)安全状态表明该分组流量属于正常情况;

(2)可疑状态表明该分组流量中有可疑成分或流量大小超过正常情况;

(3)威胁状态表明该类流量威胁到网络的正常运行和使用;

(4)危险状态主要指该分组流量危害网络的正常运行;

(5)高危状态表明该类分组的流量成分已严重危害网络正常运行。

量化安全评分经过定性划分后可以得到一个定性的流量安全评估矩阵Th，将该过程用运算h表示为

其中，Tij为第i台主机第j组应用流的安全等级。

4实验结果

4.1应用流的识别率

由于TARAS系统能够识别多种应用流量，因此识别算法的准确性是一个重要的指标。网络环境重的各种因素以及网络应用协议特征不断变化等原因，TARAS系统对应用流的识别存在漏报和误报的间题。应用流的识别率见表6。由表6的统计数据可以看到，TARAS对各种协议的识别存在漏报和误报的情况。具体来看，eMule应用由于大量使用UDP传输数据，因此识别率不高。另外，http协议通常使用传输层80端口，但这个端口也被QQ和MSN2个聊天软件使用，除此之外一些木马后门程序为了防止防火墙的封杀也往往使用该端口，因此，在识别过程中http协议会产生误报，即将非http协议数据也当作http协议计算。

4.2应用流的风险评估

为了测试TARAS系统风险评估的准确性，笔者在拥有8台主机的局域网中做相关测试，并以其中3台(主机17、主机77和主机177)进行实验。局域网内8台主机各应用分组流量状况如表7所示。关键业务和其他应用的分组流量为0。

主机17使用传统应用FTP执行下载任务，其他流量分组中无或只有极少流量，从表7可以看出，该主机的传统应用分组流量达到2Mb/s，此时传统应用流量分组应该达到威胁级别，而其他分组应该都是安全级别，主机的总体评价为安全。主机77不断受到Nimda蠕虫病毒的攻击，从表7可以发现，该主机高危分组的流量为2048kb/s，此时该分组应该达到高危级别，而其他分组由于流量为0因此为安全，主机的总体评价为高危。主机177使用BT进行下载，并使其流量达到1536kb/s，根据风险评估策略，该主机的P2P及流媒体分组应该达到威胁级别，其他分组应该都是安全级别，主机的总体评价为安全。表8为TETRAS系统对表7所示流量状况进行评估所得的风险评估结果。

对比表7和表8可以发现，TARAS系统能够正确地对网络中各主机流量状况进行风险评估。同时该实验结果也证实:虽然TARAS系统对于应用流的识别存在一定误差，但是该误差没有严重影响网络运行状况和风险级别安全，误差在可接受范围内。

5结束语

本文针对当前网络管理面临的问题，将应用流成份分析和风险评估引入到网络流量分析和评估领域中，设计并实现了应用流分析和评估系统——TARAS。该系统主要解决网络流量管理中的2个问题:

篇9

关键词：新型DPI；网络安全态势感知；网络流量采集

经济飞速发展的同时，科学技术也在不断地进步，网络已经成为当前社会生产生活中不可或缺的重要组成部分，给人们带来了极大的便利。与此同时，网络系统也遭受着一定的安全威胁，这给人们正常使用网络系统带来了不利影响。尤其是在大数据时代，无论是国家还是企业、个人，在网络系统中均存储着大量重要的信息，网络系统一旦出现安全问题将会造成极大的损失。

1基本概念

1.1网络安全态势感知

网络安全态势感知是对网络安全各要素进行综合分析后，评估网络安全整体情况，对其发展趋势进行预测，最终以可视化系统展示给用户，同时给出相应的统计报表和风险应对措施。网络安全态势感知包括五个方面1：（1）网络安全要素数据采集：借助各种检测工具，对影响网络安全性的各类要素进行检测，采集获取相应数据；（2）网络安全要素数据理解：对各种网络安全要素数据进行分析、处理和融合，对数据进一步综合分析，形成网络安全整体情况报告；（3）网络安全评估：对网络安全整体情况报告中各项数据进行定性、定量分析，总结当前的安全概况和安全薄弱环节，针对安全薄弱环境提出相应的应对措施；（4）网络安全态势预测：通过对一段时间的网络安全评估结果的分析，找出关键影响因素，并预测未来这些关键影响因素的发展趋势，进而预测未来的安全态势情况以及可以采取的应对措施。（5）网络安全态势感知报告：对网络安全态势以图表统计、报表等可视化系统展示给用户。报告要做到深度和广度兼备，从多层次、多角度、多粒度分析系统的安全性并提供应对措施。

1.2DPI技术

DPI（DeepPacketInspection）是一种基于数据包的深度检测技术，针对不同的网络传输协议（例如HTTP、DNS等）进行解析，根据协议载荷内容，分析对应网络行为的技术。DPI技术广泛应用于网络流量分析的场景，比如网络内容分析领域等。DPI技术应用于网络安全态势感知领域，通过DPI技术的应用识别能力，将网络安全关注的网络攻击、威胁行为对应的流量进行识别，并形成网络安全行为日志，实现网络安全要素数据精准采集。DPI技术发展到现在，随着后端业务应用的多元化，对DPI系统的能力也提出了更高的要求。传统DPI技术的实现主要是基于知名协议的端口、特征字段等作为识别依据，比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等协议特征的识别、基于源IP、目的IP、源端口和目的端口的五元组特征识别。但是随着互联网应用的发展，越来越多的应用采用加密手段和私有协议进行数据传输，网络流量中能够准确识别到应用层行为的占比呈现越来越低的趋势。在当前网络应用复杂多变的背景下，很多网络攻击行为具有隐蔽性，比如数据传输时采用知名网络协议的端口，但是对传输流量内容进行定制，传统DPI很容易根据端口特征，将流量识别为知名应用，但是实际上，网络攻击行为却“瞒天过海”，绕过基于传统DPI技术的IDS、防火墙等网络安全屏障，在互联网上肆意妄为。新型DPI技术在传统DPI技术的基础上，对流量的识别能力更强。基本实现原理是对接入的网络流量根据网络传输协议、内容、流特征等多元化特征融合分析，实现网络流量精准识别。其目的是为了给后端的态势感知系统提供准确的、可控的数据来源。新型DPI技术通过对流量中传输的不同应用的传输协议、应用层内容、协议特征、流特征等进行多维度的分析和打标，形成协议识别引擎。新型DPI的协议识别引擎除了支持标准、知名应用协议的识别，还可以对应用层进行深度识别。

2新型DPI技术在网络安全态势感知领域的应用

新型DPI技术主要应用于数据采集和数据理解环节。在网络安全要素数据采集环节，应用新型DPI技术，可以实现网络流量的精准采集，避免安全要素数据采集不全、漏采或者多采的现象。在网络安全要素数据理解环节，在对数据进行分析时，需要基于新型DPI技术的特征知识库，提供数据标准的说明，帮助态势感知应用可以理解这些安全要素数据。新型DPI技术在进行网络流量分析时主要有以下步骤，（1）需要对攻击威胁的流量特征、协议特征等进行分析，将特征形成知识库，协议识别引擎加载特征知识库后，对实时流量进行打标，完成流量识别。这个步骤需要确保获取的特征是有效且准确的，需要基于真实的数据进行测试统计，避免由于特征不准确误判或者特征不全面漏判的情况出现。有了特征库之后，（2）根据特征库，对流量进行过滤、分发，识别流量中异常流量对应的攻击威胁行为。这个步骤仍然要借助于协议识别特征知识库，在协议识别知识库中记录了网络异常流量和攻击威胁行为的映射关系，使得系统可以根据异常流量对应的特征库ID，进而得出攻击威胁行为日志。攻击威胁行为日志包含捕获时间、攻击者IP和端口、被攻击者IP和端口、攻击流量特征、攻击流量的行为类型等必要的字段信息。（3）根据网络流量进一步识别被攻击的灾损评估，同样是基于协议识别知识库中行为特征库，判断有哪些灾损动作产生、灾损波及的数据类型、数据范围等。网络安全态势感知的分析是基于步骤2产生的攻击威胁行为日志中记录的流量、域名、报文和恶意代码等多元数据入手,对来自互联网探针、终端、云计算和大数据平台的威胁数据进行处理,分析不同类型数据中潜藏的异常行为,对流量、域名、报文和恶意代码等安全元素进行多层次的检测。针对步骤1的协议识别特征库，可以采用两种实现技术：分别是协议识别特征库技术和流量“白名单”技术。

2.1协议识别特征库

在网络流量识别时，协议识别特征库是非常重要的，形成协议识别特征库主要有两种方式。一种是传统方式，正向流量分析方法。这种方法是基于网络攻击者的视角分析，模拟攻击者的攻击行为，进而分析模拟网络流量中的流量特征，获取攻击威胁的流量特征。这种方法准确度高，但是需要对逐个应用进行模拟和分析，研发成本高且效率低下，而且随着互联网攻击行为的层出不穷和不断升级，这种分析方法往往存在一定的滞后性。第二种方法是近年随着人工智能技术的进步，逐渐应用的智能识别特征库。这种方法可以基于威胁流量的流特征、已有网络攻击、威胁行为特征库等，通过AI智能算法来进行训练，获取智能特征库。这种方式采用AI智能识别算法实现，虽然在准确率方面要低于传统方式，但是这种方法可以应对互联网上层出不穷的新应用流量，效率更高。而且随着特征库的积累，算法本身具备更好的进化特性，正在逐步替代传统方式。智能特征库不仅仅可以识别已经出现的网络攻击行为，对于未来可能出现的网络攻击行为，也具备一定的适应性，其适应性更强。这种方式还有另一个优点，通过对新发现的网络攻击、威胁行为特征的不断积累，完成样本库的自动化更新，基于自动化更新的样本库，实现自动化更新的流量智能识别特征库，进而实现AI智能识别算法的自动升级能力。为了确保采集流量精准，新型DPI的协议识别特征库具备更深度的协议特征识别能力，比如对于http协议能够实现基于头部信息特征的识别，包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等头部信息，对于https协议，也能够实现基于SNI的特征识别。对于目前主流应用，支持识别的应用类型包括网络购物、新闻、即时消息、微博、网络游戏、应用市场、网络视频、网络音频、网络直播、DNS、远程控制等，新型DPI的协议特征识别库更为强大。新型DPI的协议识别特征库在应用时还可以结合其他外部知识库，使得分析更具目的性。比如通过结合全球IP地址库，实现对境外流量定APP、特定URL或者特定DNS请求流量的识别，分析其中可能存在的跨境网络攻击、安全威胁行为等。

2.2流量“白名单”

在网络流量识别时也同时应用“流量白名单”功能，该功能通过对网络访问流量规模的统计，对流量较大的、且已知无害的TOPN的应用特征进行提取，同时将这些特征标记为“流量白名单”。由于“流量白名单”中的应用往往对应较高的网络流量规模，在网络流量识别时，可以优先对流量进行“流量白名单”特征比对，比对成功则直接标记为“安全”。使用“流量白名单”技术，可以大大提高识别效率，将更多的分析和计算能力留给未知的、可疑的流量。流量白名单通常是域名形式，这就要求新型DPI技术能够支持域名类型的流量识别和过滤。随着https的广泛应用，也有很多流量较大的白名单网站采用https作为数据传输协议，新型DPI技术也必须能够支持https证书类型的流量识别和过滤。流量白名单库和协议识别特征库对网络流量的处理流程参考下图1：

3新型DPI技术中数据标准

安全态势感知系统在发展中，从各个厂商独立作战，到现在可以接入不同厂商的数据，实现多源数据的融合作战，离不开新型DPI技术中的数据标准化。为了保证各个厂商采集到的安全要素数据能够统一接入安全态势感知系统，各厂商通过制定行业数据标准，一方面行业内部的安全数据采集、数据理解达成一致，另一方面安全态势感知系统在和行业外部系统进行数据共享时，也能够提供和接入标准化的数据。新型DPI技术中的数据标准包括三个部分，第一个部分是控制指令部分，安全态势感知系统发送控制指令，新型DPI在接收到指令后，对采集的数据范围进行调整，实现数据采集的可视化、可定制化。同时不同的厂商基于同一套控制指令，也可以实现不同厂商设备之间指令操作的畅通无阻。第二个部分是安全要素数据部分，新型DPI在输出安全要素数据时，基于统一的数据标准，比如HTTP类型的数据，统一输出头域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常见头部和头部关键内容。对于DNS类型的数据，统一输出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通过定义数据描述文件，对输出字段顺序、字段说明进行描述。针对不同的协议数据，定义各自的数据输出标准。数据输出标准也可以从业务应用角度进行区分，比如针对网络攻击行为1定义该行为采集到安全要素数据的输出标准。第三个部分是内容组织标准，也就是需要定义安全要素数据以什么形式记录，如果是以文件形式记录，标准中就需要约定文件内容组织形式、文件命名标准等，以及为了便于文件传输，文件的压缩和加密标准等。安全态势感知系统中安全要素数据标准构成参考下图2：新型DPI技术的数据标准为安全态势领域各类网络攻击、异常监测等数据融合应用提供了基础支撑，为不同领域厂商之间数据互通互联、不同系统之间数据共享提供便利。

4新型DPI技术面临的挑战

目前互联网技术日新月异、各类网络应用层出不穷的背景下，新型DPI技术在安全要素采集时，需要从互联网流量中，将网络攻击、异常流量识别出来，这项工作难度越来越大。同时随着5G应用越来越广泛，万物互联离我们的生活越来越近，接入网络的终端类型也多种多样，针对不同类型终端的网络攻击也更为“个性化”。新型DPI技术需要从规模越来越大的互联网流量中，将网络安全相关的要素数据准确获取到仍然有很长的路要走。基于新型DPI技术，完成网络态势感知系统中的安全要素数据采集，实现从网络流量到数据的转化，这只是网络安全态势感知的第一步。网络安全态势感知系统还需要基于网络安全威胁评估实现从数据到信息、从信息到网络安全威胁情报的完整转化过程，对网络异常行为、已知攻击手段、组合攻击手段、未知漏洞攻击和未知代码攻击等多种类型的网络安全威胁数据进行统计建模与评估，网络安全态势感知系统才能做到对攻击行为、网络系统异常等的及时发现与检测，实现全貌还原攻击事件、攻击者意图，客观评估攻击投入和防护效能，为威胁溯源提供必要的线索。

5结论

篇10

关键词：流量流向；Netflow技术；采集；数据库设计；接口

Analysis and research on Internet traffic flow based on Netflow technology

Fu Xiaowei

Heilongjiang nongken vocational college, Harbin, 150025, China

Abstract: Based on the Internet flow to be studied, from the study of Internet traffic data type proceed with, in Netflow on the basis of technology, the realization of the flow depth of data analysis, and to build the flow analysis system hardware environment, the realization of the flow, flow direction and flow components sources of statistics, analysis and inquiry, in order to realize network planning, optimize adjust, business development goals.

Key words: traffic flow; Netflow technology; data acquisition; database design; interface

随着宽带互联网应用的普及，互联网用户数量在不断增加，各个领域的应用也在逐步深入，网络规模持续扩展，网络流量高速增长。尤其是P2P技术产生以来，互联网网络流量激增，对网络的处理能力提出了更高的要求。同时，要合理、有效地疏导流量，必须对网络流量进行科学、细致的分析，通过流量分析可以有效地总结出网内、网外流量比例，各区域用户产生的流量大小，进而对用户使用习惯、各类应用带宽消耗情况等进行分析，从而可以对不同区域用户使用习惯、网内资源建设方向等进行有效的指导。不仅要依据数据的目的地址去疏导流量，还要明晰流量的来源和成分，区分流量类型，以精确地计算成本，合理分配IP地址数量和流量占用带宽，使流量管理更加规范。

Netflow技术最早由Cisco公司研发，首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流进行测量和统计。经过多年的技术演进，Netflow对流经网络设备的IP数据流进行测量和统计的功能更加成熟，并成为当今互联网领域公认的最主要的IP/MPLS流量分析、统计和计费行业标准。Netflow技术能对IP/MPLS网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细统计数据。

通过对某电信运营商的网络进行改造，引入互联网流量分析系统，以互联网流量数据为分析对象，实现以下功能：(1)精确判断流量归属地；(2)精确统计流量类型；(3)精确区分流量成分；(4)以天为单位，对某一天的流量及以天为周期单位的时间段产生的流量进行查询。

1 流量分析系统设计

由于Netflow仅能宏观地对网络流量进行分析和监控，无法满足精细化管理的要求。鉴于此，需要建立网络流量分析系统。

首先在省级主干路中引入流控设备，对全省网络流量进行控制。通过建立一台Linux服务器(CM server)，在流控设备中将流量镜像至此服务器的数据库中，便可采集到全网的流量明细，进而通过存储过程将各种需要分析的数据进行聚合成表，便可对全网流量进行实时监控分析。

本系统包括4个功能模块，分别是数据采集模块、接口程序模块、数据库模块、页面呈现模块。

1.1 数据采集模块

要实现对流量源和目的地的分析，首先要进行流量采集并存储，采集的数据中要包含数据包的源地址、目的地址、数据包发送时间等信息。本系统采用Netflow V9版本进行数据采集，需要对Netflow协议、待采集的路由器端口和数据采集存储服务器等进行配置。

由于需要分析的路由器端口数据量很大，而且分析目的主要为各方向流量数据比例，综合考虑数据处理量和数据准确性之后，将采集周期定为5分钟，采样比例定为1000:1，此时每5分钟Netflow数据流约有30万～40万条，存储Netflow数据流的文件大小约20～30 MB。

在采集数据的端口选择方面，既要采集所有流量数据，保证数据的完整性；又要避免数据重复采集，以保证数据的准确性。按照上述条件，选择省级主干中路由器上行端口为流量采集端口，通过该端口既可以采集所有互联网用户访问Internet的流量数据，又不会发生流量数据重复采集情况。

为分析路由器端口的网络流量数据，必须将从路由器中送出的Netflow数据收集并存储，以便进一步的处理，所以需要配置Netflow采集存储服务器。具体配置为2.4 GHz四核CPU、2 G内存，使用Linux系统，并安装Cisco Netflow Collector(NFC)采集软件。

1.2 接口程序模块

经过采集，每5分钟会输出一个格式为XML的文件，文件数据分3部分：数据头、模板部分、数据部分。Netflow V9的数据格式可以自定义，根据分析需要，定义数据模板主要包括我们关心的13个字段，分别为：源地址、目的地址、源端口号、目的端口号、入接口、出接口、协议、服务类型、流数量、报文数、字节数、开始时间、结束时间。每个字段使用“|”分开。

选用C++程序语言进行数据的分析及入库。程序语言完成的主要功能为按照字段定义进行数据分列，并按要求建立数据表，然后将分析后的数据导入数据库中。原始数据每天自动生成一个文件夹，文件夹中每5分钟生成一个数据文件，为了达到自动读取数据的功能，采用“日期+时间”循环来自动读取数据文件。

读取数据文件对每行按照不同字段分列。由于每个数据文件的数据头部分完全相同，而且不包含所要分析的数据信息，所以可以把数据头部分跳过，然后根据每行数据的“|”将每个字段的数据进行分列。再根据各字段数据分析的需要，转换成相应的数据类型，并与数据库连接写入数据库中。

1.3 数据库模块

作为基于Netflow流量的分析系统，数据库成为系统的基础及核心，一切功能模块及数据采集均需建立在数据库中，从性能、成本、易用性、可靠性等方面综合考虑，选用MySQL作为本系统的数据库。

首先是基本表的设计。在程序操作数据表时，读写的性能受数据表字段所占字节数的影响，数据表字段所占字节数越大，则需要更长的读写操作时间，字段所占字节数越小，则其读写操作的性能将会有所提高。因此，设计数据库字段的属性对整个系统的性能至关重要。在分析程序对数据按照规则条件进行匹配后，将更新数据表中IP地址等相应的归属信息，但在数据的进一步汇总中，如果汇总程序按照IP地址归属信息进行数据分组汇总，则需要读取归属信息的全部字节数，这对于系统整体汇总而言，其运行效率仍会受到影响。本着读取最少字节数以提升系统工作效率的原则，需要将归属信息代码化，汇总程序仅需要根据归属信息代码作为分组条件即可。

根据Netflow的原始数据量，如果对其进行一一匹配对应，则无法在5分钟内完成相应的数据归属、流量分析等操作。为了提高数据库效率，最直接的方法就是先进行关键字段的聚合，然后进行相应的递归聚合，最后将分析数据进行匹配分析，这样可以有效地减少原始数据的运算量，尤其在磁盘I/O有限的条件下，性能提升更明显。

在数据递归聚合后，虽然数据量已经有了极大的压缩，但数据库运算仍然十分缓慢，因此在各级数据表中，对需进行运算的字段进行索引配置。索引是用来快速地寻找那些具有特定值的记录，所有MySQL索引都以B-树的形式保存。如果没有索引，执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录，直至找到符合要求的记录。表里面的记录数量越多，这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引，MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。由索引带来的效率提升则是非常明显的，如同看书时按照目录查询章节一样迅速。在本系统中，由于要从目的IP地址中分析出该IP的分公司归属，这对于运营商庞大的不连续的IP地址段数据表来说，其哈希运算将会带来极大的系统符合，其运算效率也将随着两张数据表记录的增长而成倍的增长。通过对比测试，在没有配置索引的情况下，其数据运算的时间大约为20分钟，而索引可以将此工作缩短至1分半钟左右，这恰好可以完成数据在5分钟内的运算操作。

1.4 页面呈现模块

在对数据进行分析处理后，利用Eclipse+JSP+Tomcat平台，将结果以网页形式展现出来，并实现多种查询功能(如图1所示)。

图1 系统结构图

2 结束语

在研究互联网技术和相关协议的基础上，通过对互联网流量数据的分析处理，运用C++，MySQL，Eclipse，JSP和Tomcat+Java等工具，实现了互联网流量分析系统的设计，解决了互联网流量分析管理过于宏观的问题。

在互联网规模不断扩展和应用领域不断增加的趋势下，互联网流量的迅猛增长，使得流量成分越来越复杂，而过于宏观的流量分析技术已经不能满足电信运营上的管理要求，只有通过可靠、有效的网络业务流量监测，并对互联网络以及网络所承载的流量进行细致的统计，准确及时的流量流向分析，才能挖掘出网络资源潜力，以达到控制网络互联成本，为企业的网络规划、优化调整和业务发展提供有力的依据。

参考文献

[1] 滑海,张建标.基于NetFlow的网络流量采集系统设计[J].微处理机,2010,2:41-59.

[2] 王哲.基于NetFlow的网络流量监测技术与应用[J].软件导刊,2009,5:139-140.

[3] 田杨,王宏.采用Netflow数据的典型异常流量检测方法[J].电子科技大学学报,2009,S1:57-60,74.

[4] 梁峰,谭建龙.基于数据流模型的NetFlow流数据安全检测分析系统[J].信息网络安全,2009,4:69-71.

篇11

关键词：网络管理；流量分析；NetFlow

中图分类号：TP393文献标识码：A文章编号：1009-3044(2011)22-5337-03

Research of Flow Analysis Technology and Application Based on Campus Network

LIU Chen-Guang1,3，LIU Wei-Hui2

(1.Information & Network Center, Xuzhou Normal University, Xuzhou 221116, China; 2.Xuzhou Normal University Library, Xuzhou 221116, China;; 3.School of Computer Science and Technology, China University of Mining and Technology, XuZhou 221000, China)

Abstract: Along with the construction and development of campus network, higher request for the network management are proposed. By contrast and analyzed three technique of SNMP, RMON, and NetFlow, and introduce the application of NetFlow management in campus, the conclusion was get that it is good to satisfy the user to overall control of network flow, monitor the abnormal flow in time, trace and analyze of the abnormal host, and provide a good solution for the campus network flow supervision.

Key words: network management; flow analysis; NetFlow

随着网络应用的普及和发展，校园网络建设的规模也在不断壮大，基于网络的教学与办公等应用也在不断增加，用户对网络的依赖也越来越强。用户数量的不断增加、网络流量的日益剧增、业务类型的复杂多样都给网络的安全、速度和稳定带来了很大的压力，而保障网络高效稳定的运行，则是现今网络管理的重要内容，了解网络带宽的利用情况、网络流量的内容以及用户的网络行为是网络管理的首要工作，为网络管理、网络升级与规划等提供重要依据。网络流量分析，可以提供大量详细的数据，供网管人员从多个方面进行分析，更好地维护、优化网络，提升网络的性能；也可作为网络安全管理的辅助手段，处理网络病毒等异常事件。因此，网络流量分析对于网络性能、异常监测、链路状态监测、升级规划等发挥着重要作用，为网络发展和网络优化提供更优质、更有效的技术支撑和服务。

1 常用网络流量监测技术介绍

1.1 简单网络管理协议SNMP技术

简单网络管理协议SNMP（Simple Network Management Protocol）是基于TCP／IP的网络管理管协议，它定义了传送管理信息的消息格式及管理设备和被管理设备之间进行消息传送的规程。它能对网络中不同类型的设备进行监控和管理，对网络中存在的问题进行定位。

完整的SNMP管理系统包括三个组成部分：⑴SNMP协议，包括理解SNMP操作、SNMP消息的格式以及在应用程序和设备之间交换信息的方式；⑵管理信息结构（Structure of Management Information，SMI），它是用于指定一个设备维护的管理信息的规则集；⑶管理信息库（Management Information Base，MIB），它是设备所维护的全部被管理对象的结构集合。SNMP的流量分析就是通过SNMP协议访问设备，并获取MIB库中的端口流量信息。使用该协议的软件有MRTG（Multi Router Traffic Grapher）、CACTI等。

CACTI是共享、开源和免费使用的软件，它使用SNMP协议、通过轮询设备的方法，获得流量信息，由服务器端软件生成PNG格式图片，并以WEB形式提供给用户查询。由于CACTI使用起来很方便，能够直观显示端口流量负载，所以是各类网管人员常用的网络监视工具。但CACTI收集到的流量信息仅是简单的端口流量的出、入统计信息，不能深入分析包的类型、流向等信息，但可以通过大量的插件，来扩充CACTI的其它各项功能。

1.2 远程监控RMON技术

远程监控RMON（Remote Monitoring）是由Internet工程任务组IETF（Internet Engineering Task Force）定义的一种远程监控标准，是对SNMP标准的扩展，包括RMON和RMONII两种标准。RMON定义了网管设备和远程监控设备之间的接口标准，使得监控设备和网管设备之间可以进行网络监控数据的交换，从而实现了对一个网段乃至整个网络的数据流量的监视功能。RMONII标准是IETF在RMON基础上提出的，它能将网络的监控层次提高到应用层。RMON的MIB数据库是由统计数据、分析数据和诊断数据等三个部分构成，有标准的数据格式，具有独立于设备供应商的远程网络分析功能。如思科、锐捷、Juniper、3COM、华为等网络设备都具有该功能。

1.3 NetFlow技术

NetFlow技术最早是在1996年由Cisco公司提出的，是Cisco IOS软件中内嵌的一种功能，用来将网络流量记录到设备的高速缓存中，以便进行精确的流量测量。其工作原理是 NetFlow利用标准的交换模式，处理数据流的第一个IP包数据，生成NetFlow缓存；随后，同样的数据基于缓存信息，在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。一个NetFlow流定义为在一个源IP地址和目的IP地址之间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。NetFlow流量统计数据项包括： ⑴数据流时间戳；⑵源和目的IP地址；⑶源和目的端口号；⑷ Input和Output接口号；⑸下一跳IP地址；⑹信息流中的总字节数；⑺信息流中的数据包数量；⑻信息流中的第一个和最后一个数据包时间戳；⑼源和目的AS号及PrefixMask；⑽Type ofService(TOS)等。

完整的NetFlow系统由收集器、存储器和分析器三个部分组成。收集器仅用来收集IP数据流的统计信息，数据分析由分析器来完成。数据存储由专门的数据库服务器来完成，如Sql server 或Mysql。NetFlow数据可以用于蠕虫、病毒、网络攻击或其他异常流量的检测，由于这些行为都涉及到特定的、有规律的端口、地址和数据长度等方面，所以我们可以充分利用NetFlow的数据检测及分析功能，以便尽早发现网络中的异常现象，及时解决。

2 NetFlow监控技术的应用

目前，NetFlow技术被大多数路由器和三层交换机支持。一般是在核心交换机或在边界路由器上进行数据采集。我校的校园网经过10多年的发展，目前覆盖4个校区，入网计算机超过10000台。目前的网络主要包括三个层次：边界网，主要负责校园网的出口，实施各种策略，如负载均衡、防火墙、流控、VPN、NAT等工作；核心网，主要负责各校区之间的数据交换；园区网，主要负责各园区内的数据接入工作。

2.1 NetFlow的布署

我校虽然有流控设备来管理整个校园网的出口流量，但对于校园内部互相访问的各种数据流是难以监控及管理的，为此，我校选用NetFlow来监控网络流量，在核心交换机6509上布署NetFlow，简单的拓扑结构如图1。

2.2 异常流量的监测及解决方案

通过定期对NetFlow流数据进行统计及分析，建立常规的网络流量模型，将此模型应用于网络流量的异常监测，对检测到的异常数据作进一步分析，综合判断异常流量的性质，并追踪定位到异常数据的来源，制定应急方案并实施，主要步骤如下：

1）常规模型的建立：定期对NetFlow数据做Top N统计，包括接口、IP的利用率和速率，及时掌握网络流量特征，建立常规的网络流量模型；

2）异常流量的检测：如果发现某时刻网络流量的统计值超出常规模型，则说明网络上出现异常情况；

3）异常流量分析：对异常流量的NetFlow数据进行分析，统计出相关的源/目的地址、端口、协议类型等数据；

4）异常主机的定位：根据统计出来的数据，综合判断异常流量的性质（如攻击、蠕虫病毒等），追踪、定位导致异常流量产生的主机来源（如IP地址）；

5）应急方案的制定：根据异常流量的情况，制定并实施防范措施（譬如安全策略、QoS、负载均衡等），防止所有来源对网络产生类似的威胁；

6）方案实施与改进：应急方案制定以后，根据常规模型对网络进行监测，并进一步验证及改进模型的性能，以便提升网络异常情况检测的准确性。。

3 流量监控结果分析

通过NetFlow的监控，对以下几个方面进行掌握：

1）了解当前网络的输入输出情况。通过NetFlow监控图可以直观的看出当前的网络总体运行状况，如网络端口的输入和输出数据量，全网的网络流量状况等，能及时的发现异常流量的爆发，并做进一步的定位与分析，如图2。

2）各协议应用分布情况

通过NetFlow可以对网络中正在运行的各种应用协议进行分析，对网络中带宽消耗大的应用协议进行筛选分析，并进一步对可疑端口进行跟踪追查，如图3。

3）查找异常主机

通过对占有用带宽严重的几种应用进行排序，可以追踪到应用了特定协议的主机。当网络中出现异常流量爆发时，通过对流量的筛选，可以定位到流量异常的主机,并对该主机的详细通讯情况做进一步的追查和分析。

4 结束语

将流量监控技术布署在校园网内，对网络中的流量数据进行采集分析，实现了对网络运行情况的实时掌握，出现异常网络流量时能够及时定位异常主机，为校园网络管理以及有关策略的制定提供了重要的参考依据。

参考文献：

[1] IEFT IPPM(IP Performance Metrics) Working Group./.

[2] Paxson V.End-to-End routing behavior in the Internet[J].IEEE/ACM Transactions on Networking,1997,5(5):601-615.

[3] 赵海.路由器级Internet拓扑特征量的对比分析[J].东北大学学报:自然科学版,2010,31(4):507-510.

[4] 张文杰,钱德沛.互联网应用性能测量系统的研究实现[J].计算机研究与发展,2003,40(1):60-67.

[5] Thottan M,Li L,Yao B,et,al.Distributed network monitoring for evolving IP networks[C].Proceedings of the 24th International Conference on Distributed Computing Systems (ICDCS);IEEE,2004:712-719.

[6] Sunil Kalidindi.Surveyor:An infrastructure for Internet performance measurements[J].INET 99,Stockholm Sweden,1999./inet99/.

[7] 孟晓蓓.基于NetFlow的网络流量采集技术和应用[J].武汉理工大学学报,2009,31(23):155-158.

[8] 陈宁,徐同阁.NetFlow流量采集与存储技术的研究实现[J].计算机应用研究,2008,25(2):559-564.

篇12

【关键词】BOSS 10086短信业务平台 业务流量 网络流量

1 BOSS系统架构概述

业务支撑系统(以下简称为“BOSS系统”)是基于计算机技术,融合了计算机软硬件以及移动通信的部分特点于一体,用于支撑移动通信业务运营和管理的IT系统。随着移动通信业务运营内涵的极大丰富和服务对象群体外延的不断扩大,BOSS系统无论是业务种类、业务规模还是业务流程,都变得非常庞大和复杂。要研究BOSS系统的应用业务和网络流量相关性,必须首先对BOSS系统进行分类,然后比照网络拓扑图,按照业务逻辑分别对收敛的采样点进行数据流的采集和分析,建立相关业务的数据模型,定量及定性分析业务逻辑流量和网络流量的关联关系,进而推理出相关业务逻辑数据流随着业务量的变化对网络资源开销的影响程度。

BOSS系统分类方法很多,有按功能域分、按服务需求分、按安全域分等。BOSS系统的业务种类繁多,因而各业务系统网络及性能管理是一项复杂而富挑战性的工作,这当中包含了多项因素。本文选取一个典型的业务平台――10086短信业务平台,对短信业务的业务数据流和网络流量做抽样性分析,以此作为对BOSS应用系统研究和维护管理的方法论,进而推广到整个BOSS系统业务维护和管理系统中。

210086短信业务平台架构概述

2.1 BOSS短信业务平台业务概况

上海移动10086短信业务平台是BOSS系统向移动客户提供基于短信交互方式的资费和业务查询、业务定制和退定、手机功能开通和取消、套餐申请和转换、积分兑换和促销活动等个性化服务的E渠道之一。

上海移动10086短信业务系统是以计费信息中心BOSS系统为核心,利用运行维护中心的行业网关平台,向移动客户提供便捷的端到端服务的跨平台、跨部门的业务系统。

2.2 BOSS短信业务平台系统概况

BOSS短信业务平台计费信息中心侧由两台DELL2650 PC服务器做短信接口服务器,一台IBM P650_1做短信中间件服务器,一台IBM P650_2做短信数据库服务器,此外还有两台BOSS营帐数据库服务器。

BOSS短信业务平台运行维护中心侧由两台HP行业网关服务器做对应。

计费信息中心侧与运行维护中心侧通过10M城域网经由一台CISCO3725路由器互连,2M数据链路做备用。

BOSS短信业务平台提供多种短信业务,明细列举如表1所示:

3 BOSS系统短信业务网络和服务器流量捕获研究

3.1 业务流量和网络流量的对应关系

为了有效捕获网络流量,研究业务流量和网络流量的对应关系,需要采用特定的流量分析设备,具体包括一台NetScout 4端口百兆探针NGenius 9241硬件设备一台,和NetScout nGenius Performance Manager软件一套。

为收集网络流量,在网络中放置探针,通过交换机上的端口镜像将业务流量端口镜像到探针连接端口,流量经过探针处理后再传送到集中的性能管理服务器(nGenius Performance Manager,简称PM),用于全局的网络分析。

NetScout设备能够自动识别常见网络协议以及应用端口,如HTPP、FTP、Telnet等。为有效标明短信数据流,在详细分析数据流的基础上,根据IP地址以及应用端口定义了如下应用:

短信接口到短信中间件Upstream:10.10.169.30 10.10.167.13,TCP port:28500;

短信中间件到短信接口Downstream:10.10.169.1310.10.167.30,TCP port:28540,28518;

短信中间件到营帐数据库YZ_DB:10.10.167.1310.9.215.24。

3.2 小结

(1)经过大量统计和运算,获得流量特征值T的对应表和K值,以及流量推算公式:

F’XX=短信业务量*K*T

其中,XX是任意段的流量预估。

如行业网关到短信接口的流量=200,000*1754*3.78/小时=1326M/小时。

(2)短信业务量每小时峰值40万是中间件环节处理和吞吐能力的预警线,因为此时短信中间件服务连接端口流量=短信中间件服务到短信数据库的流量+短信中间件服务到营帐数据库的流量+短信中间件服务到短信接口机的流量=47.6Mbps,达到网络连接100M的近50%。对于网络来讲,50%的利用率是一个预警的尺度,需要考虑采取措施如升级处理性能和带宽等。

4 应用拓展

4.1 网络系统维护

流量和业务量分析模型,可以很好地运用到网络和主机系统的日常运维中,包括日常系统及业务流量监控、故障诊断,还可以用于网络规划的辅助工具。如:

建立正常工作情况下的流量基线;

实时分析网络流量,掌握流量的动态变化;

监控应用的响应时间,逐段分析系统延迟的组成;

确定时延导致根源,分析究竟是服务器、应用还是网络造成的;

一旦发觉服务性能很差(响应时间太长),可以分析和比较Application Response Time 与Network Response Time,知道响应时间长是网络造成还是Application Server本身造成的;

掌握网络流量与业务量的对应关系,分析业务量的增长趋势;

区分网络传输时间与服务器响应时间等。

4.2 故障诊断及流量预测

流量和业务量分析模型,可以很好地运用到日常系统及业务流量预测、故障诊断,为更好的系统维护作业计划打好基础。如:

对网络误用、黑客入侵“错误!未找到引用源”、服务暂停、超时响应等做出实时告警;

提早获得流量异常“错误!未找到引用源”(如病毒爆发)的提示,预防问题的发生,并得到导致告警的应用、主机和通信对,了解流量异常的根源;

根据总流量、广播包占用量、包CRC Errors、Multicast包占用量、不同应用的时延设置门限告警;

24小时不停监视网络异常,并发出告警,数据包捕获,协议解码分析;

实时了解网络流量情况,及时获得导致告警的根源;

得到异常占用网络的用户的行为、特征,如黑客入侵;

基于前期流量,分析未来走势,对于可能产生的系统、网络瓶颈,提前采取措施,满足业务增长的需要;

通过趋势分析预测过载发生时间,有助于规划容量以应付未来需求。

5 结束语

本文通过抽样选取10086短信业务作为研究的对象,比照10086短信业务的业务逻辑和受理流程,采用特定的流量分析设备,得出业务流量同网络流量之间存在的对应关系,进而推理出短信业务逻辑数据流随着短信业务量的变化对网络资源开销的影响度。流量和业务量分析模型可以很好地运用到网络系统维护、故障诊断及流量预测等方面,并可作为网络规划的辅助工具,对3G时代的到来所带来的网络与业务架构变化有很好的借鉴意义。

参考文献

[1]Vladimir Naumovich Vapnik. Statistical learning theory [M]. New York: Wiley,1998.

[2]Juha M Alho. Statistical Demography and Forecasting [M]. NY: Springer Science+Business Media,Inc,2008.

[3]Peter Hackl. Statistical analysis and forecasting of economic structural change [M]. Springer-Verlag,1989.

[4]Holger Kantz. Nonlinear time series analysis [M]. Cambridge Press,2003.

[5]Julien C Sprott. Chaos and time-series analysis [M]. Oxford University Press,2003.

[6]Zhongjie Xie. Case studies in time series analysis [M]. McGraw-Hill Osbome Media,2009.

[7]Michael Eugene Orshansky. Statistical models,methods and algorithms for computer-aided design for manufacturing [M]. 2001.

[8]Yair Wiseman, Song Jiang. Advanced operating systems and kernel applications: techniques and technologies, Hershey [M]. PA: Information Science Reference,2010.

[9]Jean Bacon. Operating systems: concurrent and distributed software design [M]. Publishing House of Electronics Industry,2003.

【作者简介】

篇13

关键词:网络服务器;流量分析;即时通信

中图分类号:TP393文献标识码:A文章编号:1009-3044(2010)19-5241-02

The Real-Time Communication Traffic Analysis

YIN Qing

(Beijing Jiaotong University, Beijing 101111, China)

Abstract:This article analyzes the current status of the network server traffic analysis. It discusses the significance of monitoring and analysis on the server traffic and summarizes main content. Then, the article analyzes the mathematical characteristics of real-time communication services based on the agreement of Net flow v9、IPFIX and PSAM.

Key words: Network Server; Server Traffic Analysis; real-time communication

今天的数据网络给我们的生活、工作和人与人之间的沟通带来了极大的方便,网络业务日趋丰富,网络流量高速增长。同时,网络运营商之间的竞争也逐渐激烈,以高投资为特征,追求简单规模扩张的粗放型竞争模式已经不适应当前的形势。挖掘现有网络资源潜力,控制网络互联成本,提供有吸引力的增值业务,提高网络运维水平成为在激烈竞争中的制胜策而要实现这些,都离不开可靠、有效的网络流量监控的有力支撑。

1 网络业务服务器流量分析

设备一般位于局域网或者城域网与外部IP网络相联的网关上。将局域网或者城域网用户访问外部IP网络的服务器定义为网外服务器,这些服务器上承载的业务为网外业务。

由于网内用户每天访问的服务器是随机的,每天网络流量监测系统截获的网外服务器数量必定也是不确定的。一天内服务器承载的总流量也是不确定的。但是一周内某些服务器出现的频率却存在着稳定性,根据一周内服务器出现的频率分组,分别研究所分的服务器组网络流量特征。

一天内不同服务器承载的流量占当天总流量的百分比是不同的,本文忽略了承载流量较小的服务器,仅选取一天内承载总流量90%以上的服务器,并按照上述方法选取一周内(7天)的服务器集合作为分析对象。而总流量又分为了上行数据和下行数据,即网内用户请求网外服务器时发出的流量和网内用户接收网外服务器响应请求的流量。因此可以分别针对上行流量和下行流量得到一周内服务器集合作为分析对象。对于特定业务的上下行数据也可以得到服务器集合作为分析对象。

2 chat业务服务器流量分析

Chat业务表示各种即时通信业务的总和,即时通信(Instant Messaging,IM)作为通过Internet即时和他人联系的一种方式,其互动性非常强,而且价格便宜,对于大多数人`来说,通过即时通信进行沟通比电话来得实惠,因而即时通信受到网民的普遍喜欢,即时通信既然广受公众和企业的喜欢,社会对IM的接收与企业对IM的需求正处于一个激增的趋势,随着它的进一步被应用,即时通信必然能够形成一个很大的市场。对即时通信业务的研究也就具有了其商业价值。

在一天中网内用户访问网外承载chat业务的服务器数量有限,所以直接取这些服务器作为统计数据。

2.1 服务器频率分析

作为一周内的统计数据,服务器出现的最大频率为7次即每天中均存在网内用户对这些服务器的访问,最小为1次即一周内仅在一天内存在网内用户的访问。

表1中:一周内承载chat业务的服务器共计29台,在一周内服务器仅出现1次的服务器共15台,占总服务器数的50%,出现7次的(即每天均出现的服务器)共3台,占总服务器数的13.3%。由此可见承载chat业务的服务器在一周内仅有一天收到网内用户访问的服务器占据了总的访问服务器数量的一半。这些服务器,并不是网内用户主要访问的服务器。

将一周内服务器按照出现频率进行分组,统计各个服务器组承载的总流量。各服务器组承载的流量占一周内总流量的百分比如表2所示。

在表2中,表明一周内每天都出现的服务器承载的上行流量占总上行chat业务流量的28.5%,承载的下行流量占总下行流量的65.2%,而这些服务器台数只占总服务器台数的13.3%。出现1次的服务器承载的上行总流量占总上行chat业务流量的5.04%,承载的下行流量占总下行流量的13.35%,而这些服务器台数却占总服务器台数的50.0%。

图1中列出了承载chat业务的服务器上下行数据间的关系,其中按照业务上行流量的大小排序。有上图可见220.181.12.101 与220.181.15.128这两台服务器承载的上下行流量差异很大。

将上行业务服务器承载的流量按照100kbit划分区间,其中横坐标表示各个区间代表的流量。纵坐标表示在此区间内存在服务器的台数。

2.2 服务器流量概率分布

2.2.1 上行流量概率分布分析

将上行chat业务按照流量排列后其柱状图如图2所示,其中纵坐标表示该服务器一周内承载的总流量。

服务器上行业务流量的p-p概率分布图如图2所示。

图中的样本点基本与满足weibull概率分布的直线逼近。可以近似认为满足weibull概率分布。

2.2.2 下行流量概率分布分析

服务器上行业务流量的p-p概率分布图如图3所示。

图中的样本点基本与满足lognormall概率分布的直线逼近。可以近似认为满足lognormal概率分布。

3 结束语

总的来说,在网络设备上配置网络流量监控系统,对网络流量进行分析和监控,好处还是显而易见的。特别是对于网络流量负荷比较大的网络。可以有效的节省网络带宽和处理资源。也可以作为计费或者流量控制或者网络规划的参考。

参考文献:

[1] 谢希仁.计算机网络[M].大连:大连理工大学出版社,1996,2(2):170-174.

[2] 谭思亮.监听与隐藏-网络侦听揭秘与数据保护技术[M].北京:人民邮电出版社,2002,25(4).117-121.

篇14

关键词：网络监控；网络异常；系统攻击；计算机系统；流量

1 从一次流量异常谈起

网络流量的异常，能够为网络故障的发生、安全的攻击提供良好的信息来实现监控、报警。当前网络的安全问题是不能忽视的。在2013年的5月19日，就在我国的互联网世界碰到了严重的故障。一直自晚上10点到第二天凌晨，包括江苏、安徽、广西、海南、甘肃、浙江六省在内所有网民都感到了网速奇慢，然后无法访问internet。一直第二天情况才得到好转，网络恢复正常。通过调查发现原来两家游戏网站的商业不道德内斗，一家雇黑客向竞争对手的DNS域名托管商DNSPod发起攻击的，使得对手陷入瘫痪。在操作过程中，多台木马电脑向DNSPod进行狂轰滥炸，目的达到了，然而服务器顺带托管着的国内13万家网站域名也受到了攻击，最终一连串的连锁反应导致了这场悲剧。

网络流量的异常引发了人们深深的思考，这是最后一次吗？事情远没有画上一个休止符，那么网络使用者、管理者以及技术开发人员，到底应该如何防范这来势凶猛的异常流量攻击，才能保证信息的安全，这是一个极为重要的问题。

2 异常流量种类与数据包

2.1 异常流量

总的看来，能够使得网络发生重大问题的异常网络流量有下面的一些方面：首先是拒绝服务攻击，这是危害极大，也极为常见的一种，称为DoS。再者，还有一种是分布式的拒绝服务攻击，也被称作是DDoS。其次是网络蠕虫病毒流量，以及相应别的异常流量。这些网络的异常流量，能够引发骨干网络的减速、瘫痪，有着巨大的危害和破坏力，主要表现形式是带宽的占用、网络的阻塞，无法发送正常数据而导致的经常性的丢包现象等等。除了对于网络，针对各个服务器计算机乃至终端系统来说，网络异常流量会导致大量CPU时间片和内存空间的占用，无法正常响应需求服务。针对这个问题，需要构建网络流量异常的分析系统，进行良好的预警、报警和流量处理功能。

2.2 异常流量数据包构成

从理论上来讲，任何正常的数据包形式如果被大量滥用，都会产生异常流量，例如DNS正常访问请求数据包（协议类型53）如果大量发生，就会产生对DNS服务器的DoS攻击。但相关异常流量数据，构成上一般有如下方面：TCP SYN flood，典型特征是数据包协议类型为6（TCP），数据流大小为40字节。ICMP flood，他们是数据包协议类型为1（ICMP），单个数据流字节数达218M字节。UDP flood，出现特点在于数据包协议类型为17（UDP），数据流有大有小。除此以外，仍然存在一些不是特别常见的异常流量数据。

3 网络流量分析的主要功能

3.1 基本分析

对于其承担的主要，应该包含有网络流量中信息包的抓取，而且应该能依照相关的技术标准、协议，数据来源与去向进行多广度和多维度的分析，而这些数据采集能够依靠相关NetFlower、sFlow、NetStream、端口镜像等的。具体说来，流量的异常分析中应该涵盖如下的方面：⑴提供流向分析、协议层次分析、应用分析等功能；⑵提供终端流量矩阵视图、TCP连接会话矩阵视图；⑶支持对P2P、IM（即时消息）、VoIP等应用层协议进行分析。⑷提供各种排名分析。

3.2 全面分析

对于高级使用者，还应该支持SNMP、BGP、SPAN、CLI、NAP 等方式，对路由设备状态、路由表项、动态路由协议交互、IP/MAC影射、MAC/Port影射、原始报文内容等进行实时采集，把链路流量图式和网元节点状态同时纳入到系统分析基础数据库中并在二者之间进行高度关联分析，不仅大幅度提高流量分析结果的准确率（如通过流量分析得出的“流量异常”表象往往有可能是由于网元设备错误策略配置等内在因素所诱发的），而且通过对网元设备的主动分析/调节还可较精确的定位异常流量来源并有效缓解其影响。如果是一个成熟的商业分析产品，更是应该能够通过这些分析过程自动生成设备接通率、设备性能趋势、设备故障、设备总流量、设备接通率、服务器存活率、线路连通率等日、周、月、季、年报表。特别存在异常流量，能够保证分析的速度特性，第一时间找到存在着ARP病毒湖综合蠕虫以及BT等等多种异常流量的数据流，这样就能防止破坏损失的进一步发展。

4 实现方式

实现上应该划分为收集器以及控制器等不同部分。前者通过流量收集，进一步达到特征提取/建模。而这个功能模块隶属于系统的低层，是系统面向网元设备的接口单元并进行数据上收和格式转换、特征提取等预处理操作；后者通过模式分析、策略响应来为机交互打下基础，属于用户层面。具体可以划分为如下模块：⑴流量流向分析：提供客户网络范围内的流量及成分统计、数据流向分析、信息热点排名等基础数据；⑵异常流量检测：可按照客户指定基线进行异常流量检测；⑶异常流量抑制：在异常流量检测服务的基础之上，系统将对检测到的异常流量进行自动干预；⑷异常流量净化：过滤网关之间按照指定接口协议进行交互，以获得过滤网关对被牵引流量的处理。

[参考文献]

[1]舒炎泰，王雷，张连芳，薛飞，金志刚.OliverYang.基于FARIMA模型的Internet网络业务预报[J].计算机学报，2001（01）.

[2]Marina Thottan，Chuanyi Ji.Statistical Detection of Enterprise Network Problems[J].Journal of Network and Systems Management，1999（1）.