引论：我们为您整理了13篇网络流量监测范文，供您借鉴以丰富您的创作。它们是您写作时的宝贵资源，期望它们能够激发您的创作灵感，让您的文章更具深度。
篇1
为了解决网络环境下管理系统和基础设施的协同工作以及管理集成问题，OASIS组织在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服务分布式管理(Web services distributed manage-ment，WSDM)标准，对Web Service管理提供标准化的支持，通过使用Web Service来实现对不同平台的管理。
WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准。所有描述都是通过Web服务描述语言进行的。WSDM标准实际上是由两个不同的标准组成的，WSDM-MUWS标准以及WS-DM-MOWS标准。
图1是WSDM的工作模式，可管理用户发现这个Web Service端点，然后，通过与端点交换消息，从而获取信息、定制事件以及控制与端点相关联的可管理资源。WSDM规范侧重于提供对可管理资源的访问。管理是资源的一个可能具有的特性，可管理资源的实现是通过Web Service端点提供一组管理功能。WSDM架构不限制可管理资源的实现策略，实现方式包括直接访问资源、用非方法、用管理等，实现细节对于管理消费者来说都是透明的。
WSDM作为一种功能强大的分布式系统集成解决方案，其主要特点如下：
(1)面向资源。WSDM的关注点是资源，因为一个资源就代表了多个Web服务，因此在该标准中，对资源属性和功能的详细描述显得尤为重要。为此，WSDM采用了专门的Web标准(如WS-Resource)对资源相关信息进行定义。
(2)实现分离。由于采用与实现操作无关的WSDL语言定义接口，使得接口与服务实现了分离，所以无论Web服务其内在实现细节如何改变都不会对客户端的操作方式有任何影响。这样做不但较好地封装了管理方法的实现细节，而且实现了对已有资源的重用。
(3)服务的可组合性。WSDM能随着应用环境规模的变化而变化，首先，WSDM标准的自身实现只需定义较少的属性和操作，使得其在小规模的系统中可以得到稳定的应用：其次，对于大规模应用环境而言，WSDM可以随着应用需求的变化灵活地添加某些服务。从而在使用者和部署人员之间起很好的协调作用。
(4)模型的兼容性。主要表现在WSDM能描述和封装任何资源模型(如cIM、SM-NP、SID等)，并为其提供相应的Web服务接口。
2 系统设计方案
网络流量采集使用了三种技术：
(1)基于网管设备MIB的SNMP模式；
(2)基于网络探针技术的IP流量数据捕获模式；
(3)基于NetFlow技术的数据流捕获模式。
针对基于SNMP模式，实现基于WSDM的SNMP网关，通过该网关收集SNMP设备上的MIB信息；针对基于网络探针技术模式，可实现基于WSDM的网络探针服务；针对基于NetFlow技术模式，流量数据是通过NetFlow的主动式数据推送机制获得的，网络设备中的NetFlow是通过规范的报文格式将流量数据送往指定主机，WSDM服务提供了接收和传输NetFlow流量数据的功能。
2.1 系统架构
流量监测系统结构可划分为三个层次，即资源层、管理服务层、展示层，如图2所示。
(1)资源层
资源层由提供流量采集服务的分布式流量采集器(WSDM Agent)组成，它们通过调用管理服务层的WSDM Agent注册服务实行自主注册，具备向管理服务层主动汇报、自主管理和主动服务等功能。
(2)管理服务层
管理服务层包括应用组件、服务组件、管理平台以及数据库。其中应用组件是对展示层提供支持的各种
管理服务，包括策略管理模块、WSDM Agent管理模块、流量数据管理模块以及流量分析模块等系统功能实现的模块。服务组件是对资源层的各种WSDMAgent资源的支持，包括安全审计、日志服务、异常服务、自主管理等，主要是管理服务器自主实现的一些功能。数据库部分是应用组件中各模块对应的数据存储。中间层的管理平台是管理服务层的核心，是对应用组件、服务组件以及数据库的支持，包括Web服务、WSDM服务的引擎和API等。
(3)展示层
展示层实现流量状态显示。可以从流量数据库中取得所要查询的网络流量历史信息，也可以调用管理服务层提供的服务触发流量信息更新采集实时的流量数据，还可以通过服务将合法用户的操作信息送到管理服务层。根据用户需求采用图形用户界面将流量态势分析的结果展示出来。可提供多种格式的流量报表。
2.2 流量分析系统设计
流量分析系统是整个流量监测系统的核心。如图3所示，该系统分为五个模块：流量采集模块、数据接收模块、数据传输模块、流量分析模块、数据存储与管理模块。对照流量监测系统架构，流量分析系统结构中的这五个功能模块分别位于总体架构的各个层次。
篇2
随着网络规模的日益扩大和网络结构的日益复杂，导致计算机网络管理的难度越来越大，相应的要求也变得越来越高。各种网络活动都离不开网络流量，网络流量作为网络用户活动的主要载体，发挥着较为重要的作用。通过监测分析网络流量，可以完成容量规划、链路状态监测、异常监测、网络性能分析等，对于计算机网络的维护和运行都能够发挥重要作用。如netcounter是一款简单易用的网络流量监控软件。它可以分别显示手机网络和wifi当天、本周、本月和所有时间的流量统计。本文就计算机网络管理中网络流量监测进行研究。
1 网络流量的特征
1.1 大部分TCP会话是短期的。对于TCP会话而言，超过90%的会话时间都不会超过几秒，交换数据量一般都在5-10K字节，很少有能够10K字节的。虽然远程登陆和文件传输之类的TCP会话是长期的，但是百分之八十多的WWW文档传输大小都是小于10K字节，而目前这种WWW文档传输大幅度增加，从而导致大部分TCP会话是短期的。
1.2 数据流是双向的，但通常是非对称的。对于计算机网络而言，大部分互联网应用都不采用单向交换，而是双向交换数据，所以，网络流量也自然都是双向的。但通常这两个方向的数据率存在很大的差异，主要原因就在于：网站到客户端的数据量会由于网站下载而比客户端到网站的数据量多。
1.3 网络通信量具有局域性。对于网络流量而言，一般都包括两种局域性，分别是空间局域性和时间局域性。用户通过互联网应用层来对网络进行访问，主要是在包的目的地址和时间上进行体现，从而显示出空间局域性（基于空间相关）和时间局域性（基于时间相关）。
1.4 包的到达过程不是泊松过程。按照传统的通信网络设计和排队理论都假设泊松过程就是包的到达过程，也就是说，包到达的间断时间的分布是独立的指数分布。
例如电话、交通事故、地震等事件都是独立地、按照一定的概率来发生的，这也就是泊松到达过程。但是根据近年来测量互联网络通信量的显示结果表明，泊松过程已经不再是包到达的过程。包的到达具有有突发性，在很多时候都会有多个包连续到达，包到达的间断时间不是独立分布的，同时也不服从指数分布。包的到达过程已经不能被泊松过程来精确描述。造成这样的原因部分在于数据传输所使用的协议。这种非泊松结构使得人们在研究网络的可靠性时不再采用简单的泊松模型，从而使得网络通信量模型的研究大大促进。
2 计算机网络管理中网络流量监测的方法
在深入了解互联网通信特性之后，我们在监测网络流量的时候就可以采取相应的技术措施。从目前的实践经验来看，计算机网络管理中网络流量监测的方法主要有两种，分别是被动测量和主动测量。
2.1 主动测量。主动测量的工作原理就是通过测量设备来测量端到端的网络流量和网络特征，进而了解被测网络当前提供数据传输的能力和具体的运行状态。在主动测量网络流量的过程中，网络测量系统应当由四个部分构成，分别是分析服务器、中心数据库、中心服务器、测量节点。
主动测量网络流量的最大优点就在于三个方面，分别是灵活性、可控性、主动性都较好，而且还能够直观地统计端到端的性能。但是主动测量网络流量的方法也存在着不足之处，那就是实际情况与我们所获得的结果存在着一定的偏差，主要原因在于主动测量是主动对网络注入流量。
2.2 被动监测。被动测量其监测原理是通过部署一定的网络设备和监测点来被动地获取网络流量的数据和相关信息，这是一种典型的分布式网络监测技术。被动监测恰恰弥补了主动监测的缺点和不足，它不会对原有网络流量进行改变，自然也就不会如主动监测一样造成这样大的偏差，实践也证明了这一点。但是被动监测也存在着自身的不足，主要就是它采集数据和相关信息是从单个点或设备进行的，这种实时采集的方式很有可能会泄露数据，也很难有效分析网络端对端的性能看，采集信息数据量过大，但是总的来说，被动测量的优点是占主导地位的，所以被动测量比主动测量应用更为广泛，正在被大量地应用在对网络流量分布进行分析和测量中。
3 网络流量监测技术的具体应用
3.1 为网络出口互联链路的设置提供决策支持。通过有效地分析网络出口流向和流量，能够有效地掌握网络内部用户对于网络的访问情况，从而可以有效的决策，减少互联链路中的浪费现象，有效地节约开支。同时，通过网络流量监测与分析，能够为各种网络优化措施，如路由选择、重要链路带宽设置、多出口流量负载均衡等提供正确的数据依据。
3.2 网络流量监测可以对网络运行商提供大客户统计分析和重要应用的统计分析。通过对这些流量进行统计分析，可以有效地分析网络带宽成本，有助于在网络成本和网络服务质量二者之间取得最佳平衡点，既让大客户满意，又能够让网络运行商有较好的盈利。同时，通过监控分析大客户接入电路上的流量，能够有效地统计出通信数据量、通信时间、服务等级、业务类型等多个参数，为基于服务等级协议（SLA）和IP的计费应用的校验服务提供正确的数据依据。
3.3 通过对各个分支网络出入流量的监控，分析流量的大小、方向及内容组成，了解各分支网络占用带宽的情况，从而反映其占用的网络成本，作出价值评估。
3.4 掌握网络内部用户对其他运营商的网络访问情况。通过监控网络内部用户对其他运营商的网络访问情况，可以有效地掌握用户对于那些网站有兴趣，也可以准确地分析网络内部用户访问外网主要流量方向及业务特点，根据分析结果来有的放矢，找到广大网络用户感兴趣的热点信息，然后对自己的网络内容进行相应的补充和建设，减轻用户流失。同时，长期监控一些特定网络流量，有助于网络流量模型被网络管理人员所了解、所掌握，网络管理人员可以通过所掌握的基准数据来对网络使用状况进行正确的分析，在网络安全存在隐患的时候就能够及时异常警讯，采取相应的防御措施，从而使得整个网络的整体效能和整体质量都得到大幅度的提升。
4 结语
篇3
文献标识码：A
文章编号：1007-3973（2012）003-075-02
1 WinPcap的功能
Winpcap(windows packet capture)是Windows平台下一个免费的SDK，它为win32应用程序提供访问网络底层的能力。Winpcap不能阻塞、过滤或控制其他应用程序数据报的发收，它仅仅只是监听共享网络上传送的数据报。
它提供了以下的各项功能：
(1)捕获原始数据报，包括在共享网络上各主机发送/接收的以及相互之间交换的数据报；
(2)在数据报发往应用程序之前，按照自定义的规则将某些特殊的数据报过滤掉；
(3)在网络上发送原始的数据报；
(4)收集网络通信过程中的统计信息。
2 WPcap.dll
动态链接库wpcap.dll。它也是提供给开发者的API，它输出一组与系统有关的函数，用来捕获和分析网络流量。
3 主要设计与开发的内容
本系统实现的功能主要实现网络流量监测与统计分析。在用户方面，该系统实现了计算网络流量与网络协议分析等具体功能；在整个项目方面，该系统作为网络异常告警与智能分析的基础模块。
流量监测是以图形的方式实时显示出流量的大小。
流量统计分析包括ARP数据包统计、TCP数据包统计、UDP数据统计、ICMP数据包统计、广播数据包统计等。包括的子项有：
(1)每个数据包的时间、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口号、数据包大小。
(2)统计一段时间内某种协议的数据包个数及总大小。
(3)按源IP和目的IP统计某个IP地址到另一个目的IP的某种协议的数据包时间、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口号、大小。
(4)按源IP或者目的IP统计某个IP地址的某种协议的数据包总大小及总大小。
4 总体设计方案
整个软件分为三个子模块。三个模块为：数据包统计分析模块、流量监测模块、用户模块(界面模块)。
统计分析模块主要基于WinPcap捕包原理，通过截获整个网络的所有信息流量，根据信息源主机，目标主机，服务协议端口等信息按照ARP、TCP、UDP、ICMP、广播协议过滤分析、统计。
本模块要将网络中各种层次中的协议进行对比分析，对已知数据字段进行分析，这种分析是逐层进行的。因为数据包的结构都是自顶向下层层的添加数据包头，而且每层的包头都有固定的长度，所以根据特定位置来判断协议类型也就变得简单。在本系统中，采用的是网络中的OSI标准，即网络的七层结构。
流量监测是流量的短期分析。该模块主要实现如下功能：网络总流量的实时查看，网络输出流量的实时查看，网络输入流量的实时查看。
用户模块（界面模块）本系统主要采用Visual studio 2008平台来设计用户界面，使其界面与Windows保持最大的一致。
5 统计分析模块详细设计
编写WinPcap应用程序首先获得主机的所有网卡。WinPcap用函数pcap_findalldevs()来实现，该函数返回一个pcap_if的链表，链表中包含了每一个网卡的详细信息。
打开设备的函数是pcap_open()，它有三个参数snaplen、flags和to_ms。snaplen参数用来制定捕获包的特定部分。如果网卡设置成混杂模式，Winpcap能获得其他主机的数据包。to_ms 参数指定读数据的超时控制，超时以毫秒计算。当在超时时间内网卡上没有数据到来时，对网卡的读操作将返回。
当设备被打开，调用函数pcap_dispatch()来捕获数据包。pcap_dispatch()可以不被阻塞。这个函数都有返回的参数，一个指向某个函数的指针，Libpcap调用该函数对每个从网上到来的数据包进行处理和接收数据包。另一个参数带有时间戳和数据包长度等信息，最后一个是含有所有协议头部数据包的实际数据。MAC的冗余校验码一般不出现，因为当一个帧到达并被确认后网卡就将它删除。
当对网络数据包的分析的时候，必须先分析链路层，其次分析网络层，之后是传输层，最后分析应用层。
由于本程序只分析以太网的协议，所以去掉以太网协议的部分，剩下的就是IP协议的数据；IP协议部分包括 TCP和UDP协议的数据包；之后分析TCP和UDP等传输层的协议，将传输层协议部分舍去，留下来的是应用层协议；最后解析应用层协议。
基于以太网协议内容的进行分析，判断以太网类型的值：如果是0x0806，表示ARP协议，则分析ARP协议；如果是0x0800，表示协议为IP协议，则分析IP协议,在分析IP协议时，根据协议类型的值判断传输层协议类型：如果IP协议类型字段的值是6，表示协议为TCP协议，则分析TCP协议。
统计分析模块将分为五个功能的详细设计分别是ARP数据包统计、TCP数据包统计、UDP数据统计、ICMP数据包统计、广播数据包统计。
6 流量监测模块详细设计
网络流量监测的思想是：对流入和流出网卡的数据包进行检测并对数据包的长度进行累加，从而得到流量数据。由于Windows NT/2000/XP/7提供了一个系统性能的接口（注册表），所以需要做的就是访问这个接口，得到数据流量。
具体实现通过PDH和读取注册表中的系统性能数据来实现流量的监测模块。PDH是英文Performance Data Helper的缩写。随着PDH逐渐成熟，为了使该数据库的使用变得容易，Microsoft开发了一组Performance Data的API函数，包含在PDH.DLL文件中。使用PDH API基本上包括5个步骤。
创建一个查询；向查询中添加计数器；搜集性能数据；处理性能数据；关闭查询。
在本系统中将采用查询注册表的方式完成PD的查询。本系统中用到了一个注册表函数RegQueryValueEx，该函数根据一个开放的注册表键值和一个具体的名字值查找相关的类型和数据。
参考文献：
[1] 刘敏,过晓冰,伍卫国,等.针对网络扫描的监测系统[J].计算机工程,2002,28(2):77-78.省略/Class/winpcap/index.html.
篇4
随着电力行业的改革深入，行业竞争的日益激烈，如何在最短的时间里，以最好的服务质量、最低的服务成本提供给用户服务是电力行业企业信息化要实现的目标。在面对当前业务飞速发展、新服务不断出现和客户需求日益提高的情况下，网络系统的运维管理面临着很大的挑战：业务子系统复杂，故障查找难度大，网络时而缓慢，对网络业务的可视性、可控性降低。因此，建立一个网络流量分析系统十分重要【1】。
随着电力企业信息化的不断深入发展,信息化网络的规模越来越大, 网络应用也越来越广泛，对网络带宽资源、业务流量、用户访问量等方面都缺乏可见性和可控性。为了更好地管理网络运行状态,提高公司信息化网络的业务管理效率，降低运营成本，需要对信息网络从“流量”这个根本因素出发,进行精细化的监控管理。为整个网络的高效运行维护提供一个高可用性的管理平台，加强信息网络的业务优势，提高员工使用的满意度，本文就信息网络流量监测系统在电力企业的应用进行探讨。
2.网络流量监测系统在电力行业中的使用背景
2.1 使用网络流量监测系统的必要性
随着信息化技术在电力行业IT网络系统中的广泛运用，大量的网络流量产生，如何对网络流量进行有效管理，保障关键业务的正常运行，提高网络传输效率、可靠性、稳定性，以及安全性等，对电力企业整个计算机信息网络的IT环境健康、和谐的运营是至关重要的。
对电力网络进行全网流量流向分析，多维度地展现业务流量分布情况和网络带宽资源的使用情况，了解网络不同属性流量分布，预测流量变化趋势，找出网络瓶颈，为网络规划、优化调整提供基础依据；对网络应用进行深入分析，可以清晰地掌握网络的应用行为，为设计实施更好的用户服务及产品提供了可靠的基层数据【2】。
网络流量监测系统可以提供基于电力行业业务应用（包括ERP、售电、生产管理、协同办公、邮件等系统的应用流量、SCADM/EMS、DTS、DMIS等电力调度系统的应用流量、基于SG186系统及其各关键业务子系统的应用流量）的分析；提供基于电力网络的用户分析；提供基于电力网络的访问行为分析；以及提供基于电力网络的异常流量监控分析。
2.2 网络流量监测系统的目标
电力企业信息网中部署流量监测分析管理系统，通过全网流量实时监测，对网络设备性能状态、吞吐量、带宽资源利用率、异常流量监控预警、业务应用流向分布等进行精细化的运维管理；提供全面的网络流量可视化、量化的运行数据报告；提供网络异常流量的监控分析，减少网络故障诊断、异常侦测分析的难度和时间；优化网络，减少因网络拥塞或异常而发生的延迟、中断，保障网络的运行效率。整体地提高信息网络的可靠性和可用性。
通过使用网络流量监测系统掌握网络流量的特性、了解用户的网络行为；透视网络流量状态，分析用户行为；量化网络承载能力，为网络服务优化提供辅助决策依据；检测分析异常流量，提升网络服务安全性。
使用流量分析管理系统，可以实现基于业务的流量流向和流量成分的分析性能，分析总体业务发展趋势和访问行为，为网络瓶颈排除和性能优化提供依据；可以对网络资源的使用情况进行精细化管理，避免因为资源使用过度或使用状况不明所导致的网络服务质量下降；可以实现性能统计和性能趋势分析，提供灵活的报表功能，提高网络运行维护水平；可以提供多样的历史资料条件查询和统计分析，便于指导网络的规划和资源优化，为网络业务发展提供数据依据；实现网络的统一调配【3】。可以加强网络的流量安全防范，建立系统化的流量管理体系，提高网络访问质量，增强用户的自御能力。
3.网络流量监测系统的性能
3.1全网流量流向分析
网络流量监测系统采用独立的硬件结构，独自完成流量的采集、过滤、分析和数据的存储。支持基于源IP、目的IP、源端口、目的端口进行详细流量查询；用户可以自定义特定子网范围，进行临时及长期的精确流量监控；通过NetFlow接收网络流量数据，同时结合SNMP协议对网络设备运行提供全面监控、分析；能监测端到端的网络流量；能够看到网络设备接口通断状态。
网络流量监测系统通过对全网流量流向分析，可以同时接受多种网络设备的NetFlow数据，并支持实时转发流量数据，使用者根据要求快速扩展并进行综合性的统计分析；具备流量排序功能，可做流量累积统计或实时流量分析，流量排序支持自动设定，可按时自动生成TOP N排序报表；通过集中分析管理系统对网络中流量情况进行汇总，定义监控对象时，用户可以定义源目的地址，传输协议，源目的端口，源目的AS，路由器物理端口等条件实现全网关联的关联性流量分析，满足对全网流量状况的整体把握。
3.2 异常流量分析
篇5
1 引言
IP网络具有体系架构开放、信息共享灵活等优点，但是因其系统开放也极易遭受各种网络攻击的入侵。网络异常流量检测属于入侵检测方法的一种，它通过统计发现网络流量偏离正常行为的情形，及时检测发现网络中出现的攻击行为，为网络安全防护提供保障。在网络异常流量检测方法中，基于统计分析的检测方法通过分析网络参数生成网络正常行为轮廓，然后度量比较网络当前主体行为与正常行为轮廓的偏离程度，根据决策规则判定网络中是否存在异常流量，具有统计合理全面、检测准确率高等优点。基于相对熵的异常检测方法属于非参数统计分析方法，在检测过程中无须数据源的先验知识，可对样本分布特征进行假设检验，可在缺乏历史流量数据的情况下实现对网络异常行为的检测与发现。本文系统研究了模糊相对熵理论在网络异常流量检测中的应用，并搭建模拟实验环境对基于模糊相对熵的网络异常流量检测方法进行了测试验证。
2 基于模糊相对熵的多测度网络异常流量检测方法
2.1 模糊相对熵的概念
相对熵（Relative Entropy）又称为K-L距离（Kullback-Leibler divergence），常被用作网络异常流量的检测方法。本文引入模糊相对熵的概念，假定可用来度量两个概率分布P={p1，p2，...，...，pn}和Q={q1，q2，...，...，qn}的差别，其中，P、Q是描述同一随机过程的两个过程分布，P、Q的模糊相对熵定义为：
S（P，Q）=[Pi ln+（1-pi）ln] （1）
上式中qi可以接近0或1，这会造成部分分式分母为零，因此对（1）式重新定义：
S'（P，Q）=[Pi ln+（1-pi）ln]（2）
模糊相对熵为两种模糊概率分布的偏差提供判断依据，值越小说明越一致，反之亦然。
2.2 多测度网络异常流量检测方法流程
基于模糊相对熵理论的多测度网络异常检测具体实施分为系统训练和实际检测两个阶段。系统训练阶段通过样本数据或监测网络正常状态流量获取测度的经验分布，实际检测阶段将实测数据获取的测度分布与正常测度分布计算模糊相对熵，并计算多个测度的加权模糊相对熵，根据阈值判定网络异常情况，方法流程如下：
Step1：获取网络特征正常流量的参数分布。通过样本数据或监测网络正常状态流量获取各测度的经验分布。
Step2：获取网络特征异常常流量的参数分布。对选取网络特征参数异常流量进行检测获取各种测度的概率分布。
Step3：依据公式（2）计算单测度正常流量和异常流量间模糊相对熵Si。
Step4：计算多测度加权模糊相对熵S。
S=α1S1+α2S2+…+αkSk （3）
式中αk表示第k个测度的权重系数，由测评数据集统计分析获得。
最终，根据S建立不同的等级阈值来表征网络异常情况。S越大，表示网络流量特征参数分布偏离正常状态越多，网络中出现异常流量的概率越大；S越小，表示网络流量特征参数分布与正常状态吻合度越好，网络中出现异常流量的概率越小。
3 测试验证
为测试方法的有效性，搭建如图1所示的实验环境，模拟接入层网络拓扑结构、流量类型和流量负载情况。测试环境流量按业务域类型分类，主要分为视频、语音、数据三种业务域，按每个业务单路带宽需求计算，总带宽需求约为2368kbps～3200kbps。
（1）检测系统接入交换机镜像端口，系统部署环境。
①硬件环境：Intel（R） Core（TM） 2 Duo CPU 2.00GHz，2.0G内存；②操作系统环境：Windows XP，.NET Framework 3.5；③数据库系统：Microsoft SQL Server 2005 9.00.1399.06 （Build 2600： Service Pack 3）。
测试环境交换机采用华为S3050C，用户主机接入点配置如表1所示。
测试网络正常流量状态方案配置。
①1号主机架设视频服务器模拟视频业务域，单路平均带宽需求2.59Mbps；②2、3号主机架设音频服务器模拟语音业务域，单路平均带宽需求128kbps；③4、5、6号主机采用应用层专用协议和传输UDP协议模拟发包程序模拟数据业务域，单路平均带宽需求64kbps。
按上述方案配置网络环境，交换机网络流量负载约为2.996Mbps。
3.1 测试用例设计
网络中的异常行为主要包括非法网络接入、合法用户的违规通信行为、网络攻击及未知的异常流量类型等，系统将其定义为四类：带宽占用、非法IP地址、非法IP会话、模糊相对熵异常四类异常事件，其中模糊相对熵异常可根据经验数据设定多个阈值等级。测试用例以网络正常流量为背景流量，根据测试目的添加异常流量事件。测试用例设计及实验测试过程如表2所示。
3.2 结果分析
测试用例持续监测网络两小时。根据模糊相对熵数据输出，绘制ROC曲线，检测率与误警率的关系如图2所示。通过ROC曲线，能够准确反映模糊相对熵异常流量检测方法检测率与误警率的关系。权衡检测率与误警率，选择合适的阈值。当模糊相对熵阈值设定为39.6时，系统检测率为84.36%，误警率为3.86%，表明检测系统对未知异常流量具有较好的检测效果。
4 结束语
基于模糊相对熵的网络异常流量检测方法可以在不具备网络历史流量信息的情况下，通过对网络流量特征进行假设检验，实现对网络异常行为的检测发现。实验测试结果表明，设定合理的模糊相对熵阈值，该方法的检测率可达84.36%。在下一步的工作中，将研究自学习式阈值设定方法，以及对模糊相对熵方法进一步优化，提升方法的准确性和效率。
参考文献
[1] 蒋建春，冯登国等.网络入侵检测原理与技术[M].北京： 国防工业出版社，2001.
[2] 蔡明，嵇海进.基于ISP网络的DDoS攻击防御方法研究[J].计算机工程与设计，2008， 29（7）：1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http：//unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.，2011-05-16.
[4] 张亚玲，韩照国，任姣霞.基于相对熵理论的多测度网络异常检测方法[J].计算机应用，2010， 30（7）：1771-1774.
[5] 李涵秋，马艳，雷磊.基于相对熵理论的网络Dos攻击检测方法[J].电讯技术， 2011， 51（3）：89-92.
[6] 张登银，廖建飞.基于相对熵理论网络流量异常检测方法[J].南京邮电大学学报（自然科学版），2012， 32（5）：26-31.
[7] 胡为，胡静涛.加权模糊相对熵在电机转子故障模糊识别中的应用[J].信息与控制，2009， 38（3）：326-331.
作者简介：
篇6
1大数据下网络异常流量检测方法研究
光纤网络利用光在玻璃纤维实现光波通信，大数据集成调度，然后通过交换机分配IP。光纤通信传输距离远，云计算环境通过波分复用技术使光强度变化，通信中受到干扰导致通信信道配置失衡，需要对云计算光纤网络大数据异常负载优化检测，提高网络通信的输出保真性[1]。云计算光纤网络中大数据异常负载检测模型研究需要提取大数据负载异常特征，实现异常负载检测。
2网络异常数据检测大数据分析平台
网络异常流量分为DDoS、NetworkScan等类型，异常流量类型可从目的IP地址、源IP地址、字节数等特征区分[2]。DDos异常流量可通过特征二四五七检测；NetworkScan异常流量可采用多个网络地址对主机端口扫描动作；FlashCrowd异常流量由异常用户对访问资源申请动作。本文以影响网络安全异常流量检测为研究内容，运用现有数据样本对建立检测模型训练，对训练后识别分析模型检验[3]。研究异常流量类型包括U2R攻击类型、Probing攻击类型等，需要对数据特征提取分析，对入侵事件进行分类[4]。应用多种入侵事件特征数据，包括离散不间断协议、离散常规行为、离散接点状态、不间断数据源到目标数据比特数、持续创建新文件个数等。为避免两种衡量标准相互干扰，需对离散数据采用连续化操作。云计算平台迅速占领市场，目前应用广泛的是Apache开源分布式平台Hadoop，Hadoop云计算平台由文件系统、分布式并行计算等部分组成[5]。MapReduce将传统数据处理任务分为多个任务，提高计算效率（见图1）。MapReduce编程核心内容是对Map函数进行特定动作定义，Map核心任务是对数据值读取，InputFormat类将输入样本转换为key/value对。发现tasktracker模块处于空闲状态，平台把相应数据Split分配到Map动作中，采用createRecordReader法读取数据信息，tasktracker处于工作状态程序进入等待。
3大数据分析模型
随着待处理数据规模剧增，单台计算机处理数据速度过于缓慢，云计算系统以Hadoop为平台基础，提高计算效率。基于Hadoop平台对网络异常流量操作，向平台提交网络流量检测请求，工程JAR包运行，通过JobClient指令把作业发送到JobTracker中，从HDFS中获取作业分类情况。JobTracker模块执行任务初始化操作，运用作业调度器可实现对任务调度动作。任务分配后进入Map阶段，所需数据在本地磁盘中进行存储，依靠计算机Java虚拟机执行实现JAR文件加载，TaskTracker对作业任务处理，需要对文件库网络流量特征测试，Map动作结果在本地计算机磁盘中存储。系统获得Map动作阶段计算结果后对网络流量分类，中间结果键值相同会与对应网络流量特征向量整合，ReduceTask模块对MapTask输出结果排序。Reduce动作完成后，操作者通过JobTracker模块获取任务运行结果参数，删除Map动作产生相应中间数据。BP神经网络用于建立网络流量检测模型，MapReduce平台具有高效计算优势，最优参数结果获得需多次反复计算优化，MapReduce平台单词不能实现神经网络计算任务，采用BP神经网络算法建立网络流量检测模型会加长计算时间。本文采用支持向量机算法建立网络流量检测模型。支持向量机以统计学理论为基础，达到经验风险最小目的，算法可实现从少数样本中获得最优统计规律。设定使用向量机泛化能力训练样本为（xi,yi），i=1，2，…，I，最优分类平面为wx+b=0，简化为s.t.yi（w⋅xi+b）-1≥0，求解问题最优决策函数f(x)=sgn[∑i=1lyiai(x⋅xi)+b]，支持向量SVM把样本x转化到特定高维空间H，对应最优决策函数处理为f(x)=sgn[∑i=1lyiaiK(x⋅xi)+b]。云计算Hadoop平台为建立网络异常流量检测模型提供便捷。MapReduce模型通过Reduce获得整体支持向量AIISVs，通过Reduce操作对SVs收集，测试操作流量先运用Map操作对测试数据子集计算，运用Reduce操作对分量结果Rs统计。
4仿真实验分析
为测试实现云计算光纤网络大数据异常负载检测应用性能，采用MATLAB7进行负载检测算法设计进行云计算光纤网络中大数据异常负载检测，数据样本长度为1024，网络传输信道均衡器阶数为24，迭代步长为0.01。采用时频分析法提取异常负载统计特征量进行大数据异常负载检测，重叠干扰得到有效抑制。采用不同方法进行负载异常检测，随着干扰信噪比增大，检测的准确性提高。所以设计的方法可以有效检测大数据中异常负载，并且输出误码率比传统方法降低。单机网络异常流量检测平台使用相同配置计算机，调取实测数据为检验训练源数据，选取典型异常流量200条数据样本用于测试训练。采用反馈率参量衡量方法好坏，表达式为precision=TP/FP+FN×100%，其中，FN为未识别动作A特征样本数量；TP为准确识别动作A特征样本数量；FP为错误识别动作A特征样本数量。提出检测方法平均准确率提高17.08%，具有较好检测性能。对提出网络异常流量检测方法进行检测耗时对比，使用提出网络异常流量检测方法耗时为常规方法的8.81%，由于使用检测方法建立在大数据云计算平台，将检测任务分配给多个子任务计算平台。使用KDDCUP99集中的数据进行网络异常流量检测分析，选取R2L攻击，Probing攻击异常流量数据用于检测分析，采用准确率参数衡量检测方法宏观评价网络流量检测识别方法：r=TP/FP+FN×100%。使用单机平台下SVM算法建立网络异常检测模型对比分析，本文研究检测模型平均识别率为68.5%，研究网络异常流量检测模型检测准确率提高28.3%。多次试验对比检测耗时，使用本文提出网络异常流量检测耗时较短。
【参考文献】
[1]林昕，吕峰，姜亚光，等.网络异常流量智能感知模型构建[J].工业技术创新，2021（3）：7-14.
[2]武海龙，武海艳.云计算光纤网络中大数据异常负载检测模型[J].激光杂志，2019（6）：207-211.
[3]农婷.大数据环境下的网络流量异常检测研究[J].科技风，2019（17）：84.
篇7
Modeling and forecast of wireless network traffic
based on combinatorial optimization theory
CHEN Huafeng1， 2， LIU Jianing3
（1. School of Information Science and Technology， Hainan Normal University， Haikou 571158， China；
2. College of Qionghai Distance Education， Hainan Open University， Qionghai 571400， China；
3. Information Network and Data Center， Hainan Normal University， Haikou 571100， China）
Abstract： Since the wireless network traffic is synthetically affected by the factors of online cost and online behavior， it has the characteristics of randomness and periodic variation. To solve the difficulty that the single model can′t describe the change characteristic comprehensively， a wireless network traffic prediction model based on combinatorial optimization theory is put forward. The autoregressive integral moving average model is used to build the proposed model to find out the periodic variation rule of the wireless network traffic， the relevance vector machine is used to establish the model to find out the random variation characteristics of the wireless network traffic， and then the two prediction results are combined to realize the single step and multi?step wireless network traffic prediction experiments. The results show that the proposed model can describe the characteristics of randomness and periodic variation， and its prediction accuracy is higher than that of the single autoregressive integral moving average model or correlation vector machine.
Keywords： wireless network； autoregressive integral moving average model； modeling and prediction； combinatorial optimization theory
0 引 言
随着无线网络应用的拓宽，无线网络用户急剧增加，无线网络流量大幅度增加，无线网络的有效管理变得十分重要[1]。无线网络流量的建模与预测可以帮助管理部门掌握人们的上网规律，提前掌握无线网络流量的变化趋势，因此建立高精度的预测模型具有重要的实际意义[2]。
最初人们采用多元线性回归模型对无线网络流量进行分析，建立无线网络流量的回归模型，并对将来无线网络流量值进行估计[3]，该模型基于无线网络流量呈线性增长的变化特点进行回归预测，对于小规模无线网络来说，预测精度高，而对于大规模、复杂无线网络流量，预测精度低[4?5]。随后有学者提出了采用自回归积分滑动平均模型（ARIMA）对无线网络流量进行分析，将无线网络流量历史值作为一个时间序列，找到数据之间的联系，实现无线网络流量的预测[6]，其与多元线性回归模型相似，不能反映无线网络流量的随机变化特性[7]。最近，有学者采用神经网络和支持向量机等对无线网络流量进行建模[8?10]，它们可以反映无线网络流量的随机性变化特点，但无法对无线网络流量的周期性变化特点进行描述，因此存在一定的局限性[11]。
针对无线网络流量复杂变化的特点，为了解决单一模型预测精度低的难题，提出基于组合优化理论的无线网络流量预测模型（ARIMA?RVM），首先采用自回归积分滑动平均模型进行建模，然后采用相关向量机进行建模，最后采用单步和多步预测实验分析其性能。
2 ARIMA?RVM的无线网络流量建模与预测
（1） 对一个无线网络系统进行分析，并采用网络流量采集设备得到一段时间内的流量变化值。
（2） 采用ARIMA对无线网络流量进行建模，对其周期性变化特点进行预测，并根据预测值与实际值估计ARIMA预测误差。
（3） ARIMA预测误差包含无线网络流量的随机性变化特点，因此采用RVM对ARIMA预测误差进行建模与预测，对无线网络流量的随机性变化特点进行描述。
（4） 将ARIMA与RVM的无线网络流量预测值组合在一起，得到无线网络流量的最终预测值。
综上所述可知，ARIMA?RVM的无线网络预测模型的工作框架如图1所示。
3 实验结果与分析
3.1 无线网络流量数据
采用某公司的无线网络系统、每小时的流量值作为实验对象，共得到500个样本，具体如图2所示，其中200个样本作为测试数据。无线网络流量预测结果的均方根误差（RMSE）和相对百分比误差（MAPE）定义为：
[RMSE=1nt=1nyt-yt2] （21）
[MAPE=1nt=1nyt-ytyt×100%] （22）
式中：[yt]和[yt]为真实值和估计值。
3.2 结果与分析
ARIMA?RVM，ARIMA以及RVM的无线网络流量的单步预测结果如图3所示。从图3的预测值与实际值的变化曲线可以发现，ARIMA可以描述无线网络流量的整体变化趋势，预测误差变化范围大，预测精度低；而RVM仅能描述无线网络流量的随机性变化特点，预测误差变化更大，预测结果没有一点实际应用价值；而ARIMA?RVM的预测值与真实值的变化趋势相同，预测误差十分小，预测精度要远远高于ARIMA，RVM，这主要是由于ARIMA?RVM集成了ARIMA，RVM的优势，可以对无线网络流量的周期性和非线性变化特点进行建模与预测，克服了单一ARIMA以及RVM的不足。
RMSE和MAPE的单步统计结果见表1。ARIMA?RVM的RMSE要小于ARIMA和RVM，同时MAPE也得到了降低，说明ARIMA?RVM的无线网络流量预测精度更高。
ARIMA?RVM，ARIMA以及RVM的无线网络流量的多步预测结果如图4所示。从图4可以发现ARIMA的多步预测值与实际值的误差很大，预测精度大幅度下降，同时RVM已经无法对无线网络流量变化特点进行预测。ARIMA?RVM的多步预测值与真实值的误差同样变大，但预测误差相对较小，完全可以满足无线网络流量误差低于10%的实际应用要求，比ARIMA，RVM的性能具有十分明显的优势，对比结果证明了ARIMA?RVM的多步无线网络流量预测的有效性，而且预测结果十分可信。
RMSE和MAPE的多步统计结果见表2。从多步预测结果的RMSE和MAPE可以发现，ARIMA?RVM的无线网络流量预测结果仍然优于ARIMA和RVM，主要是由于ARIMA?RVM可以对无线网络流量的随机性、周期性进行描述，而ARIMA和RVM仅只能描述其中的一种变化特点，无法建立性能优异的无线网络流量预测模型。
4 结 论
无线网络的规模大、结构复杂，而且影响因素众多，使得无线网络流量同时具有周期性变化规律和随机性变化的特点，而单一模型只能描述周期性变化点或者随机性变化特点，预测效果比较差。为了全面描述无线网络流量的变化趋势，提出基于ARIMA?RVM的无线网络流量预测模型，单步和多步的实验结果表明，ARIMA?RVM通过ARIMA预测无线网流量的周期性变化规律，从整体上把握无线网络流量的变化态势，采用RVM对无线网络流量的随机性进行描述，从细节上把握其变化特点，获得较高精度的无线网流量预测结果，具有广泛的应用前景。
参考文献
[1] NGUYEN T T， ARMITAGE G. A survey of techniques for Internet traffic classification using machine learning [J]. IEEE communications surveys and tutorials， 2008， 10（4）： 56?76.
[2] 姜明，吴春明，胡大民，等.网络流量预测中的时间序列模型比较研究[J].电子学报，2009，37（11）：2353?2358.
[3] 陈森，周峰.基于灰色系统理论的网络流量预测模型[J].统计与决策，2006（3）：59?60.
[4] 王俊松，高志伟.基于RBF神经网络的网络流量建模及预测[J].计算机工程与应用，2008，44（13）：6?11.
[5] 刘道文，忽海娜.基于网格搜索支持向量机的网络流量预测[J].计算机应用与软件，2012，29（11）：185?186.
[6] 张颖璐.基于遗传算法优化支持向量机的网络流量预测[J].计算机科学，2008，35（5）：177?180.
[7] 尹艳玲.基于自适应神经网络的网络流量预测研究[J].河南理工大学学报（自然科学版），2010，29（5）：700?704.
[8] 刘百芬，熊南.基于动态加权LS?SVM的网络流量混沌预测[J].电视技术，2013，37（7）：87?90.
[9] 初良勇，田质广，谢新连.组合预测模型在网络流量预测中的应用[J].大连海事大学学报，2004，30（4）：43?46.
[10] 孙建丰，向小东.基于灰色线性回归组合模型的网络流量预测研究[J].工业技术经济，2006，26（10）：146?148.
篇8
0 引言
目前，火焰检测大多是通过使用点式光电感烟探测技术来执行的。这些方法在大的，开放空间和有固定延时的情况下检测效果不好，这是因为燃烧粒子所到达传感器所用时间的影响。文仅使用像素的颜色信息最为特征来检测。文中的检测方法使用傅里叶描述符来描述火焰的边界。在文中，使用小波分析来解决FFT执行时窗口的选择问题。这种方法依赖于小波能量，寻找小波能量最低且对噪声是敏感的点。文中，作者提出一种系统，这种系统建模火焰像素作为一种固定空间像素小波系数的隐马尔科夫模型，这种固定空间像素是在三中状态之间变化的变量。此外，他们使用边界区域光滑作为分类变量。这两个属性相结合作为一个弱分类器。在文中非烟区域使用背景估计和颜色信息进行滤波。然后，计算Lucas-Ka-nade光流并且使用流的统计信息来训练神经网络。
这些方法有一个共同点，就是不试图区分类独立的像素。本文为了检测火焰和烟雾，同样不去使用独立的像素，以利于与火焰、火灾烟雾颜色相近的实物的区分。基于该主要研究目的，提出了基于最优质量传输光流法的检测算法，并结合神经网络，对火焰和烟雾进行检测。
1 分类器特征选择
目前大多数的检测方法都是基于启发式模型，这种模型描绘火或者烟的大约特征，但这往往不是最优的。一个最基本的方法是从描述烟或者火的训练数据中学习，训练一个分类器如神经网络等。训练和测试的原理如图1所示。
计算一个图像序列的光流，而不是简单的帧差，这允许考虑成像过程所期望的属性；接下来会讨论原因，基于最优质量传输的光流被计算用于火的分类，Horn-Schunck光流用于烟雾区域的分类。
图1（a）通过人工标记样本图像序列创建训练数据。样本含有时空像素邻域，这个邻域被标记是否含有火，烟或者二者都没有。通过系数矩阵有限差分求解器来计算最优质量传输光流。特征矢量是由含有R、G、B颜色通道和光流速度形成的，且特征矢量通过一个反向传播神经网络分类器进行分类处理。
图1（b）在一个新的视频帧中使用训练的分类器权重为每个像素邻域创建特征适量测试分类器。最终的输出含有每个像素类成员的概率（烟、火都没有）。
1.1 最优质量传输
最优质量传输问题起初是由Gaspar Monge在1781年提出的，且关注寻找将一堆土从一个地点移动到另一个地点最优的方式，其意义在于最小化传输成本。这个问题在Kantorovich研究中被给出一种数学构造，这就是熟知的Monge-Kantorovich问题。
我们现在给出Monge-Kantorovich问题的构造。令Ω0和Ω1是Rd的两个子域，拥有光滑的边界，每个有一个正的密度函数，分别是μ0和μ1。我们假设
这项总的相同质量是与Ω0和Ω1有关的。我们认为微分同胚映射u是从（Ω0，μ0）到（Ω1，μ1），微分同胚映射的意义是映射一个密度到其他的密度
（1）
也许有许多这样的映射，并且从某种意义上来说我们想要选择一种最优的。因此，定义LPKantorovich-Wasserstein度量标准如下：
（2）
（3）式中|Hω|表示ω的海森行列式。
因此，Kantorovich-Wasserstein度量定义两个质量密度的距离，通过考虑式（2）给出的公式计算从一个域到另一个域最便宜的方式，最优传输映射在p=2是情况下，是某一种函数的梯度。这个结果的新颖之处在于，它像平面上的Riemann映射理论，这个过程指出一个特定的偏爱几何学的映射。
1.2 光流法
光流是一种计算方法来计算在很短时间差内一组图像间运动。主要的思想是每个图像的灰度值在两帧图像间是不变的。这导出光流约束方程
（4）
（5）
注意方程（5）的一个潜在的假设是亮度恒定。在这种假设下，一个物体的亮度从一帧到另一帧是恒定的。这个假设适用于一个朗伯表面刚性物体但不是用于气体和液体材料。在计算机视觉中，这些通过所谓的动态纹理建模。烟和火的典型的动态纹理具有内在动态，所以不能通过标准光流方法来进行捕获。同时，烟/火区域流的速度比周围地区的速度快的多，通过公式（5）给出的模型可能又会产生很多错误结果。
这篇文章的目耸腔竦酶好的光流场模型用于火和烟雾检测。这样做的一个方法是基于在这些过程中物理属性的光流。一个简单的属性是火和烟大约使亮度守恒作为一个广义质量并且以文中的最优方法进行移动。因此，一个恰当的数学上的光约束不是强度守恒而且质量守恒或者亮度守恒。这个模型被写为
（6）
理由如下：
这意味着区域强度的总的变化率仅通过一个光流表示（边界上进入或者出去的）。这是一个守恒定律。但是通过散度定理
这是一个精确无穷小亮度（质量）守恒条件。
下面是前面部分的解释，本文提出了用于动态纹理分割的光流：
第一项是优化问题，代表移动图像的总质量，第二项是质量守恒光流方程。
2 神经网络分类分类器
烟雾检测可以抽象为两种模型，其检测结果由给定的像素决定属于有烟的情况或是无烟的情况。神经网络的最小二乘计算模型满足贝叶斯判别式。输出的结果是关于一个像素属于某一特定类的概率，因此决定像素属于有烟情况或是无烟情况的阈值是使用者根据其期望设定的。根据贝叶斯定理，多个事件的后验概率公式可以写成如下形式：
（8）
上式中的x由Ck类满足判别式yk（x，w）具有最大值时确定。如果x属于Ck则目标值tk（x）=l，否则都为零。神经网络每次输出的误差如下式所示：
（9）
当样本数量趋近无限大时，在文中可以看出，反向传播算法最小化下面的式（10）来缩小由神经网络来产生的误差
（10）式中的n代表类的数量。上式表明当数据点的数量趋近与无穷时，输出的结果的判别式等价于后验概率中）yk（x，ω）≈P（Ck|x）。因此，把x指定给类Ck，也就是映射具有最大值的判别式函数，相当于把x指定为具有最大后验概率的这个类。
根据贝叶斯原理，确定判别式的形式。后验概率如下式：
（11）
将文中ak=ln（p（x|Ck）p（Ck））的替换，式（11）也称为softmax函数。此式恰恰是神经网络使用的激励函数。
假设类的条件概率密度p（x|Ck）属于分布的限制指数族，则采用下面的形式：
（12）
将上式的密度代入式（11），得到的等式是关于ak（x）与x成线性关系：
（13）
因此，判别式采用激励函数的形式，当非线性函数φ（x）的线性组合为变量时如下：
（14）式中f（・）为激励函数。
在神经网络中的非线性函数组成了隐藏单元，这些非线性函数是根据具体情况选择的，而且它们是关于输入的线性组合的函数。
（15）其中h（・）是一个柔性最大值（softmax）函数。本文所使用的神经网络是完全被连接的，并且由一个含有20个隐藏单元的单隐层构成的，这个隐藏单元在隐藏层和输出使用softmax非线性。
3 实验结果
为了获得如下结果，只需要6帧图片来训练神经网络分类器。包括手动描绘的有火、无火、有烟和无烟的区域。样本的数量要小并且出自同一视频中。通过提供更多明显的样本，例如来自不同的视频资源的有用和没用的数据样本。可以使分类器检测更多的视频。
神经网络分类器的输出结果为每个像素的后验概率p（Ck|x），这里的类Ck指的是有火或烟和无火或烟，x是给定像素的特征向量，图2中显示了分类器的一个样本输出中一帧图像的所有像素。根据阈值可以选择像素的类，图2显示的是烟，图3显示的是火。
对图2所示的图片进行特征向量提取和相邻时空像素最优质量传输光流速度值计算，并提供给神经网络分类器。输出的每个像素的概率属于烟的类。如图2（b）所示，这种选择是根据阈值概率做出的。可见白烟是从白墙中区分出来的。
篇9
随着网络技术的迅猛发展，互联网[1]已经被运用到千家万户，实时以及多媒体的传播技术也在不断普及，网络流量将不断增加，这对于现阶段的网络管理、维护以及检测技术来说是一个不小的挑战。有挑战就存在一定的机遇，网络流量监控是网络管理中的一个重要组成部分，更是网络性能分析以及网络规划设计的根基，为网络管理者的网络实施运行提供了技术平台，并且能正确处理网络出现的异常问题。
1 基于SNMP流量的监测技术
近几年来，以NETFLOW以及SFLOW技术为代表的网络流量监测技术的运用凭借其准确、高效等优势在网络管理中颇受宠爱，但是其部署也存在一定的局限性，主要表现在以下几个方面：（1）该技术消耗网络设备资源。（2）在大中型网络中，该技术在每一个节点全面部署会产生大量的数据，如何高效便捷地处理这些数据对于网络管理来说至关重要。即使利用提高采样率来减少数据流量，但是随着采样率的不断上升，很多有价值的信息也会随之丢失。
综上所示，现阶段使用的NETFLOW以及SFLOW技术只适用于边缘路由器的单独部署。为了解决校园网方案中存在的一些问题，本文就提出了适用于校园区的网络流量监测系统，此方案使用基于SNMP技术，在现阶段的校园网络上能够较为廉价以及便捷地解决上述问题。
1.1 SNMP简介
SNMP的全称是简单网络管理协议，此协议是一种基于TCP/IP参考模型[2]的应用层互联网网络管理协议，能对于互联网中的各式各样的设备进行监控以及管理，它主要还包含了网络管理站以及被管的网络设备这两个部分。被管的设备端运行者称为设备的运用进程，其实现阶段对于被管设备的各种被管对象的信息，例如流量等的收集以及对于这些被管对象的访问支持。利用SNMP实现的网络管理一般包含：管理进程利用定时来向各个设备的设备进程发送可查询请求信息，，以便于跟踪每一个设备的状态。SNMP的作用是帮助网络管理员提升网络管理的主要性能，及时快速地发现并且解决网络问题以及规划网络的增长。网络管理员还可以利用SNMP接收网络节点的通知消息，来告警事件报告等来获知网络出现的问题。
1.2 流量数据的采集
为了达到网络流量的采集，设计了运用SNMP协议采集网络设备MIB的方法，程序以轮询的方式进行访问MIB相对应的叶节点。SNMP是由三个部分组成的，分别是管理者、以及MIB，其中被管设备一定要启动SNMP服务，管理者利用SNMP的相应操作通过获得以及设置MIB变量的参数值，此处涉及到的一个共同体名是客户进行提供的，与此同时，要能被服务器进程所识别的一个口令密码，也正是管理进程请求的权限标志。MIB变量有简单变量以及表格变量，对于简单变量的访问，通过对其对象标识符后面添加“0”来处理，利用get-request报文请求即可。
2 网络流量监测技术的现状及其发展趋势
根据现阶段的网络流量的采集方式可以将网络流量监测技术分为以下三个部分，分别是基于网络流量全镜像的检测技术、基于SNMP的监测技术以及基于NETFLOW的监测技术。
网络流量全镜像的监测：它是现阶段IDS主要使用的是网络流量采集模式，其工作原理是利用交换机等网络设备的端口镜像或者是通过分光器、网络探针等附加设备，实现了网络流量的无损复制以及镜像采集，该技术的主要特征是可以为管理者提供应用层的信息。
目前，网络流量监测技术正在朝着迅猛提升的方向发展，其技术以及产品也正在不断更新，也有朝着智能化发展的趋势，主要表现在：流量自主学习，为判断异样流量提供强有力的证据。
3 采集过程中需要考虑的问题
3.1时间间隔的正确选择
Cisco路由器[3]为IP Accounting Table 中建立了一个缓冲区，缺省设置为512行，如果超出了已经限定的行数，那么全新的数据就会丢失。所以，在采集数据的时候要选择正确合适的时间间隔。假如两次采集的时间间隔过长，就会使得数据库中的数据溢出，之前的数据就会被覆盖，最终造成数据的丢失；假如采集时间间隔过短的话，又会导致访问路由器以及写入的数据库过于频繁，最终造成整个系统的性能下降。
3.2 Trap技术的应用
假如在采集程序运行之前，计费信息就会超过路由器保留计费信息的缓冲区的大小，就会造成计费信息的丢失。为了防止此类情况的出现，我们就要运用SNMP中的事件驱动技术，也就是Trap技术。
3.3准确安全性的考虑
考虑到整个系统的健壮性能，设计方案就会引入主从式的设计，在整个系统中，引入一个从计费服务器作为主服务器的备份。从服务器上采集而来的数据过程是实时的，全天运行的。其系统要根据已经设定好的固定的时间间隔轮询路由器IPAccountingTable表的读写情况，假如表的更新时间超过设定的最大更新周期，就会出现主服务器发生故障的状况，根据服务器将进行数据的采集工作，为了防止数据的丢失。
本文利用分析了常见流量监控系统，提出了在校园中网络上运用SNMP协议实现在网络流量上的监控，本系统是架构于SNMP模式的管理者以及结构之上。此设计方案是在校园网上有较强的推广价值，也被广泛运用于其他网络管理功能模块的设计。
参考文献
篇10
篇11
1.在IP网络中采用网络性能监测技术,可以实现
1.1 合理规划和优化网络性能
为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。
1.2 基于流量的计费
现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。
1.3 网络应用状况监测与分析
了解网络的应用状况,对研究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,研究者可以据此研究新的协议与应用,网络提供者也可以据此更好的规划网络。
1.4 实时监测网络状况
针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和预测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决问题。
1.5 网络用户行为监测与分析
这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到:
1)某一段时间有多少用户在访问我的网络。
2)访问我的网络最多的用户是哪些。
3)这些用户停留了多长时间。
4)他们来自什么地方。
5)他们到过我的网络的哪些部分。
通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。
2.网络流量测量有5个要素:
测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。
2.1 连接性
连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。
2.2 延迟
对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步问题。
2.3 丢包率
为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。
2.4 带宽
带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。
2.5 流量参数
ITU-T提出两种流量参数作为参考:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量:用传输成功的IP包中总字节数除以时间间隔。
3.测量方法
Internet流量数据有三种形式:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络研究人员用来分析指定网络路径的流量行为。
3.1 主动测量
主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如Web Server的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。
3.2 被动测量
被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术遇到的另一个重要问题是目前提出的要求确保隐私和安全问题。
3.3 网络流量抽样测量技术
篇12
网络通信流量分析的目的是了解网络工况，及早发现可能存在的数据流量问题和应对措施。需明确的是，计算机网络通信的核心作用是传输数据，而网络流量的分析就是采集和分析计算机网络中传输的海量数据流，网络数据流的分析从计算机及传输相关的物理硬件底层的数据流到应用层的数据流分析，也称为网络通信协议分析。网络管理人员若想了解和管控好一个网络，其最重要的就是对网络的了解，所谓知己知彼，包括并不限于了解网络的拓扑结构、配置参数和设备类型等，但要保证网络通信的服务质量，这样的认知是还是远远不够。对网络通信流量的分析能使网管更深入地了解计算机网络，包括计算机网络运行规律、网络运行模式和用户的上网行为。
2网络异常的行为
计算机网络异常的发现是建立在充分认知和网络阀值为基础的，一旦网络流量突破了网管人员预设的网络流量阀值，就需要通过发现、询因、流控等技术手段，以防止网络流量的无限暴增，进而能为网络通信保持一定的高性能运行提供重要的保障。通常的网络异常情况如下：(1)网络运行异常：网络中流量的异常，包括资源利用率、数据包数的异常。(2)网络应用异常：进程连接数量、用户应用响应、应用程序流量的异常，都能通过长期的主动分析来及时预警和发现。(3)用户的异常上网行为：异常的上网行为也有鲜明的流量特征，如被蠕虫病毒感染、不知情的情况下安装了后门程序等，长期的数据流量分析能及时发现上网用户的这些异常网络行为，如何及时发现网络用户的异常上网行为是解决其影响网络正常高效运行的关键。
二建立机器学习的计算机网络通信流量分析
模型计算机网络流量的突变性、弱耦合性和影响的非线性等特性，对传统计算机网络通信理论提出了新的挑战，导致对网络流量和协议概率分布的准确建模变得异常困难。
1模型拟解决的问题
针对计算机网络通信流量分析的特点，提出了一个基于机器学习的计算机网络通信的流量分析概念模型。提出该模型的真正目的在于：最大限度地利用获得的流量数据和网管人员的监测信息，自动完成流量分析的各个任务，自适应各种上层应用及对网络的性能优化。同时，模型通过计算机主动学习，指导主动式监测的进行。从通信流量分析的具体任务而言，如果已经较好地获得了数据流量的概率分布特性，有两个基本的问题：（1）正常情况，计算机监控程序能否利用已得到的概率统计特性来预测可能发生未知的数据流量情况；（2）数据流量的特性突变之时，计算机监控程序能否快速、有效地发现这种流量突变。这分别对应于网络数据流量预测和异常网络数据流量检测，可以通过具有自学习能力的计算机程序自动实现上述预测和检测。
2机器学习的概念
模型所谓机器学习的本质是计算机程序的性能随着经验的累积能自我完善。恰当选择计算机的机器学习算法，可最大限度地使用上述经验和监测信息，从而完成流量分析各任务的自动化处理，并根据应用环境对网络的性能进行优化。为此，机器算法是处理上述问题的理想选择。首先给出基于机器学习的网络流量分析模型，接着从机器学习的角度，阐明基于改进Boosting的机器学习算法。机器学习的本质是将人类的经验积累和长期的监测到的统计数据通过计算机程序以自动提高其性能，根据计算机通信网络分析的一般流程，提出机器学习模型。此类模型利用网络监测算法测量获得的流量数据，然后利用机器学习的方法，自动完成流量分析的各项作业任务，支持各种上层应用对网络的性能优化。当网络管理人的监督信息可以获得的时候，该数据信息可以作为机器学习算法的储备和先验知识，结合人类的智慧以进一步提高算法的性能，如此往复，循环提升，不断提高系统的数据流量分智能。
3改进Boosting算法
改进Boosting算法是一类使得学习算法的性能得以提高的学习策略。基于Boosting的学习算法的思路：找到许多简单粗略的判断准则要比找到一条非常准确的准则容易得多。通过不断调用这种算法，每次用训练样本的不同子集对它进行训练，循环多次后，这些准则就会结合成一条基本学习规则。
篇13
随着校园网的发展，网络管理已成为数字校园信息化建设中的重要一环，作为网络管理和维护人员首要任务就是随时了解网络的运行状况，对网络的运行状况进行流量监控和流量分析，是整个网络合理化的重要环节，它能在最短的时间内发现安全威胁，在第一时间进行分析，通过流量分析来确定异常并发出预警，快速采取相应措施[1]。因此，为了更好地管理校园网络，需引进专业的的网络监测软件cacti，对校园网络进行实时监控。
1 Cacti架构及功能
Cacti架构Cacti系统由五个部分组成，如图1所示。
包括数据定时采集、图像绘画与显示、树状的主机和图像管理、RRDTool信息管理、用户和权限管理和模板导入导出。定时采集数据：Cacti会定时运行，使用“snmpget”命令或脚本执行的方式进行数据的采集；存储数据：使用RRDTool的“update”命令将采集到的数据储存到rrd文件中；用户查看某台设备的流量：在Cacti的PHP页面上点击该设备，Cacti在数据库中寻找该设备对应的rrd文件名称。Cacti运行命令让RRDTool进行绘图。
2 Cacti在网络流量监控的应用
Cacti是一种开源式监控软件，它是通过SNMP抓取所监控的数据，把相关数据存储到RRDtool绘画引擎中，分布式的管理模式使得Cacti能够同时监控各个节点的数据信息。下面以学生区域的网络流量监控图，分析研究Cacti在网络流量监控的作用。
从图1中我们可以看出，每天上午的流量波动在7∶00左右被检测到，学生白天上网高峰出现在10：00～14：00左右，从8：00～23：30网络流量呈现一种上升的趋势，21：30～23：00左右达到最高值。这与我们学校的作息时间有关。学校每天早上7∶00来网，8：00上课。10：00一、二节课下课，部分同学回宿舍上网，至下午14：30上课期间，达到一个上网小高峰，下午18：00左右至23：00左右上是上网的高峰时期，23：00至次日7点监测到的流量几乎为零，是因为学校为了不影响学生休息和第二天的学习，每天23：00准时断网，Cacti的监测图准确地反映了实际网络状况。
从图3我们看出每周流入流出的大体趋势相差不大，总体的流量走势处于正常。从每天的流量波动趋势大体相差不大。周五至周日流量比平时稍多，反映了休息日学生上网人数增加，是学生利用休息日来放松自己，上上网，听听音乐，玩玩游戏等。但是，周四的下午6：00左右出现过短时间的断网事故，我们可以清晰地观测到在Cacti监控图上，周四中间地段出现流量异常剧降为零，然后迅速恢复的过程。正是由于Cacti的直观性，分布式管理的优势使得我们能够迅速的找到问题所在，快速使网络恢复正常。
通过以上实时监测表明，Cacti能够很直观的反应出流量的分布情况，可以很直观的发现异常的流量波动，进而对于网络故障做出快速反应，及时排除，恢复网络正常。是校园网有效管理和监测的重要手段之一。
3 结论
校园网络的流量监控是网络管理中的重要内容，Cacti对网络监控提供了一个直观可行的方案，我们通过它非常迅速的了解网络各个部分的流量情况，第一时间发现网络中的异常流量，及时发现黑客和病毒的攻击，并能根据各网络设备端口的使用情况对网络进行合理划分，大大提高网络的安全和运行效率，同时该系统实现了网络状态的图像化显示、故障报警、监测数据存储、温度湿度传感器信息采集等功能。使用该软件进行网络管理具有通用性高，通知及时，成本低，直观；非常适合校园网使用。
