時間:2023-01-02 22:45:02
導言:作為寫作愛好者,不可錯過為您精心挑選的10篇網絡流量監(jiān)測,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內容能為您提供靈感和參考。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網絡流量的特征
(一)數據流是雙向的,但通常是非對稱的
互聯(lián)網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。
(二)大部分TCP會話是短期的
超過90%的TCP會話交換的數據量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產生了決定性的影響。
(三)包的到達過程不是泊松過程
大部分傳統(tǒng)的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯(lián)網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達,即包的到達是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。
(四)網絡通信量具有局域性
互聯(lián)網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯(lián)網的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。
二、網絡流量的測量
網絡流量的測量是人們研究互聯(lián)網絡的一個工具,通過采集和分析互聯(lián)網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協(xié)議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯(lián)網流量的測量可以為網絡管理者提供詳細的信息以幫助發(fā)現(xiàn)和解決問題。互聯(lián)網流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制?;谲浖臏y量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。
(二)主動測量和被動測量
被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。
(三)在線分析和離線分析
有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線地顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。
(四)協(xié)議級分類
對于不同的協(xié)議,例如以太網(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。
三、網絡流量的監(jiān)測技術
根據對網絡流量的采集方式可將網絡流量監(jiān)測技術分為:基于網絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。
(一)基于網絡流量全鏡像的監(jiān)測技術
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現(xiàn)網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。
(二)基于Netflow的流量監(jiān)測技術
Netflow流量信息采集是基于網絡設備提供的Netflow機制實現(xiàn)的網絡流量信息采集。
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2011)31-0000-0c
Application of WinPcap in the Network Traffic Monitoring
ZHANG Xue-jun,XU Yuan
(Internet of Things Department of Jiangnan University, Wuxi 214122, China)
Abstract: Introduction of computer network traffic monitoring technology and flow monitoring methods, the main study the WinPcap packet capture system structure and its main function, based on the WinPcap packet capture system with simple structure, fast data capture, protocol recognition rate, etc., which of the three modules complement each other to achieve the basic functions of data acquisition network, describes the network based on WinPcap packet capture and analysis methods and the main steps.
Key words: WinpCap; network traffic monitoring system; packet capture
目前互聯(lián)網已經非常普及,有關網絡的應用也越來越多,從瀏覽網頁和收發(fā)郵件,到打游戲,聊天,看電影,聽音樂,打電話包羅萬象。電視網和電話網能夠做的事情,現(xiàn)在寬帶網也能夠做到了,同時寬帶網還能夠做電視網,電話網以外的許多事情。而這一切,都是靠信息在網絡上的流動來實現(xiàn)的。汽車在馬路上跑,常常會引起交通堵塞以及不遵守交通規(guī)則等現(xiàn)象,因此需要交通部門來實時監(jiān)測道路情況和處理突發(fā)事件。同樣網絡流量也需要監(jiān)測和控制,通過監(jiān)控可以對網絡狀態(tài)進行合理調節(jié)或配置、保證網絡高效運行、提高網絡資源的利用效率、也可以用于對網絡用戶行為和網絡業(yè)務的分析。網絡流量監(jiān)測是網絡管理的重要組成部分,而數據報捕獲又是網絡流量監(jiān)測的前提。
1 流量監(jiān)測與分析技術概述
1.1 網絡流量監(jiān)測
網絡流量指通過網絡的數據量,是衡量網絡性能的重要參數。網絡監(jiān)測就是通過一定的方法獲取網絡流量數據,而這些流量數據的采集是進一步分析網絡負載性能以及網絡的安全性的前提。網絡流量的監(jiān)測是網絡測量中的重要技術之一,網絡流量監(jiān)測系統(tǒng)大致上可以分為流量采集、流量分析和流量控制三個方面。
1.2 流量監(jiān)測分析的方法及分類
流量監(jiān)測系統(tǒng)通常是根據對網絡流量某個特定方面的分析來設計的,正是由于需要分析的內容不同,就產生了各種網絡流量監(jiān)測方法,這些方法主要分為基于主機內嵌軟件的方法、基于SNMP的流量監(jiān)測方法、基于Netflow的流量監(jiān)測方法、基于硬件探針的監(jiān)測方法等。
1.2.1 基于主機內嵌軟件的方法
主機內嵌軟件的方法是指在主機內安裝流量檢測軟件來完成流量檢測任務。主機操作系統(tǒng)中,一般會把網絡通信功能功能實現(xiàn)在相對獨立的軟件模塊 ,例如設備驅動程序中。主機與網絡的通信一般是通過對調用軟件套接字Socket來實現(xiàn)。因此在這個位置上嵌入一個軟件就可以通過檢測對通信模塊的調用來截獲往返通信的主要內容,目前有許多軟件實現(xiàn)這一功能。Windows 操作系統(tǒng)下的檢測軟件WinPcap,實現(xiàn)了基本的報文截獲功能,可自由下載使用,成為了許多流量監(jiān)測軟件的基本組成部分。
1.2.2 基于SNMP的流量監(jiān)測方法
SNMP用于對網絡設備的管理,幾乎所有的網絡設備都具備該能力,基于SNMP的流量信息采集方法,實質上是用軟件提取存儲在網絡設備上的流量信息,該方法配置簡單,成本較低,基于SNMP收集的網絡流量信息只包括字節(jié)數、報文數等基本的流量信息,不能滿足復雜的流量監(jiān)測要求。
1.2.3 基于Netflow的流量監(jiān)測方法
Netflow是Cisco公司提出的專業(yè)的流量監(jiān)測的技術標準,主要運行在該公司生產的網絡設備上,與基于SNMP的流量監(jiān)測方法相比,該方法能夠滿足復雜的流量監(jiān)測需要,目前應用最普遍的是NetFlowV5。
1.2.4 基于硬件探針的監(jiān)測方法
硬件探針是一種用來獲取網絡流量的硬件設備,使用時將它連接在需要捕捉流量的鏈路中,通過分流鏈路上的數字信號而獲取流量信息。 一個硬件探針通常只能監(jiān)視一條鏈路。而對于全網流量的監(jiān)測使用NetFlow更為合適。與其他的3種方式相比,基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。
2 WinPcap包截獲系統(tǒng)
數據包的截獲是流量監(jiān)測系統(tǒng)中流量采集的主要技術.在大多數Unix系統(tǒng)的內核模塊本身就是截獲數據包的機制。而在Windows平臺下,系統(tǒng)提供很少的數據包捕獲接口,而提供的具有包截獲功能的API,也只能截獲IP數據包,很少能直接獲取數據鏈路層上數據幀。WinPcap是基于Win32平臺的開放源代碼網絡數據包截獲和分析的系統(tǒng)。它彌補了Windows內核在包捕獲方面的不足,該系統(tǒng)性能穩(wěn)定而且效率極高,利用它提供的豐富且功能強大的網絡數據包處理函數,可以滿足對數據包處理有嚴格要求的多數應用。
2.1 WinPcap的體系結構
WinPcap是由意大利人Fulvio Risso和Loris Degioanni等人提出的。是為Linux下的Libcap移植到Windows下而設計的,它的主要思想來源于Unix系統(tǒng)中最著名的伯克利軟件套件(Berkeley software Distribution,BSD)架構,WinPcap的基本結構如圖a所示。它由處于內核級的網絡組包過濾器(Netgroup Packet Filter,NPF)、處于用戶級的動態(tài)鏈接庫(Packet.dll)和高級動態(tài)鏈接庫Wpcap.dll等3個模塊組成。
1) 網絡組包過濾器。它是WinPcap架構的核心,屬于最底層的模塊,它與NIC驅動交互,并向上提供一些函數組,從而能在讀取和寫入網絡數據包。它能獲取原始以太網數據包,并進行相應的過濾,然后傳給高層的應用程序處理。NPF有著高效和處理迅速兩大特點,在流量很大的網絡中也能正常高效的工作。
2) 低級動態(tài)鏈接庫。Packet.dll為Win32平臺上為數據包驅動程序提供了一個公共的接口。不同的Windows版本在用戶態(tài)和內核態(tài)之間提供互不相同的接口,而Packet.dll可以屏蔽這些接口區(qū)別,提供一個與系統(tǒng)無關的API,該API能夠直接訪問NPF驅動程序?;赑acket.dll開發(fā)的數據包截獲程序可以不作任何修改運行于不同的Win32平臺。Packet.dll具有如獲取適配器名稱、動態(tài)驅動器加載以及獲得主機掩碼及以太網沖突次數等附加功能。
3) 高級動態(tài)鏈接庫。Wpcap.dll與Packet.dll不同,它處于更高層,且與操作系統(tǒng)無關,是對Packet.dll的高層封裝。它和應用程序鏈接在一起,提供了一組功能強大且跨平臺的函數,利用這些函數,可以不去關心適配器和操作系統(tǒng)的類型。Wpcap.dll含有諸如產生過濾器、定義用戶級緩沖以及包注入等高級功能。編程人員既可以使用包含在Packet.dll中的低級函數直接進入內核級調用,也可以使用Wpcap.dll提供的高級函數調用,這樣功能更強,使用也更為方便。Wpcap.dll的函數調用會自動調用Pactet.dll中的低級函數,并且可能被轉換成若干個NPF系統(tǒng)調用。
圖1
2.2 WinPcap的主要功能
在WinPcap包截獲系統(tǒng)中,整個包截獲架構的基礎是網絡驅動器接口規(guī)范(NDIS),它主要為網絡適配器和各種協(xié)議驅動程序提供接接口函數,使得協(xié)議驅動程序發(fā)送和接收數據包時不必考慮具體的適配器和Win32操作系統(tǒng)。WinPcap中的NPF正是通過回調函數Packet_tap()調用這些接口函數來截取網絡數據包,進而為用戶層提供了包截獲、數據包轉儲、包注入、網絡監(jiān)測等功能。
1) 包截獲。包截獲是NPF最重要的操作,它通過過濾從網卡中接收到數據包,并原封不動地送往用戶層應用程序。它主要依靠一個包過濾器和一個環(huán)緩沖器來實現(xiàn)。NPF中的包過濾器延用了Unix下BSD中的分組過濾器BPF,BPF是一個虛擬處理機,用于運行用戶自定義的過濾程序。通過Wpcap.dll把用戶定義的包過濾規(guī)則編譯到BPF程序中,并把程序注入到內核。當有數據包到達的時候,NPF運行該內核程序進行數據包的過濾。環(huán)緩沖器用來存儲數據包避免包丟失,數據包存儲時被加了一個包頭,記錄時問戳以及包大小等信息。使用緩沖器可以把一組數據包一起拷貝給應用程序,這減少了讀寫的次數,提高了運行速度。緩沖器的大小是非常重要的一個參數,因為它決定了一次拷貝能送多少數據包給應用程序。緩沖器設置比較大時,它需要等待一系列包到達后才往應用程序送,由于減少拷貝次數節(jié)省了處理器的資源,如在嗅探器中就適合設置大的緩沖器。而有些實時性要求比較高的應用程序(如ARP轉向器),需要在應用程序準備好時就能得到數據,因而緩沖器設置較小。WinPcap庫中提供了專門設置緩沖器大小和讀包溢出時間的函數,它們的默認值分別是16kB和ls。
2) 數據包轉儲。用傳統(tǒng)方法,把數據包保存到硬盤上通常需要3~4個緩沖器,每個數據包需要拷貝多次。當網卡收到包以后,包會存放在內核空間內,這需要一個緩沖器。由于上層應用運行在用戶空問,無法直接訪問內核空間,因此要通過系統(tǒng)調用往上層應用系統(tǒng)送,這時會發(fā)生一次復制過程。用戶應用程序有兩個緩沖器,一個用于暫存數據,一個用于標準輸出函數中向硬盤寫文件,還有一個緩沖器存在文件系統(tǒng)中。如果對一般的應用來說,這樣的系統(tǒng)開銷還可以承受,但是對于大量讀取網絡數據包的應用來說,這樣的開銷就很難承受了。利用NPF提供的數據包轉儲功能,不需要用戶應用程序的介入,在內核層直接尋址文件系統(tǒng)。因為減少了兩個緩沖器。而且只要一次簡單的拷貝,大量減少了系統(tǒng)調用,提高了轉儲的效率。在轉儲之前,還可以進行包過濾,只把需要的數據包保存到硬盤上面。
3) 包注入。NPF除了可以從網絡中截獲數據包,還可以往網絡發(fā)送數據包。包注入時,NPF對數據包不進行任何封裝,所以應用程序需要針對不同應用給每個數據包添加相應的包頭。封裝時可以不計算幀校驗序列,網卡驅動程序會自動計算它并添加到每個數據包的結尾。通常情況下每往網絡發(fā)送一個包,都要進行一次系統(tǒng)調用(WriteFile()),而通過NPF可以實現(xiàn)一次系統(tǒng)調用重復發(fā)送同一個數據包,這提高了發(fā)送效率,適合應用于網絡高速流量測試。
4) 網絡監(jiān)測。事實上,通過WinPcap提供的包截獲功能,在用戶層得到需要檢測的數據包后,通過簡單的分類統(tǒng)計就能實現(xiàn)網絡檢測。但是如果網絡流量很大,這可能會耗盡處理器資源。WipPcap提供了內核層的監(jiān)測模塊,不需要把數據包送到應用程序就能實現(xiàn)分類統(tǒng)計。該監(jiān)測模塊由分類器和計數器組成,在內核層和用戶層不分配緩沖區(qū),統(tǒng)計數據直接來源于適配器驅動程序,這大大節(jié)省了內存和處理器資源。
2.3 WinpCap 的主要優(yōu)點
1)高性能。WinPcap 實現(xiàn)了有關數據包捕獲文獻中描述的所有典型的優(yōu)化方法(如內核級的過濾與緩沖、減少上下文交換、數據包部分內容復制),加上一些原創(chuàng)的優(yōu)化方法,如JIT 過濾器編輯(JIT filter compilation)與內核級的統(tǒng)計過程,WinPcap 勝過其他類似的方法。
2)最終用戶易于使用WinPcap 作為單個小的可執(zhí)行文件,可運行在每個所支持的操作系統(tǒng)上,開始使用這個可執(zhí)行文件后,Windows 就能捕獲與發(fā)送原始數據包,操作簡單。
3)程序員易于使用每個版本的WinPcap 帶有一個開發(fā)者包(developer's pack),包括文檔、庫與include 文件,是開發(fā)應用程序所必需的。開發(fā)者包還包含一個示例程序集,可用Visual Studio 或Cygnus 編譯,用來作為一個極好的起點。
4)多平臺。WinPcap 在Windows NT、Windows2000、Windows XP 與Windows Server 2003 平臺上被積極地維護。對Windows Vista 具有初步的支持,但有一些特性并不具備。
5)可移植性。WinpCap與libpcap具有完全的兼容性。這意味著可將Unix 或Linux 下存在的工具移植到Windows下。也可把Windows應用程序很方便地移植到Unix下使用。
2.4 WinPcap捕獲數據包過程
首先獲取網卡設備列表并選擇要監(jiān)聽的一塊網卡,將其設置為混雜模式,還要設置好過濾器等參數;然后把網卡上的數據包復制到內核緩沖區(qū)中;最后通過上層的調用,把內核緩沖區(qū)中的數據包拷貝到用戶緩沖區(qū)中,再交給應用程序對數據進行加工提取出有用的信息。利用WinPcap驅動捕獲的數據幀其實是經過傳輸層、網絡層和數據鏈路層的封裝而生成的太網數據幀,因此可以對數據幀作進一步解析得到有用信息。
3 WinPcap捕獲數據包過程
WinPcap捕獲數據包分成以下幾個步驟,首先獲取網卡設備列表并選擇要監(jiān)聽的一塊網卡,將其設置為混雜模式,還要設置好過濾器等參數;然后把網卡上的數據包復制到內核緩沖區(qū)中;最后通過上層的調用,把內核緩沖區(qū)中的數據包拷貝到用戶緩沖區(qū)中,再交給應用程序對數據進行加工提取出有用的信息。利用WinPcap驅動捕獲的數據幀其實是經過傳輸層、網絡層和數據鏈路層的封裝而生成的太網數據幀,因此可以對數據幀作進一步解析得到有用信息。捕獲到了網絡數據幀,便可以進一步完成網絡流量分析和網絡流量控制等任務,這些任務構成了一個完整的網絡流量監(jiān)測系統(tǒng)。
4 結論
WinPcap系統(tǒng)是一個功能強大的用于網絡數據獲取開發(fā)包,它直接和網卡打交道,獲取數據鏈層的數據,能捕獲數據鏈路層的所有數據包。WinPcap的分層思想為Windows平臺提供了一個完整的、簡單的、系統(tǒng)無關的編程接口,為在Windows平臺下開發(fā)高性能的網絡數據獲取軟件提供了方便。WinPcap的兩級緩存的設計,極大地提高了數據包的捕獲率,使丟包率降到了很低的程度,尤其是它內核級緩存的動態(tài)循環(huán)存儲的思想,使它在數據捕獲的速度方面優(yōu)于UNIX中的Libpcap??傊赪inPcap的網絡數據獲取系統(tǒng)實驗方案具有結構簡單、捕獲數據快、協(xié)議識別率高等特點,它的三個模塊的相互套用,實現(xiàn)了網絡數據獲取的基本功能。本文就WinPcap的系統(tǒng)結構及其功能原理進行了介紹,最后闡述了WinPcap捕獲數據包過程。
參考文獻:
[1] 張偉,王韜.基于WinPcap的數據包捕獲及應用[J].計算機工程與設計,2008,29(7):1649-1651.
[2] 楊永.互聯(lián)網流量監(jiān)測系統(tǒng)研究[J].信息網絡安全,2010(7):22-28.
[3] 吳玉,李嵐.基于WinPcap 的網絡數據獲取系統(tǒng)的研究[J].研究與設計,2007,23(6):10-12.
[4] 魏敏,奚茂龍,周陽花.基于WinPcap的網絡數據解析系統(tǒng)[J].計算機安全,2010(11):49-51.
[5] 胡曉元,史涪山.WinPcap包截獲系統(tǒng)的分析及其應用[J].計算機工程,2005,31(2):96-98.
中圖分類號:TP39
文獻標識碼:A
文章編號:1007-3973(2012)003-075-02
1 WinPcap的功能
Winpcap(windows packet capture)是Windows平臺下一個免費的SDK,它為win32應用程序提供訪問網絡底層的能力。Winpcap不能阻塞、過濾或控制其他應用程序數據報的發(fā)收,它僅僅只是監(jiān)聽共享網絡上傳送的數據報。
它提供了以下的各項功能:
(1)捕獲原始數據報,包括在共享網絡上各主機發(fā)送/接收的以及相互之間交換的數據報;
(2)在數據報發(fā)往應用程序之前,按照自定義的規(guī)則將某些特殊的數據報過濾掉;
(3)在網絡上發(fā)送原始的數據報;
(4)收集網絡通信過程中的統(tǒng)計信息。
2 WPcap.dll
動態(tài)鏈接庫wpcap.dll。它也是提供給開發(fā)者的API,它輸出一組與系統(tǒng)有關的函數,用來捕獲和分析網絡流量。
3 主要設計與開發(fā)的內容
本系統(tǒng)實現(xiàn)的功能主要實現(xiàn)網絡流量監(jiān)測與統(tǒng)計分析。在用戶方面,該系統(tǒng)實現(xiàn)了計算網絡流量與網絡協(xié)議分析等具體功能;在整個項目方面,該系統(tǒng)作為網絡異常告警與智能分析的基礎模塊。
流量監(jiān)測是以圖形的方式實時顯示出流量的大小。
流量統(tǒng)計分析包括ARP數據包統(tǒng)計、TCP數據包統(tǒng)計、UDP數據統(tǒng)計、ICMP數據包統(tǒng)計、廣播數據包統(tǒng)計等。包括的子項有:
(1)每個數據包的時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、數據包大小。
(2)統(tǒng)計一段時間內某種協(xié)議的數據包個數及總大小。
(3)按源IP和目的IP統(tǒng)計某個IP地址到另一個目的IP的某種協(xié)議的數據包時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、大小。
(4)按源IP或者目的IP統(tǒng)計某個IP地址的某種協(xié)議的數據包總大小及總大小。
4 總體設計方案
整個軟件分為三個子模塊。三個模塊為:數據包統(tǒng)計分析模塊、流量監(jiān)測模塊、用戶模塊(界面模塊)。
統(tǒng)計分析模塊主要基于WinPcap捕包原理,通過截獲整個網絡的所有信息流量,根據信息源主機,目標主機,服務協(xié)議端口等信息按照ARP、TCP、UDP、ICMP、廣播協(xié)議過濾分析、統(tǒng)計。
本模塊要將網絡中各種層次中的協(xié)議進行對比分析,對已知數據字段進行分析,這種分析是逐層進行的。因為數據包的結構都是自頂向下層層的添加數據包頭,而且每層的包頭都有固定的長度,所以根據特定位置來判斷協(xié)議類型也就變得簡單。在本系統(tǒng)中,采用的是網絡中的OSI標準,即網絡的七層結構。
流量監(jiān)測是流量的短期分析。該模塊主要實現(xiàn)如下功能:網絡總流量的實時查看,網絡輸出流量的實時查看,網絡輸入流量的實時查看。
用戶模塊(界面模塊)本系統(tǒng)主要采用Visual studio 2008平臺來設計用戶界面,使其界面與Windows保持最大的一致。
5 統(tǒng)計分析模塊詳細設計
編寫WinPcap應用程序首先獲得主機的所有網卡。WinPcap用函數pcap_findalldevs()來實現(xiàn),該函數返回一個pcap_if的鏈表,鏈表中包含了每一個網卡的詳細信息。
打開設備的函數是pcap_open(),它有三個參數snaplen、flags和to_ms。snaplen參數用來制定捕獲包的特定部分。如果網卡設置成混雜模式,Winpcap能獲得其他主機的數據包。to_ms 參數指定讀數據的超時控制,超時以毫秒計算。當在超時時間內網卡上沒有數據到來時,對網卡的讀操作將返回。
當設備被打開,調用函數pcap_dispatch()來捕獲數據包。pcap_dispatch()可以不被阻塞。這個函數都有返回的參數,一個指向某個函數的指針,Libpcap調用該函數對每個從網上到來的數據包進行處理和接收數據包。另一個參數帶有時間戳和數據包長度等信息,最后一個是含有所有協(xié)議頭部數據包的實際數據。MAC的冗余校驗碼一般不出現(xiàn),因為當一個幀到達并被確認后網卡就將它刪除。
當對網絡數據包的分析的時候,必須先分析鏈路層,其次分析網絡層,之后是傳輸層,最后分析應用層。
由于本程序只分析以太網的協(xié)議,所以去掉以太網協(xié)議的部分,剩下的就是IP協(xié)議的數據;IP協(xié)議部分包括 TCP和UDP協(xié)議的數據包;之后分析TCP和UDP等傳輸層的協(xié)議,將傳輸層協(xié)議部分舍去,留下來的是應用層協(xié)議;最后解析應用層協(xié)議。
基于以太網協(xié)議內容的進行分析,判斷以太網類型的值:如果是0x0806,表示ARP協(xié)議,則分析ARP協(xié)議;如果是0x0800,表示協(xié)議為IP協(xié)議,則分析IP協(xié)議,在分析IP協(xié)議時,根據協(xié)議類型的值判斷傳輸層協(xié)議類型:如果IP協(xié)議類型字段的值是6,表示協(xié)議為TCP協(xié)議,則分析TCP協(xié)議。
統(tǒng)計分析模塊將分為五個功能的詳細設計分別是ARP數據包統(tǒng)計、TCP數據包統(tǒng)計、UDP數據統(tǒng)計、ICMP數據包統(tǒng)計、廣播數據包統(tǒng)計。
6 流量監(jiān)測模塊詳細設計
網絡流量監(jiān)測的思想是:對流入和流出網卡的數據包進行檢測并對數據包的長度進行累加,從而得到流量數據。由于Windows NT/2000/XP/7提供了一個系統(tǒng)性能的接口(注冊表),所以需要做的就是訪問這個接口,得到數據流量。
具體實現(xiàn)通過PDH和讀取注冊表中的系統(tǒng)性能數據來實現(xiàn)流量的監(jiān)測模塊。PDH是英文Performance Data Helper的縮寫。隨著PDH逐漸成熟,為了使該數據庫的使用變得容易,Microsoft開發(fā)了一組Performance Data的API函數,包含在PDH.DLL文件中。使用PDH API基本上包括5個步驟。
創(chuàng)建一個查詢;向查詢中添加計數器;搜集性能數據;處理性能數據;關閉查詢。
在本系統(tǒng)中將采用查詢注冊表的方式完成PD的查詢。本系統(tǒng)中用到了一個注冊表函數RegQueryValueEx,該函數根據一個開放的注冊表鍵值和一個具體的名字值查找相關的類型和數據。
參考文獻:
[1] 劉敏,過曉冰,伍衛(wèi)國,等.針對網絡掃描的監(jiān)測系統(tǒng)[J].計算機工程,2002,28(2):77-78.省略/Class/winpcap/index.html.
一、異常流量監(jiān)測基礎知識
異常流量有許多可能的來源,包括新的應用系統(tǒng)與業(yè)務上線、計算機病毒、黑客入侵、網絡蠕蟲、拒絕網絡服務、使用非法軟件、網絡設備故障、非法占用網絡帶寬等。網絡流量異常的檢測方法可以歸結為以下四類:統(tǒng)計異常檢測法、基于機器學習的異常檢測方法、基于數據挖掘的異常檢測法和基于神經網絡的異常檢測法等。用于異常檢測的5種統(tǒng)計模型有:①操作模型。該模型假設異??赏ㄟ^測量結果和指標相比較得到,指標可以根據經驗或一段時間的統(tǒng)計平均得到。②方差。計算參數的方差,設定其置信區(qū)間,當測量值超出了置信區(qū)間的范圍時表明可能存在異常。③多元模型。操作模型的擴展,通過同時分析多個參數實現(xiàn)檢測。④馬爾可夫過程模型。將每種類型事件定義為系統(tǒng)狀態(tài),用狀態(tài)轉移矩陣來表示狀態(tài)的變化。若對應于發(fā)生事件的狀態(tài)轉移矩陣概率較小,則該事件可能是異常事件。⑤時間序列模型。將測度按時間排序,如一新事件在該時間發(fā)生的概率較低,則該事件可能是異常事件。
二、系統(tǒng)介紹分析與設計
本系統(tǒng)運行在子網連接主干網的出口處,以旁路的方式接入邊界的交換設備中。從交換設備中流過的數據包,經由軟件捕獲,處理,分析和判斷,可以對以異常流量方式出現(xiàn)的攻擊行為告警。本系統(tǒng)需要檢測的基本的攻擊行為如下:(1)ICMP攻擊(2)TCP攻擊,包括但不限于SYN Flood、RST Flood(3)IP NULL攻擊(4)IP Fragmentation攻擊(5)IP Private Address Space攻擊(6)UDP Flood攻擊(7)掃描攻擊不同于以特征、規(guī)則和策略為基礎的入侵檢測系統(tǒng)(Intrusion Detection Systems),本研究著眼于建立正常情況下網絡流量的模型,通過該模型,流量異常檢測系統(tǒng)可以實時地發(fā)現(xiàn)所觀測到的流量與正常流量模型之間的偏差。當偏差達到一定程度引發(fā)流量分配的變化時,產生系統(tǒng)告警(ALERT),并由網絡中的其他設備來完成對攻擊行為的阻斷。系統(tǒng)的核心技術包括網絡正常流量模型的獲取、及對所觀察流量的匯聚和分析。由于當前網絡以IPv4為主體,網絡通訊中的智能分布在主機上,而不是集中于網絡交換設備,而在TCP/IP協(xié)議中和主機操作系統(tǒng)中存在大量的漏洞,況且網絡的使用者的誤用(misuse)也時有發(fā)生,這就使得網絡正常流量模型的建立存在很大的難度。為達到保障子網的正常運行的最終目的,在本系統(tǒng)中,采用下列方式來建立多層次的網絡流量模型:
(1)會話正常行為模型。根據IP報文的五元組(源地址、源端口、目的地址、目的端口和協(xié)議),TCP和UDP報文可以構成流(flow)或偽流(pseudo-flow)。兩個五元組中源和目的相反的流可以構成一個會話。由于ICMP的特殊性,對于ICMP的報文,分別進行處理:ICMP(query)消息構成獨立會話,而ICMP錯誤(error)消息則根據報文中包含的IP報頭映射到由IP報頭所制定的會話中去。每一類協(xié)議(TCP/UDP/ICMP)的正常行為由一個有限狀態(tài)及刻畫。在這個狀態(tài)機中,如果一個事件的到來導致了錯誤狀態(tài)的出現(xiàn),那么和狀態(tài)機關聯(lián)的計數器對錯誤累加。協(xié)議狀態(tài)機是一種相對嚴格的行為模型,累加的錯誤計數本身并不一定代表發(fā)現(xiàn)了攻擊行為。
(2)流量規(guī)則特征模型。在正常的網絡流量中,存在著穩(wěn)定的規(guī)則特征。比如一個IP收到和發(fā)出的含SYN標志位和含F(xiàn)IN標志位的報文的比值、一個IP的出度和入度的比值以及一個IP的平均會話錯誤數等。這些網絡不變量是檢驗在一定時間區(qū)間內,一個IP是否行為異常的標準之一。這個模型要求對會話表中的會話摘要(一個含有會話特征的向量)進行匯聚,在會話正常行為模型基礎上增加攻擊行為判斷的準確程度。
(3)網絡流量關聯(lián)模型。把一些流量特征(如字節(jié)數、報文數、會話錯誤數等)在一定時間區(qū)間內的累加值記錄下來,可以看作時間序列。通過對序列的分析,可以找到長期的均值、方差、周期、趨勢等特征。當攻擊行為發(fā)生時,觀察到的一些流量特征會偏離其長期特征。這種特征偏離的相關性就提供了判斷是否攻擊已發(fā)生的一個依據。
三、大規(guī)模流量異常檢測框架
異常檢測通常需要描述正常網絡行為,網絡行為模型越準確,異常檢測算法效果越好。在大規(guī)模流量異常檢測中通常通過網絡探針了解單個實體或結點的行為來推測整個網絡行為,基于網絡斷層成像(network tomography)思想通過使用探針測量推斷網絡特征,這是檢測非協(xié)作(noncooperative)網絡異常和非直接管理控制網絡異常的有效手段。對于單個管理域,基于實體研究可以向網絡管理者提供有用信息,例如網絡拓撲。在單個結點使用一些基本的網絡設計和流量描述的方法,可以檢測網絡異常和性能瓶頸。然后觸發(fā)網絡管理系統(tǒng)的告警和恢復機制。為了對大規(guī)模網絡的性能和行為有一個基本的了解,需要收集和處理大量網絡信息。有時,全局網絡性能信息不能直接獲得,只有綜合所獲得的本地網絡信息才能對全局網絡行為有個大致的了解。因為不存在準確的正常網絡操作的統(tǒng)計模型,使得難以描述異常網絡模型的統(tǒng)計行為,也沒有單個變量或參數能包括正常網絡功能的各個方面。需要從多個統(tǒng)計特征完全不同的矩陣中合成信息的問題。為解決該問題,有人提出利用操作矩陣關聯(lián)單個參數信息。但導致算法的計算復雜度較高,為了滿足異常檢測的實時性要求,本文關聯(lián)本地和全局數據檢測網絡異常。盡管本章利用行為模型對IP Forwarding異常進行檢測,但該方法并不僅限于檢測本地異常。通過關聯(lián)多條網絡鏈路的時間序列數據,也可以檢測類似于空間的網絡異常。因此,該方法可以擴展到其他類型的大規(guī)模網絡數據和其他大規(guī)模網絡異常。
參考文獻:
中圖分類號: TN711?34; TP393 文獻標識碼: A 文章編號: 1004?373X(2017)09?0093?03
Abstract: With the development of information technology, the peer?to?peer (P2P) network information traffic often deviates from the normal range. The detection technology for P2P traffic detection and abnormal traffic is studied on the basis of the decision tree algorithm. The P2P traffic detection model based on improved C4.5 decision tree is used to train the massive training datasets by means of the P2P anomaly traffic detection model to modify the error gradually. The simulation test in laboratory was performed. The P2P network traffic classifier based on improved C4.5 decision tree has perfect classification effect after selecting the characteristics of the network traffic. The classification detection rate is 94.6%~96.7%, which shows that the improved C4.5 decision tree algorithm can detect the P2P traffic effectively, and provide the reference for studying the P2P anomaly traffic detection technology in future.
Keywords: P2P; traffic information; abnormal structure; decision tree; detection technology
0 引 言
目前,S著信息技術的發(fā)展,對等網絡(P2P)信息流量增長越來越快[1?3]。根據國內互聯(lián)網流量模式報告顯示,在整個互聯(lián)網流量中,P2P流量占到70%左右[4]。近年來,經常出現(xiàn)網絡流量偏離正常范圍的異常情況,導致流量出現(xiàn)異常主要是由惡意網絡攻擊造成的,如DOS攻擊、蠕蟲傳播、僵尸網絡等攻擊,同時由于網絡偶發(fā)性線路中斷、配置失誤也會引起流量的異常,這就會造成網絡服務質量下降,嚴重時會直接導致網絡癱瘓[5]。
P2P大量占用互聯(lián)網帶寬,影響用戶上網正常運行,檢測管控P2P流量是網絡管理難題[6]。因而在大規(guī)模網絡環(huán)境中,對網絡異常進行檢測,同時對網絡異常提供預警信息,對維護網絡正常運行意義十分重大[7]。本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。
1 對等網絡P2P概況
對等網絡P2P實質上屬于分布式網絡,參與者均可共享使用公共部分的一些硬件資源,如硬件處理和存儲能力,共享資源的服務、內容由網絡提供,節(jié)點可對這些資源進行直接訪問,不需要經過任何中間實體。P2P最具有代表性的應用是進行文件共享,同時P2P的共享還有P2P計算、P2P形式的通信網絡等。P2P與客戶/服務器模型的區(qū)別是網絡中節(jié)點可對其他節(jié)點資源或服務進行獲取,還可提供資源或服務,這是P2P的基本思想。在P2P網絡中,每個節(jié)點具有對等的權利、義務、服務、通信、資源消費。
2 P2P流量監(jiān)控系統(tǒng)結構
P2P流量監(jiān)控系統(tǒng)功能包括檢測網絡流量、控制網絡流量兩部分。對網絡流量進行控制的前提是準確檢測網絡流量。在進行流量檢測時,流量特征和協(xié)議特征要進行相互匹配,在未知流量匹配上以后,對其分類才能進行識別,P2P流量檢測中必須具有協(xié)議特征庫的建立。同時,進行流量控制操作必須具備前臺管理界面,以便進行人機交互、流量控制策略的下發(fā)、流量識別結果的觀察等,并在數據庫中存儲檢測結果、控制策略信息、協(xié)議特征等,P2P流量監(jiān)控系統(tǒng)整體結構如圖1所示。
P2P流量監(jiān)控系統(tǒng)工作流程:首先對網絡應用流量數據進行全面采集,其次是建立協(xié)議特征庫,對數據報文進行離線分析,同時提取其特征碼,并建立協(xié)議特征庫。然后檢測網絡流量,對經過流量監(jiān)控系統(tǒng)的未知流量,通過匹配算法將未知流量特征與協(xié)議規(guī)則相匹配,如匹配成功,則作為該協(xié)議識別給流量。最后對已識別流量進行控制操作,完成阻斷訪問、限制流量速率。
3 基于監(jiān)督的機器學習P2P流量識別算法
基于監(jiān)督的機器學習P2P流量識別算法需要訓練數據,訓練主要有兩步:訓練進行集中學習,然后進行構造分類模型的測試;采用訓練階段模型進行未知數據的分類,計算識別準確率,令訓練集為:
式中:表示輸出類值。
在訓練集中,找出輸入和輸出間的關系函數,這就是分類的目的,通過函數,輸入可輸出得到基于監(jiān)督的機器學習P2P流量識別分類器如圖2所示。
監(jiān)督學習是訓練決策樹最常見的技術之一。這種決策樹技術對事先確定分類系統(tǒng)給出的信息高度依賴。對于決策樹來說,可通過分類系統(tǒng)辨別哪類屬性提供的信息最多,可用決策樹解決分類系統(tǒng)問題。
4 算法設計
4.1 C4.5多決策樹分類算法
經過數據預處理模塊,訓練數據集生成決策樹可處理屬性的二維表形式。設訓練數據集全部屬性集合為。整個屬性集PE,分成個小屬性集,每個小屬性集各自獨立。屬性所有不同取值集合為。生成的棵決策樹為,數據分類為。表示數據集合,集合中第條記錄用表示。表示訓練數據及測試數據,第條記錄用表示。系統(tǒng)分辨矩陣用對角矩陣表示,每項定義如下:
4.2 P2P流量異常檢測
P2P流量異常檢測的實質是通過訓練大量數據,逐步對錯誤進行修正,形成精確預測模型。決策樹建立完后進行數據集訓練。訓練數據集為TA,保存經過某節(jié)點P2P類訓練數據的數量為;保存經過該節(jié)點類訓練數據的數量為。
4.3 P2P屬性關鍵度決策樹分類算法
決策樹生成后,經訓練后,形成檢測模型,原始TCP/IP數據包被從網絡上截獲,經過數據預處理后,TCP/IP數據由每棵子決策樹對其進行判斷,對判斷結果進行加權處理,得到最優(yōu)結果。第棵子決策樹用表示,存儲內部節(jié)點數據訓練的P2P類統(tǒng)計數,存儲內部節(jié)點數據訓練的類統(tǒng)計數,第棵子決策樹比率用表示,數據包在整個屬性集的比率用表示,關鍵度多決策樹分類算法流程圖如圖3所示。
根據屬性差異,可建立棵子決策樹,綜合考慮全部子決策樹屬性對分類的影響,能對整個問題進行較好地反映,可使誤報率降低,檢測率提高。
5 仿真實驗
本文的實驗數據通過試驗室仿真試驗得到,仿真試驗采用的軟件為Sniffer,在實驗室PC(CPU為Athlon64 X2;雙核處理器4000+2.11 GHz;內存2 GB)對網絡流量數據進行實時采集。在訓練分類器實驗中,采用定時定量的P2P流量Data1,Data1數據量較小,實驗數據集見表1。
在測試分類器實驗中,采用Data2~Data5對虛警率、漏警率進行嚴格測試,實驗數據集見表2。
由表2可以看出,選擇網絡流量特征后,基于改進的C4.5決策樹的P2P網絡流量分類器能實現(xiàn)較好的分類效果,分類檢測率在94.6%~96.7%。
6 結 語
本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。通過試驗室仿真試驗,選擇網絡流量特征后,基于改進的C4.5決策樹的P2P網絡流量分類器能實現(xiàn)較好的分類效果,分類檢測率在94.6%~96.7%,較高的檢測率說明采用改進的C4.5決策樹算法能有效地對P2P流量進行檢測,為今后研究P2P流量異常檢測技術提供了參考。
參考文獻
[1] 柴琦,曹旭東,王洪蕾,等.P2P流量監(jiān)測系統(tǒng)的設計[J].電子設計工程,2016,24(11):64?67.
[2] 謝生鋒.基于數據挖掘的P2P流量檢測技術研究[J].計算機與網絡,2015(13):71?73.
[3] 閆佳,應凌云,劉海峰,等.結構化對等網測量方法研究[J].軟件學報,2014,25(6):1301?1315.
[4] 王菁菁,林琛,陳珂,等.基于MapReduce的Flash P2P VoD系統(tǒng)異常監(jiān)測[J].廈門大學學報(自然科學版),2013,52(4):459?465.
隨著互聯(lián)網的發(fā)展,網絡技術廣泛應用于生活中,許多公共場所布設移動WiFi接入點,為人們獲取信息提供便捷條件。人們應用網絡服務時將個人信息、銀行賬戶等敏感數據存儲到網絡中,重要數據傳遞帶來安全隱患造成網絡安全問題突出。本文利用云計算技術對大數據下網絡異常流量進行檢測,并測試檢測效果。
1大數據下網絡異常流量檢測方法研究
光纖網絡利用光在玻璃纖維實現(xiàn)光波通信,大數據集成調度,然后通過交換機分配IP。光纖通信傳輸距離遠,云計算環(huán)境通過波分復用技術使光強度變化,通信中受到干擾導致通信信道配置失衡,需要對云計算光纖網絡大數據異常負載優(yōu)化檢測,提高網絡通信的輸出保真性[1]。云計算光纖網絡中大數據異常負載檢測模型研究需要提取大數據負載異常特征,實現(xiàn)異常負載檢測。
2網絡異常數據檢測大數據分析平臺
網絡異常流量分為DDoS、NetworkScan等類型,異常流量類型可從目的IP地址、源IP地址、字節(jié)數等特征區(qū)分[2]。DDos異常流量可通過特征二四五七檢測;NetworkScan異常流量可采用多個網絡地址對主機端口掃描動作;FlashCrowd異常流量由異常用戶對訪問資源申請動作。本文以影響網絡安全異常流量檢測為研究內容,運用現(xiàn)有數據樣本對建立檢測模型訓練,對訓練后識別分析模型檢驗[3]。研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等,需要對數據特征提取分析,對入侵事件進行分類[4]。應用多種入侵事件特征數據,包括離散不間斷協(xié)議、離散常規(guī)行為、離散接點狀態(tài)、不間斷數據源到目標數據比特數、持續(xù)創(chuàng)建新文件個數等。為避免兩種衡量標準相互干擾,需對離散數據采用連續(xù)化操作。云計算平臺迅速占領市場,目前應用廣泛的是Apache開源分布式平臺Hadoop,Hadoop云計算平臺由文件系統(tǒng)、分布式并行計算等部分組成[5]。MapReduce將傳統(tǒng)數據處理任務分為多個任務,提高計算效率(見圖1)。MapReduce編程核心內容是對Map函數進行特定動作定義,Map核心任務是對數據值讀取,InputFormat類將輸入樣本轉換為key/value對。發(fā)現(xiàn)tasktracker模塊處于空閑狀態(tài),平臺把相應數據Split分配到Map動作中,采用createRecordReader法讀取數據信息,tasktracker處于工作狀態(tài)程序進入等待。
3大數據分析模型
隨著待處理數據規(guī)模劇增,單臺計算機處理數據速度過于緩慢,云計算系統(tǒng)以Hadoop為平臺基礎,提高計算效率?;贖adoop平臺對網絡異常流量操作,向平臺提交網絡流量檢測請求,工程JAR包運行,通過JobClient指令把作業(yè)發(fā)送到JobTracker中,從HDFS中獲取作業(yè)分類情況。JobTracker模塊執(zhí)行任務初始化操作,運用作業(yè)調度器可實現(xiàn)對任務調度動作。任務分配后進入Map階段,所需數據在本地磁盤中進行存儲,依靠計算機Java虛擬機執(zhí)行實現(xiàn)JAR文件加載,TaskTracker對作業(yè)任務處理,需要對文件庫網絡流量特征測試,Map動作結果在本地計算機磁盤中存儲。系統(tǒng)獲得Map動作階段計算結果后對網絡流量分類,中間結果鍵值相同會與對應網絡流量特征向量整合,ReduceTask模塊對MapTask輸出結果排序。Reduce動作完成后,操作者通過JobTracker模塊獲取任務運行結果參數,刪除Map動作產生相應中間數據。BP神經網絡用于建立網絡流量檢測模型,MapReduce平臺具有高效計算優(yōu)勢,最優(yōu)參數結果獲得需多次反復計算優(yōu)化,MapReduce平臺單詞不能實現(xiàn)神經網絡計算任務,采用BP神經網絡算法建立網絡流量檢測模型會加長計算時間。本文采用支持向量機算法建立網絡流量檢測模型。支持向量機以統(tǒng)計學理論為基礎,達到經驗風險最小目的,算法可實現(xiàn)從少數樣本中獲得最優(yōu)統(tǒng)計規(guī)律。設定使用向量機泛化能力訓練樣本為(xi,yi),i=1,2,…,I,最優(yōu)分類平面為wx+b=0,簡化為s.t.yi(w?xi+b)-1≥0,求解問題最優(yōu)決策函數f(x)=sgn[∑i=1lyiai(x?xi)+b],支持向量SVM把樣本x轉化到特定高維空間H,對應最優(yōu)決策函數處理為f(x)=sgn[∑i=1lyiaiK(x?xi)+b]。云計算Hadoop平臺為建立網絡異常流量檢測模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs,通過Reduce操作對SVs收集,測試操作流量先運用Map操作對測試數據子集計算,運用Reduce操作對分量結果Rs統(tǒng)計。
4仿真實驗分析
為測試實現(xiàn)云計算光纖網絡大數據異常負載檢測應用性能,采用MATLAB7進行負載檢測算法設計進行云計算光纖網絡中大數據異常負載檢測,數據樣本長度為1024,網絡傳輸信道均衡器階數為24,迭代步長為0.01。采用時頻分析法提取異常負載統(tǒng)計特征量進行大數據異常負載檢測,重疊干擾得到有效抑制。采用不同方法進行負載異常檢測,隨著干擾信噪比增大,檢測的準確性提高。所以設計的方法可以有效檢測大數據中異常負載,并且輸出誤碼率比傳統(tǒng)方法降低。單機網絡異常流量檢測平臺使用相同配置計算機,調取實測數據為檢驗訓練源數據,選取典型異常流量200條數據樣本用于測試訓練。采用反饋率參量衡量方法好壞,表達式為precision=TP/FP+FN×100%,其中,F(xiàn)N為未識別動作A特征樣本數量;TP為準確識別動作A特征樣本數量;FP為錯誤識別動作A特征樣本數量。提出檢測方法平均準確率提高17.08%,具有較好檢測性能。對提出網絡異常流量檢測方法進行檢測耗時對比,使用提出網絡異常流量檢測方法耗時為常規(guī)方法的8.81%,由于使用檢測方法建立在大數據云計算平臺,將檢測任務分配給多個子任務計算平臺。使用KDDCUP99集中的數據進行網絡異常流量檢測分析,選取R2L攻擊,Probing攻擊異常流量數據用于檢測分析,采用準確率參數衡量檢測方法宏觀評價網絡流量檢測識別方法:r=TP/FP+FN×100%。使用單機平臺下SVM算法建立網絡異常檢測模型對比分析,本文研究檢測模型平均識別率為68.5%,研究網絡異常流量檢測模型檢測準確率提高28.3%。多次試驗對比檢測耗時,使用本文提出網絡異常流量檢測耗時較短。
【參考文獻】
[1]林昕,呂峰,姜亞光,等.網絡異常流量智能感知模型構建[J].工業(yè)技術創(chuàng)新,2021(3):7-14.
[2]武海龍,武海艷.云計算光纖網絡中大數據異常負載檢測模型[J].激光雜志,2019(6):207-211.
[3]農婷.大數據環(huán)境下的網絡流量異常檢測研究[J].科技風,2019(17):84.
中圖分類號:TP368 文獻標識碼:A 文章編號:1007-9416(2012)07-0028-02
智能交通系統(tǒng)通過實時、準確、高效和多方位的檢測監(jiān)控設備,檢測有關車道占有率、車流量、行車速度等交通流量信息,利用有線以及無線通信網絡傳輸檢測數據信息,使得交通主管部門能夠詳實的數據,處理交通流量數據,充分發(fā)揮現(xiàn)有交通基礎設施潛力,改善交通安全以及緩解交通擁擠,提高整個路網的運輸效率和通行能力;既能夠降低油耗,減少廢氣排放,降低、對環(huán)境的污染[2],又能夠提高交通出行的方便性、安全性,節(jié)約運輸成本,提高社會效益和經濟效益。
1、交通流量檢測技術
交通流量檢測是智能交通系統(tǒng)的基礎部分,其在交通監(jiān)控、交通誘導、交通應急指揮等研究應用中占有很重要的地位。主要是通過各種檢測設備對路面行駛車輛進行探測,獲取相關交通參數,包括各車道的車流量、車道占有率,車速、車型、車頭時距等,以達到對公路各路段交通狀況及異常事件的自動檢測、監(jiān)控、報警等目的。交通流量檢測方式一種是接觸式[3][4],其主要分為壓電、壓力管探測、環(huán)行線圈探測和磁力式探測,其特點是埋藏在路面之下,當汽車經過采集裝置上方時會引起相應的壓力、電場或磁場的變化,最后采集裝置將這些力和場的變化轉換為所需要的交通信息;另一種是非接觸式[5],主要分為微波、超聲波和紅外、和視頻探測等,除了超聲波探測只能進行單車道交通信息采集外,其余都可同時進行多車道交通信息采集,其安裝維護簡單,發(fā)展非常迅速。
2、交通流量檢測需求分析
智能交通系統(tǒng)應用了計算機技術、信息技術、通信技術和控制技術等新技術,把人、車、路緊密聯(lián)系起來,通過對交通流信息進行實時檢測,掌握道路交通的運行情況,根據交通流的動態(tài)變化,迅速做出交通誘導控制,不僅有效的解決了交通阻塞問題,而且對交通事故的應急處理、環(huán)境的保護、能源的節(jié)約都有顯著的效果。它是以交通指揮中心為主體,并隨著科技發(fā)展和管理方法的改進在不斷完善中。交通流量檢測系統(tǒng)和通信系統(tǒng)是智能交通系統(tǒng)的關鍵。交通流量檢測系統(tǒng)主要完成提取流量數據所需的原始信息的采集工作,可通過地感線圈、激光、紅外或視頻方法,檢測與識別交通流、路況等實時監(jiān)視,提取交通流信息(車流量、車道占有率、車速等);通信系統(tǒng)是數據采集和數據處理的橋梁,它是將原始數據信息通過有線網絡或是無線網絡傳輸到交通監(jiān)控中心,監(jiān)控中心處理原始數據,進而對得到的信息進行進一步地分析,判斷該路段的交通擁塞狀況,監(jiān)督異常事故的發(fā)生,在交通擁擠未發(fā)生時交通信息,及時采取分流措施,疏導交通,防止交通擁擠發(fā)生。智能交通系統(tǒng)的結構圖如圖1所示。
目前智能交通系統(tǒng)中使用的有線傳輸主要采用標準RS-232或是光纖通信等,在距離監(jiān)控中心較遠且供電不便利的重點路段、橋隧等地區(qū),或者一些臨時性的設備通信,傳統(tǒng)的有線連接便顯得十分不方便,因此希望以一種低成本、高可靠性的無線傳輸方案來代替?zhèn)鹘y(tǒng)的有線方式。3G網絡技術可以方便實現(xiàn)設備之間的無線連接,具有低成本、低功耗、高速率、組網靈活等特點,其通信架設方便,供電可以采用蓄電池或太陽能電池板等,是實現(xiàn)無線數據采集系統(tǒng)的理想選擇。
3、3G網絡技術傳輸架構
第三代移動通信技術(3rd-generation,3G)[6],主要是支持高速數據傳輸的蜂窩移動通訊技術。目前3G標準分別是WCDMA、CDMA2000和TD-SCDMA。3G網絡架構由無線接入網絡(RAN)和核心網絡(CN)組成。其中,RAN用于處理所有與無線有關的功能,而CN則處理3G系統(tǒng)內所有的話音呼叫和數據連接,并實現(xiàn)與外部網絡的交換和路由功能,CN從邏輯上可分為電路交換域(CS)和分組交換域(PS)。3G網絡分為核心網和接入網,UMTS 陸地無線接入網(UTRAN)、CN與用戶設備(UE)一起構成了整個無線系統(tǒng)[7],如圖2所示,體現(xiàn)出分層建設的特點:骨干層傳輸設備位于網絡的骨干或核心節(jié)點,具有大容量的業(yè)務調度功能,強調業(yè)務的中繼和傳送能力;接入層傳輸設備覆蓋在城域的各熱點地區(qū),完成業(yè)務的接入,體現(xiàn)出低成本、業(yè)務處理能力弱的特點;匯聚層設備連接骨干層和接入層,完成MADM之間的業(yè)務整合和匯聚功能。
4、智能交通檢測系統(tǒng)架構及連接拓撲圖
智能交通檢測系統(tǒng)的結構分為交通信息采集系統(tǒng)、交通信息數據傳輸和交通信息處理整合審核管理三大子系統(tǒng),分為二層結構,信息數據層和信息應用基礎層。具體結構如圖3所示。
交通信息采集是整個系統(tǒng)的基石,其采集主要是通過設置在公路上交通流量檢測器、視頻監(jiān)控的信息采集設備以及其他方式,獲得真實的、可靠及時的交通流量狀況、突發(fā)事件等有關交通的信息,同時與其他相關部門的數據共享,及時動態(tài)獲得各種信息。
交通通信系統(tǒng)是將現(xiàn)場的交通流量的檢測設備檢測到的信息,通過有線或者無線傳輸系統(tǒng),傳輸到監(jiān)控中心,在那里進行集合與整理。如距離比較近,可以采用光纖與標準RS-232等進行傳輸;當檢測設備距離監(jiān)控中心較遠,布設數據線與供電不方便處,就可以采用3G網絡進行無線數據傳輸,同時采用蓄電池或是太陽能電池板進行供電。
交通信息處理整合是集合與整理,去偽存真,而這些是需要大量人力、物力以及先進的網絡設備和技術。將與交通流量有關的信息自動統(tǒng)計匯總,通過人工智能決策系統(tǒng),或是人工分析處理的方法,確定暢通路線、擁擠路段、交通的氣象信息等,并且存儲到數據庫中。
根據交通部門的對交通流量需求,對交通數據進行采集,同時集成其他有關交通的部門有關交通流量的信息,通過無線或是3G網絡進行傳輸,傳輸到交通監(jiān)控指揮中心,進而進行數據集合和整理,其連接拓撲圖如圖4。
5、結語
目前,智能交通系統(tǒng)發(fā)展應用的時期,建立和完善交通流量數據采集與傳輸系統(tǒng)來滿通出、交通管理以及應急指揮的需要是當務之急。隨著智能交通系統(tǒng)的實施及應用的逐步發(fā)展,充分利用新技術先進設備建設的高標準高質量的3G網絡傳輸技術,其多樣化的數據傳輸設置,有利于智能交通系統(tǒng)更大的應用,它的建成以及所采用的各類設施設備各種技術為交通運輸和交通管理的安全暢通發(fā)揮了十分重要的作用,將會在實際使用中取得了很好的效果,達到了預期的建設目標。
參考文獻
[1]夏勁,郭紅衛(wèi).國內外城市智能交通系統(tǒng)的發(fā)展概況與趨勢及其啟示[J].科技進步與對策.2003年01期.P176-179.
[2]葉文進.高速公路出行綜合信息服務系統(tǒng)分析[J].中國交通信息化,2010(6):125-128.
[3]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time[J].IEEE,1996,(9):351~356.
[4]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679~683.
中圖分類號:TP393文獻標識碼:A 文章編號:1009-3044(2008)22-670-03
A Survey and Analysis: Network State Monitoring Technology of Campus Network
ZHU Peng
(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)
Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.
Key words:network performance; network state monitoring; SNMP; NetFlow
1 園區(qū)網網絡監(jiān)測的意義
近年來,隨著各單位計算機應用水平的整體提高、內部園區(qū)網網絡建設的日漸完善,以及實驗儀器設備的網絡自動化程度提高和發(fā)展,越來越多的日常學習、工作和科研、實驗活動依賴計算機和網絡來開展運行,這就要求各單位內部的園區(qū)網網絡環(huán)境有很高的穩(wěn)定性和運行效率,并能針對不同網絡內部科研應用需求提供相應的網絡質量保障。園區(qū)網連接著各個計算機、服務器、網絡設備、存儲設備及系統(tǒng)設備、試驗裝置、儀器儀表,通過交換信息使之成為一個高效運行的有機整體,為確保各項依賴園區(qū)網的科研活動順利進行,必須保障園區(qū)網的正常運行和性能穩(wěn)定。
同時,不斷進行的信息化建設使得各項商業(yè)、科研活動對園區(qū)網絡日漸依賴,這也帶來了新的信息安全隱患,如何保障網絡與信息系統(tǒng)的安全已經成為需要被高度重視的問題。隨著園區(qū)網內部網絡應用的迅速發(fā)展,越來越多的攻擊和安全隱患來自于園區(qū)網內部,使得傳統(tǒng)的基于網關的安全架構在新一代的攻擊手段面前顯得非常脆弱。而且這些傳統(tǒng)的安全防護手段多屬于被動形式,只能簡單過濾或丟棄攻擊數據,而無法在攻擊源發(fā)起攻擊時或之后的較短時間內即時響應,將內部網絡中可疑的攻擊源主機斷開,使其無法通過內網連接進行攻擊。在這種情況下,主動對園區(qū)網內部的網絡運行狀態(tài)進行監(jiān)控,并根據網絡流量異常信息采取相應的質量控制和防范乃至隔離控制,將可以成為傳統(tǒng)計算機安全技術(如網關防火墻)的有益補充。
2 園區(qū)網網絡狀態(tài)監(jiān)測技術
2.1 網絡監(jiān)測技術概述
網絡狀態(tài)監(jiān)測是網絡管理和系統(tǒng)管理的一個重要組成部分,網絡狀態(tài)數據為園區(qū)網的運行和維護提供了重要信息,這些數據對調控網絡資源分布、規(guī)劃網絡容量、網絡服務質量分析、網絡故障檢測與隔離、網絡安全管理都非常重要。目前,根據對網絡流量的采集方式可將網絡監(jiān)測技術分為:基于網絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于NetFlow的監(jiān)測技術三種常用技術。
2.2 基于網絡流量全鏡像的監(jiān)測技術。
網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現(xiàn)網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。 但采用端口流量鏡像方式將增加網絡設備負擔,對網絡設備性能的影響較大。而若使用探針等附加設備實現(xiàn)流量鏡像,安裝時對網絡影響較大,安裝完成后雖對網絡設備的影響較小,但為網絡結構增加了新的單點失效點,在大型網絡環(huán)境下,可能會影響網絡的穩(wěn)定性。故基于網絡流量全鏡像的監(jiān)測技術較少用于園區(qū)網網絡監(jiān)測中。
2.3 基于SNMP的流量監(jiān)測技術
簡單網絡管理協(xié)議(SNMP)已經成為事實上的網絡管理標準,得到很大范圍的應用。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。SNMP是基于TCP/IP協(xié)議的網絡管理標準,它簡單明了,占用系統(tǒng)資源少,已成為事實上的工業(yè)標準。SNMP提供了從網絡設備收集網絡管理信息的方法,并為設備提供了向網絡管理端報告故障和錯誤的途徑。SNMP是協(xié)議和規(guī)范族,包括MIB(管理對象信息庫)、SMI(管理信息結構)和SNM協(xié)議。同時,SNMP被設計成與協(xié)議無關,所以它可以在IP,IPX,AppleTalk,OSI以及其他傳輸協(xié)議上被使用。
基于SNMP的流量信息采集,實質上是通過提取網絡設備Agent提供的MIB(管理對象信息庫)中收集一些與具體設備及流量信息有關的變量?;赟NMP收集的網絡流量信息包括:輸入字節(jié)數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協(xié)議包數、輸出字節(jié)數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等。 基于SNMP的網絡流量信息采集可以以極小的代價實現(xiàn)一定程度的網絡流量相關信息的收集,但其收集的信息多是出于網絡管理的需要,無法提供足夠豐富的網絡流量信息。利用其實現(xiàn)網絡總流量的定期監(jiān)控、觀察網絡設備端口的流量和使用狀況可以滿足網絡管理的基本需求。
SNMP采用‘管理者―’模型來監(jiān)測各種可管理的網絡設備,利用無連接的UDP協(xié)議在管理者和之間進行信息的傳遞。圖1勾畫出了SNMP管理者和SNMP間的通信關系。一個SNMP管理者可以向SNMP發(fā)送請求,讀取(Get)或設置(Set)一個或多個MIB變量數值。SNMP可以應答這些請求。除了這種交互式通信方式,SNMP還可以主動向SNMP管理者發(fā)送通知(Trap或Inform Request)以提示管理者一個設備或網絡的狀態(tài)。
■
圖1 SNMP管理者與SNMP間的通信示意圖
在園區(qū)網網絡監(jiān)測中采用SNMP機制有以下優(yōu)勢:1)可以隨時隨地收集網絡流量信息,及時獲取當前園區(qū)網絡的運行情況;2)能夠即時收集到網絡中大量設備的同步流量信息;3)采用方法基于IP層,不受底層網絡物理類型的限制;4)能夠收集到網絡設備自身的工作信息、端口狀態(tài)。并可根據需要遠程配置修改網絡設備的相關參數;5)基于SNMP的流量監(jiān)測所需費用較少,對現(xiàn)有的網絡性能影響較小,且易于集成到各種網管系統(tǒng)中去。
在此基礎上,如果配合后臺數據庫記錄收集到的網絡流量、性能數據,就可以實現(xiàn)對整個園區(qū)網絡進行有效的監(jiān)視,并能在網絡發(fā)生故障時及時發(fā)現(xiàn)并通知相關人員處理,從而提高網絡可靠運轉的時間,減少因網絡故障造成的中斷時間。
2.1.基于NetFlow的流量監(jiān)測技術
NetFlow是Cisco公司提出的一項網絡數據流統(tǒng)計標準,利用NetFlow技術,路由器可以輸出流經路由的包的統(tǒng)計信息,從而監(jiān)測網絡上的IP 流( IP flow) 。采集到的NetFlow流量信息可以幫助進行網絡規(guī)劃、網絡管理、流量計費和病毒檢測等等,NetFlow流量信息采集是基于網絡設備提供的NetFlow機制實現(xiàn)的網絡流量信息采集,在此基礎上實現(xiàn)的流量信息采集效率和效果均能夠滿足網絡流量異常監(jiān)測的需求。它可以實時提取大量流量的特征,實現(xiàn)對流量的宏觀統(tǒng)計分析。目前,NetFlow技術已經成為網絡設備流量信息采集事實上的標準,一些大型的網絡設備廠商均在其主流的路由設備中實現(xiàn)了對NetFlow主要版本的支持。
表1主流廠商網絡流技術對比
■
NetFlow的實現(xiàn)由路由器、數據采集設備和流量分析工具三部分構成,如圖2所示。
路由器啟動NetFlow功能,負責抓取路由器上發(fā)生的流量信息,當Cache表超時后,網絡設備中的NetFlow Agent 將通過規(guī)范的報文格式將表項數據以UDP方式向NetFlow數據采集設備發(fā)送。NetFlow數據采集設備可以是商業(yè)系統(tǒng)或是采用開放源代碼的工作站,它負責實時處理收到的報文,提取出流量數據,進行過濾和聚合后記錄在數據庫中。NetFlow流量分析工具根據數據采集設備數據庫中記錄的網絡流量信息進行網絡規(guī)劃、流量計費和各種網絡管理應用,并產生各類報表等。
■
圖2NetFlow的工作原理示意圖
由于NetFlow技術所產生的信息詳盡且趨近于即時,可讓網管人員深入地了解數據包中的信息,獲得很多網絡運行情況的細節(jié)。依據NetFlow信息進行網絡規(guī)劃,將大大提高規(guī)劃的效率,減少盲目性。
(上接第671頁)
在園區(qū)網網絡監(jiān)測中采用NetFlow機制有以下優(yōu)勢:
1) 對源及目的業(yè)務端口號的統(tǒng)計、分析,可以科學地估算出各種業(yè)務在網絡總流量中所占的比重和在各條鏈路上的分布,對網絡業(yè)務流量進行精細化分析,包括網絡間數據流中各個具體業(yè)務的流量及百分比;同時,也可以根據應用層數據參數Protocol、Port、Bytes對各個網絡業(yè)務進行排行,進而科學地預測各類業(yè)務流量的增長規(guī)律。
2) 通過對整網流量的長期監(jiān)測,可以建立園區(qū)網流量基線,了解網絡內各節(jié)點的即時與歷史網絡流量狀態(tài),掌握網絡應用及發(fā)展趨勢,從而提高網絡的管理維護能力。
3) 通過統(tǒng)計分析,我們還可以獲知那些業(yè)務是目前網絡上最受歡迎的業(yè)務,進而對相關網絡應用業(yè)務的建設和規(guī)劃提供準確的基礎數據;對于業(yè)務流量大的端點,分析其增長規(guī)律,可以指導對其合理及時的擴容,從而提高整個網絡的運行質量。
4) 利用NetFlow產生的流量記錄與統(tǒng)計分析系統(tǒng)配合,還可以記錄網絡平常在不同時間的流量或服務器連接使用情況,當發(fā)現(xiàn)網絡或某服務器流量異常,或是服務器連接情況異常大量增加或減少時,在第一時間發(fā)出警報,讓網絡管理員可以立即采取相應措施,盡快確定異常流量源地址及目的地址、端口號等多種信息,針對不同的情況,分別利用切斷連接、ACL過濾、靜態(tài)空路由過濾、異常流量限定等多種手段,對異常流量進行有效控制、處理,從而在最短時間內恢復網絡的正常運行。這在防范病毒,尤其是蠕蟲或木馬等造成的DoS與DDoS攻擊時尤為有效。
3 結束語
當前,隨著信息化建設步伐的加快,各單位都在不斷地建設和改造內部的園區(qū)網絡,園區(qū)網絡的不斷擴展使得網絡的拓撲變得越來越復雜和不規(guī)則。而網絡新應用的涌現(xiàn)和網絡用戶的快速增長也使得網絡流量不斷增大、網絡應用日益復雜。采用一種或混合使用多種技術監(jiān)測園區(qū)網網絡狀態(tài)的重要性和迫切性越來越突出。園區(qū)網網絡監(jiān)測技術已經成為計算機網絡研究中一個重要的課題方向。
參考文獻:
[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.
[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000
[3] 陳秀蘭,吳軍華.通用網絡流量監(jiān)測報警系統(tǒng)的設計與實現(xiàn)[J]. 微計算機應用, 2006(4):47-50.
中圖分類號:TP393.06 文獻標識碼:A 文章編號:1007-9416(2015)12-0000-00
隨著網絡技術的迅猛發(fā)展,互聯(lián)網[1]已經被運用到千家萬戶,實時以及多媒體的傳播技術也在不斷普及,網絡流量將不斷增加,這對于現(xiàn)階段的網絡管理、維護以及檢測技術來說是一個不小的挑戰(zhàn)。有挑戰(zhàn)就存在一定的機遇,網絡流量監(jiān)控是網絡管理中的一個重要組成部分,更是網絡性能分析以及網絡規(guī)劃設計的根基,為網絡管理者的網絡實施運行提供了技術平臺,并且能正確處理網絡出現(xiàn)的異常問題。
1 基于SNMP流量的監(jiān)測技術
近幾年來,以NETFLOW以及SFLOW技術為代表的網絡流量監(jiān)測技術的運用憑借其準確、高效等優(yōu)勢在網絡管理中頗受寵愛,但是其部署也存在一定的局限性,主要表現(xiàn)在以下幾個方面:(1)該技術消耗網絡設備資源。(2)在大中型網絡中,該技術在每一個節(jié)點全面部署會產生大量的數據,如何高效便捷地處理這些數據對于網絡管理來說至關重要。即使利用提高采樣率來減少數據流量,但是隨著采樣率的不斷上升,很多有價值的信息也會隨之丟失。
綜上所示,現(xiàn)階段使用的NETFLOW以及SFLOW技術只適用于邊緣路由器的單獨部署。為了解決校園網方案中存在的一些問題,本文就提出了適用于校園區(qū)的網絡流量監(jiān)測系統(tǒng),此方案使用基于SNMP技術,在現(xiàn)階段的校園網絡上能夠較為廉價以及便捷地解決上述問題。
1.1 SNMP簡介
SNMP的全稱是簡單網絡管理協(xié)議,此協(xié)議是一種基于TCP/IP參考模型[2]的應用層互聯(lián)網網絡管理協(xié)議,能對于互聯(lián)網中的各式各樣的設備進行監(jiān)控以及管理,它主要還包含了網絡管理站以及被管的網絡設備這兩個部分。被管的設備端運行者稱為設備的運用進程,其實現(xiàn)階段對于被管設備的各種被管對象的信息,例如流量等的收集以及對于這些被管對象的訪問支持。利用SNMP實現(xiàn)的網絡管理一般包含:管理進程利用定時來向各個設備的設備進程發(fā)送可查詢請求信息,,以便于跟蹤每一個設備的狀態(tài)。SNMP的作用是幫助網絡管理員提升網絡管理的主要性能,及時快速地發(fā)現(xiàn)并且解決網絡問題以及規(guī)劃網絡的增長。網絡管理員還可以利用SNMP接收網絡節(jié)點的通知消息,來告警事件報告等來獲知網絡出現(xiàn)的問題。
1.2 流量數據的采集
為了達到網絡流量的采集,設計了運用SNMP協(xié)議采集網絡設備MIB的方法,程序以輪詢的方式進行訪問MIB相對應的葉節(jié)點。SNMP是由三個部分組成的,分別是管理者、以及MIB,其中被管設備一定要啟動SNMP服務,管理者利用SNMP的相應操作通過獲得以及設置MIB變量的參數值,此處涉及到的一個共同體名是客戶進行提供的,與此同時,要能被服務器進程所識別的一個口令密碼,也正是管理進程請求的權限標志。MIB變量有簡單變量以及表格變量,對于簡單變量的訪問,通過對其對象標識符后面添加“0”來處理,利用get-request報文請求即可。
2 網絡流量監(jiān)測技術的現(xiàn)狀及其發(fā)展趨勢
根據現(xiàn)階段的網絡流量的采集方式可以將網絡流量監(jiān)測技術分為以下三個部分,分別是基于網絡流量全鏡像的檢測技術、基于SNMP的監(jiān)測技術以及基于NETFLOW的監(jiān)測技術。
網絡流量全鏡像的監(jiān)測:它是現(xiàn)階段IDS主要使用的是網絡流量采集模式,其工作原理是利用交換機等網絡設備的端口鏡像或者是通過分光器、網絡探針等附加設備,實現(xiàn)了網絡流量的無損復制以及鏡像采集,該技術的主要特征是可以為管理者提供應用層的信息。
目前,網絡流量監(jiān)測技術正在朝著迅猛提升的方向發(fā)展,其技術以及產品也正在不斷更新,也有朝著智能化發(fā)展的趨勢,主要表現(xiàn)在:流量自主學習,為判斷異樣流量提供強有力的證據。
3 采集過程中需要考慮的問題
3.1時間間隔的正確選擇
Cisco路由器[3]為IP Accounting Table 中建立了一個緩沖區(qū),缺省設置為512行,如果超出了已經限定的行數,那么全新的數據就會丟失。所以,在采集數據的時候要選擇正確合適的時間間隔。假如兩次采集的時間間隔過長,就會使得數據庫中的數據溢出,之前的數據就會被覆蓋,最終造成數據的丟失;假如采集時間間隔過短的話,又會導致訪問路由器以及寫入的數據庫過于頻繁,最終造成整個系統(tǒng)的性能下降。
3.2 Trap技術的應用
假如在采集程序運行之前,計費信息就會超過路由器保留計費信息的緩沖區(qū)的大小,就會造成計費信息的丟失。為了防止此類情況的出現(xiàn),我們就要運用SNMP中的事件驅動技術,也就是Trap技術。
3.3準確安全性的考慮
考慮到整個系統(tǒng)的健壯性能,設計方案就會引入主從式的設計,在整個系統(tǒng)中,引入一個從計費服務器作為主服務器的備份。從服務器上采集而來的數據過程是實時的,全天運行的。其系統(tǒng)要根據已經設定好的固定的時間間隔輪詢路由器IPAccountingTable表的讀寫情況,假如表的更新時間超過設定的最大更新周期,就會出現(xiàn)主服務器發(fā)生故障的狀況,根據服務器將進行數據的采集工作,為了防止數據的丟失。
本文利用分析了常見流量監(jiān)控系統(tǒng),提出了在校園中網絡上運用SNMP協(xié)議實現(xiàn)在網絡流量上的監(jiān)控,本系統(tǒng)是架構于SNMP模式的管理者以及結構之上。此設計方案是在校園網上有較強的推廣價值,也被廣泛運用于其他網絡管理功能模塊的設計。
參考文獻
網絡流量性能測量和分析涉及許多關鍵技術,如單向測量中的時鐘同步新問題,主動測量和被動測量的抽樣算法探究,多種測量工具之間的協(xié)同工作,網絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網絡未來狀態(tài)進行趨向猜測,對海量測量數據進行數據挖掘或者利用已有的模型(petri網、自相似性、排隊論)探究其自相似特征,測量和分析結果的可視化,以及由測量所引起的平安性新問題等等。
1.在IP網絡中采用網絡性能監(jiān)測技術,可以實現(xiàn)
1.1合理規(guī)劃和優(yōu)化網絡性能
為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監(jiān)測、數據采集和分析,給出具體的鏈路和節(jié)點流量分析報告,獲得流量分布和流向分布、報文特性和協(xié)議分布特性,為網絡規(guī)劃、路由策略、資源和容量升級提供依據。
1.2基于流量的計費
現(xiàn)在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統(tǒng)計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業(yè)務以及目的網站數據分析,擺脫目前單一的包月制,實現(xiàn)基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。
1.3網絡應用狀況監(jiān)測和分析
了解網絡的應用狀況,對探究者和網絡提供者都很重要。通過網絡應用監(jiān)測,可以了解網絡上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網絡應用的使用情況,探究者可以據此探究新的協(xié)議和應用,網絡提供者也可以據此更好的規(guī)劃網絡。
1.4實時監(jiān)測網絡狀況
針對網絡流量變化的突發(fā)性特性,通過實時監(jiān)測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現(xiàn)故障或擁塞時發(fā)出自動告警,在網絡即將出現(xiàn)瓶頸前給出分析和猜測。現(xiàn)在隨著Internet網絡不斷擴大,網絡中也經常會出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網絡突發(fā)事件從設備和網管的角度看卻很難發(fā)現(xiàn),經常讓網絡管理員感到棘手。因此,針對網絡中突發(fā)性的異常流量分析將有助于網絡管理員發(fā)現(xiàn)和解決新問題。
1.5網絡用戶行為監(jiān)測和分析
這對于網絡提供者來說非常重要,通過監(jiān)測訪問網絡的用戶的行為,可以了解到摘要:
1)某一段時間有多少用戶在訪問我的網絡。
2)訪問我的網絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網絡的哪些部分。
通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網絡流量測量有5個要素摘要:
測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。2.1連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步新問題。
2.3丟包率
為了評估網絡的丟包率,一般采用直接發(fā)送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。
2.5流量參數
ITU-T提出兩種流量參數作為參考摘要:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量摘要:用傳輸成功的IP包中總字節(jié)數除以時間間隔。
3.測量方法
Internet流量數據有三種形式摘要:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法摘要:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡探究人員用來分析指定網絡路徑的流量行為。
3.1主動測量
主動測量的方法是指主動發(fā)送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現(xiàn)實的流量(如WebServer的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2被動測量
被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監(jiān)測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優(yōu)點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難摘要:如決定分縮手縮腳一所經過的路由。但被動測量的優(yōu)點使得決定測量之前應該首先考慮被動測量。被動測量技術碰到的另一個重要新問題是目前提出的要求確保隱私和平安新問題。
3.3網絡流量抽樣測量技術