流量統計范文第1篇
實時可靠的人流量統計信息在許多領域都具有重要意義。例如,在交通控制中可以提示車輛避開人群,引導人們合理疏散;在公共場所中可以分析安全隱患;在商業分析中可以用來分析人們購買情況,如要分析商場的購買率則要知道進入商場的人數。目前常見的人流量統計方法有基于超聲波的方法、基于紅外線的方法、基于環形感應圈的方法、基于視頻圖像處理的檢測方法等[1,2]。超聲波檢測法檢測距離短,同時容易受到行人遮擋的影響;紅外線檢測法易受人體本身紅外熱輻射的影響,抗噪聲能力不強;環形感應圈檢測精度高,但成本較高,安裝不靈活;基于視頻圖像處理的方法具有成本低、安裝靈活、精度高、應用前景廣闊等優點而成為當前的研究熱點,部分研究成果在一些特殊場合得到了實際應用。
傳統的基于視頻圖像的人流量統計的一般過程是:首先采用合適的方法進行運動目標檢測,然后通過形態學處理、區域分析、運動跟蹤等過程統計出人流量。在這個過程中,最重要的步驟是前期的運動目標檢測,常見的方法有幀差法、背景建模法、光流法等[3,4,5]。幀差法簡單、易于實現,但容易形成“空洞”;背景建模法穩健性較強,但是當場景中運動目標占整個場景的比例較大且運動緩慢時,建模效果較差;光流法計算量最大,很難滿足實時性要求。此外,把機器學習技術應用到人流量統計也得到了一些研究,如Boosting[6]、神經網絡[7]方法。該方法的一般思路是:首先利用機器學習方法檢測出行人,進而統計出人流量。為了達到較好的行人檢測效果,需要采集大量的訓練樣本,同時往往要求圖像的成像質量較好。該方法的難點之一是如何處理擁擠情況下的行人遮擋問題。
在實際應用中(如建筑物樓梯間人流量統計等),往往會遇到許多復雜場景,如檢測場景較小;行人在場景中占較大比例;行人之間出現遮擋等情況;行人的運動會影響整個場景的光照變化等。因此,傳統的方法以及基于機器學習的方法都很難取得較好的效果。本文提出了一種基于特征匹配的人流量統計方法。其核心思想是對行人穿過檢測區域這一過程的視頻提取特征,即用一個特征向量來描述這段視頻。該方法分為兩個階段:第一階段是采集少量有代表性的樣本,每個樣本由特征向量和對應的人數組成,并根據人數進行分類;第二階段是人流量統計階段,提取行人穿過檢測區域這一過程的視頻的特征向量,然后把該特征向量與樣本庫的每類樣本進行匹配,得到最佳的人數估計,然后累加每個過程中最佳人數估計,得到總人數。實驗結果表明,該方法具有較好的統計效果。
1 特征向量提取
1.1 特征向量提取區域及方法
把一段包含運動行人的視頻序列相鄰幀作差分,并將差分圖像二值化為只含0和1的二值圖像,則每幀二值化圖像中為“1”的像素點數與視頻幀數的對應關系如圖1所示。其中,橫軸表示視頻幀數,縱軸表示為“1”的像素點的個數。圖1中從第N1幀到第N2幀,即區間[N1,N2]為無運動目標通過的視頻段;從第N2幀到第N3幀,即區間[N2,N3]為運動目標進入檢測區到離開的視頻段。在下文中,稱區間[N2,N3]這樣的視頻段為“運動視頻段”。從圖1中可以清晰地看到有3段運動視頻段,從而可以提取3個特征向量分別對應這3個運動視頻段。
本文通過如下的方法從視頻序列中提取運動視頻段:首先判斷當前幀對應的差分圖像的二值化圖像中為“1”的像素點的個數,像素點個數大于閾值Nth時,認為該幀圖像中有運動目標,反之則無運動目標;然后提取連續出現運動目標的幀對應的幀數,得到這些連續幀對應的區間[a,b],計算區間的長度length=b-a。對于運動目標在場景中沒有停留的情況,運動視頻段對應一個區間,對于運動目標在場景中有停留,運動視頻段對應連續幾個區間。最后設定閾值α和β(α<β):當length>β時,該區間對應的視頻段為一段運動過程,提取該區間對應的視頻段可以得到一個運動視頻段;當α
1.2 提取特征向量
特征向量的提取是本文的重點之一,不僅在第一階段的樣本庫的建立需要提取特征向量,而且在第二階段對人流量進行統計、提取特征向量也是必須的。通過如下方法可以提取一個描述運動視頻段時域和空域信息的特征向量。特征向量提取包括圖像處理、特征圖像提取以及特征向量提取。
1)圖像處理
為了較方便地提取特征向量以及減少計算量,本文采用灰度圖像。若視頻為彩色,首先將每幀視頻圖像轉化成灰度圖像,然后提取特征圖像。反之,直接提取特征圖像。
2)特征圖像提取
首先,提取第k-1幀和第k幀灰度圖像的差分圖像Dk,k∈(2,3,?)。并根據差分圖像提取行人區域,從而提取出視頻運動段的時域信息。然后,利用Sobel算子求出第k幀X方向的梯度圖像和Y方向的梯度圖像,提取視頻運動段的頻域信息,得到fxk(x,y)和fyk(x,y),其中fxk(x,y)和fyk(x,y)分別為第k幀圖像X,Y方向的梯度圖像像素值。最后根據差分圖像、X方向、Y方向梯度圖像,通過公式(1),求出當前幀的特征圖像fk(x,y)
3)特征向量提取
在特征圖像提取階段,根據差分圖像可以得到行人在當前幀中的大致區域,以及該幀對應的特征圖像。特征圖像中存在大量的背景信息,而這些信息不是所需要的,甚至嚴重影響了有用的行人信息,使特征向量不能有效描述運動視頻段。為了提取更有效的行人信息,根據各個差分圖像行人區域,統計其對應的特征圖像中該區域的特征直方圖向量Xk=(x1,x2,?,xn)T,以及該區域總像素點的個數sumk。其中n表示劃分特征值域bin的個數。然后,累加所有特征圖像的Xk以及sumk,得到運動視頻段總的直方圖向量Xsum和總像素點個數Sum,其中
然后歸一化Xsum,得到特征向量X∈Rn。其中
2 基于特征匹配的人流量統計
常用的分類判別都是基于歐式空間,由于歐式空間受到量綱的限制,影響了系統性能。馬氏距離考慮模式特征參數的大小以及特征間的相關性,克服了歐氏距離受量綱影響的缺點。在此基礎上本文提出了基于馬氏距離特征匹配的人流量統計算法。
2.1 馬氏距離
馬氏距離[8,9]是由印度統計學家馬哈拉諾比斯(P.C.Mahalanobis)提出的,表示數據的協方差距離。馬氏距離常用平方形式表示。設Z為測試向量,M為樣本集(X1,X2,?,XK)的均值向量,C為該樣本總體的協方差矩陣,則向量Z到這個樣本均值的馬氏距離定義為
其中,均值向量M及協方差矩陣C分別為
向量Z到均值向量為M的類的馬氏距離表示的是Z與該模式類的相似性的大小,馬氏距離越小,說明模式Z與該模式類的相似程度越大;反之,說明相似程度越小。
2.2 基于馬氏距離特征匹配的人流量估計
為了估計運動視頻段中包含的人數,首先需要建立樣本庫,其流程圖如圖2所示。首先,根據特征向量的求取過程求出每個樣本運動視頻段的描述特征向量Zi∈Rn,表示第i個樣本特征向量。然后,加入標簽,即樣本序列中包含的人數Ni,從而得到帶標簽的特征向量Xi=(Zi,Ni)∈Rn+1,Ni∈(1,2,?)。本文提取了60個帶標簽的特征向量,形成一個數據庫。最后,根據數據庫中的特征向量的標簽,將樣本分為不同的類,并根據式(6)和式(7),得到一個包含不同類的均值向量MNi和協方差矩陣CNi的樣本庫。
基于馬氏距離特征匹配的人流量統計算法的核心是第二階段的人流量統計。其算法流程圖如圖3所示。具體思路為:檢測視頻序列首次出現的運動視頻段,提取該運動視頻段的特征向量。然后根據式(5),計算該特征向量到樣本庫中各個類的馬氏距離。因為馬氏距離表示的是向量與模式類的相似性的大小,如果馬氏距離越小,其相似程度越大。因此,可以通過最小的馬氏距離得到當前運動視頻段最佳的人數估計。然后提取下一個運動視頻段的特征向量,得到該階段的最佳人數估計。通過累加各個運動視頻段的最佳人數估計,實現人流量的統計。
3 實驗結果分析
本文算法采用標準C/C++語言實現,開發軟件平臺為VS2008和Open CV,算法運行環境為CPU P4 2.2 GHz、內存1 Gbyte、Windows XP操作系統的PC機。攝像頭采集的視頻幀大小為320×240、幀速20 f/s(幀/秒)、AVI視頻格式。
利用大廈中樓梯間的人流量統計來驗證本文算法的有效性,圖4是幾幀代表圖像。通過式(1)可以得到圖4b和圖4d的特征圖像,分別對應圖5a和圖5b。其中圖5a是擁有1個運動目標的場景,而圖5b是擁有2個運動目標的場景。圖5a和圖5b運動區域分別為圖5c和圖5d虛線框區域,通過統計該區域的直方圖,得到特征向量。從圖5可以看出,人的特征主要由人的外輪廓決定,這在一定程度上減少了行人服裝、配飾等物品帶來的影響。
為了進一步顯示本文算法的穩健性,與傳統的幀差法和背景建模法進行對比實驗,實驗結果如圖6所示。圖6a和圖6b為2張用幀差法求出的圖片,與圖5相比,幀差法求解的運動目標的輪廓不清晰,而且還出現了一些“空洞”。圖6c為使用高斯背景建模法仿真出來的一幅背景圖像,可以看出背景中還有人運動留下的痕跡,圖6d為對應的差分圖像。通過圖6中的4幅圖像,可以比較直觀地說明幀差法和背景建模法不適合樓梯間這種場景下的人流量統計。
表1是3種算法對2組視頻圖像的統計結果。從表1可以看出本文算法可以準確地統計人流量。對于單個行人通過的情況,檢測的誤檢率基本為零,多個行人同時通行的情況下,其誤檢率也不超過5%,低于背景減法和幀差法的誤檢率。
表2為本文算法在不同視頻下的運行的時間,可以看出本文的算法平均每秒可以檢測16~17幀圖像,運行速度基本等于輸入視頻播放速度,基本能夠保證實時性的要求。
4 小結
針對樓梯間人流量統計這類復雜環境的應用,提出了一種基于馬氏距離特征匹配的人流量估計方法。實驗結果表明,對于單個行人的檢測,本文算法基本不會發生誤檢的情況,對于多個行人的情況,誤檢率也不超過5%。而且本文算法運算速度較快,能夠同時滿足實時性和精度的要求。但是該算法還有許多地方需要改進,當場景中人數較多時,其檢測精度會下降。這個問題的解決需要依賴于樣本訓練的精度,這也是本文下一步的研究重點。
參考文獻
[1]何小映,何紅.人流量統計系統設計[J].中國科技信息,2007(14):97-98.
[2]侯俊,程燕.人流量統計視頻監控系統[J].電視技術,2009,33(2):63-65.
[3]董文明,吳樂華,姜德雷.基于背景重構的運動目標檢測算法[J].重慶郵電大學學報:自然科學版,2008,20(6):754-757.
[4]ROSSI M,BOZZOLI A.Tracking and counting moving people[EB/OL].[2010-09-20].http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=413857.
[5]PICCARDI M.Background subtraction techniques:a review[EB/OL].[2010-09-20].http://www-staff.it.uts.edu.au/～massimo/Background SubtractionReview-Piccardi.pdf.
[6]吳渝,向浩宇,劉群.一種基于網格的最近鄰SVM新算法[J].重慶郵電大學學報:自然科學版,2008,20(6):706-709.
[7]方衛寧,胡青梅,李娜,等.基于RBF神經網絡的復雜場景人群目標的識別[J].北京交通大學學報:自然科學版,2009(4):29-33.
[8]李玉榕,項國波.一種基于馬氏距離的線性判別分析分類算法[J].計算機仿真,2006,23(8):86-88.
流量統計范文第2篇
關鍵詞：路由器,IP數據包,流量數據采集,方法,特點
1. 引言
路由器是實現網絡互連的關鍵設備, 它擔負著根據數據包的目的地址選擇相應路由的任務, 網絡間的通信都必須通過路由器來完成。因此, 基于路由器IP數據包統計出一種廣為使用的計費方式, 這種計費方式使用路由器能夠按照源IP地址和目的IP地址來記錄流量的特性, 這些記錄暫時存放在路由器內存中。計費服務使用SNMP協議命令定時從路由器獲取流量記錄, 通過分析這些記錄得到IP的流量統計數據。
2. 基于路由器IP數據包統計的流量數據采集方法
因特網標準網絡管理協議SNMP, 在定義了基本的網絡管理操作的同時, 也定義了一系列支持操作語義的管理信息變量MIB, 其中就有與計費相關的MIB變量。只要對被管理對象 (通常是連接本網絡和外部網絡的邊界路由器) 作適當的配置, 其將自動記錄所有通過該路由器的進出流量。當一個數據包由路由器通過時, 路由器將搜索表中是否有與之匹配的Source Address和DestinationIPAddress對, 如果找到匹配的記錄, 則將其累加, 否則創建一個新記錄, 直到緩沖區滿為止。這些記錄可通過SNMP標準操作獲得。
例如:利用Cisco路由器提供的“showIPaccount”命令查看當前的網絡流量統計情況。不僅如此, Cisco還為流量統計功能提供了相應的SNMP訪問和控制方法。在Sisco公司為其路由器產品定義的SNMP的MIB變量的IP組中, 提供了一個IP Check point Accounting Table變量表, 通過讀取表中的值和重新設置數據過期標志, 可以連續獲取流經該路由器的網絡情況。
要利用該方法獲取網絡流量信息, 首先必須在路由器上進行必要的配置, 確保路由器對各端口的流量情況進行統計。另外, 由于獲取流量信息和保存流量信息的需要, 還應該有一臺計費服務器和相應的SNMP通信工具。此外, 由于該方法要求讀取并重新設置路由器的SNMP變量, 因此還必須對路由器的SNMP參數進行相應的配置, 確保相應的community名字具有讀寫SNMP變量的權限?；诼酚善鱅P數據包統計的數據處理流程如圖所示。
3. 依據路由器的IP數據包統計功能來實現網絡流量統計技術的特點
(1) 統計數據有效而準確, 由于獲得的數據是路由器得到的, 因此它實際反映了路由器相應端口出入的網絡流量。
(2) 基于標準的SNMP方法實現, 從而在數據采集手段上與其他網絡管理功能保持一致。
(3) 計費服務器不受地點限制。
在監聽方式中, 由于方法本身的特點, 計費服務器必須放在要計費的網段內。這樣, 如果要對多個網段計費, 就需要多個計費服務器。依賴路由器IP數據包統計的網絡流量數據采集方法只要求計費服務器能夠通過網絡訪問到路由器即可, 計費服務器具體位于哪個地點, 哪個網段內并不重要。而且用一臺計費服務器就可以完成采集所有的網絡流量數據的任務。這種方式實現的計費系統特點是實現簡單, 一般的路由器都可以做到, 并且不用增加過多的硬件。但是, 它仍然存在以下不足。
(1) 只能對IP地址進行流量計費, 不支持對用戶的流量計費, 不能防止IP地址盜用, 雖然后來采用地址綁定技術來防止IP地址盜用, 但其防范IP地址盜用的功能卻十分有限。
(2) 由于該方法依賴于路由器的IP數據包統計功能實現, 因此, 必然會額外占用路由器的CPU開銷和內存。特別是對于通信流量比較大的網絡, 存在的矛盾更加突出。在定期輪詢周期過長的情況下, 可能會導致計費緩沖區的溢出, 進而導致流量數據丟失;如果輪詢周期過短, 則無論是路由器的處理開銷還是通信線路的開銷都很大。
4. 結語
基于路由器IP數據包統計的流量數據采集方法的應用在網絡的管理中已經得到廣泛的應用, 同時也是局域網管理中的一種方便靈活的管理手段, 所以希望有更多的朋友能系統地料及和掌握基于路由器IP數據包統計的流量數據采集方法、特點等。本文從基于路由器IP數據包統計的流量數據采集方法、特點進行了簡明的闡述, 希望能對網絡研究和管理起到一定的作用。
參考文獻
[1]徐敬東, 張建忠.計算機網絡.清華大學出版社, 2003.
[2]安淑芝, 詹青龍.計算機網絡.中國鐵道出版社, 2006.
[3]思科網絡技術學院教程.人民郵電出版社, 2006.
[4]趙立群, 車東軍.計算機網絡管理與安全.清華大學出版社, 2008.
流量統計范文第3篇
伴隨著視頻監控技術的發展和普及,目前我國的主要公路上都已經部署了大量視頻監控攝像頭。除了利用這些監控攝像頭實時監控道路狀況外,越來越多的公路管理部門希望能夠利用這些視頻實現機動車輛的流量統計,以取代傳統的基于感應線圈的流量統計方法[1]。
常見的車流量統計方法一般由兩個部分組成,一個是目標車輛提取模塊,另一個是車輛計數模塊。目標車輛提取模塊主要用于提取和分割視頻中的目標車輛,因為無論采用何種方法進行車流量統計,在統計前都要用到從視頻中提取的目標車輛。目前車輛提取常用的方法為背景差分法[2],該方法首先動態生成一幅背景圖像[3,4]和一個事先設定的閾值,然后背景圖像和當前幀對應位置的像素做算術減法操作。如果相減結果大于給定的閾值那么可認為存在一個待驗證的目標車輛,然后再對相減后的圖像進行二值化、形態學和圖像分割等處理,最后提取出目標車輛。獲取目標車輛后即可執行車輛計數模塊來統計車流量。目前基于視頻的車流量統計方法主要有基于虛擬檢測帶(區域)的方法[5,6,7]和基于運動跟蹤的方法[8,9],其中又以虛擬檢測帶法應用較為廣泛。虛擬檢測帶法的主要思想是在車道上設置一條虛擬檢測帶,當車輛通過該虛擬帶時,虛擬檢測帶上像素的灰度值將會發生顯著的變化,通過統計虛擬檢測帶上的像素變化的次數來統計道路上的車流量。虛擬檢測帶方法簡單高效,但其也有明顯的不足,因為除了車輛通過檢測帶會引起像素灰度值的變化外,如樹蔭的移動、燈光的變化等都會導致誤檢。尤其是在夜晚光照環境復雜的情況下,該方法基本失去了檢測能力。運動目標跟蹤是另一種常用的車流量統計方法,該方法追蹤運動的車輛目標,利用運動目標軌跡數量來統計車流量。相較于檢測帶方法,該方法在進行車輛計數時不依賴特定區域的像素值的變化,因此具有一定的魯棒性。但由于實際的道路狀況非常復雜,在道路上的運動目標并不全都是運動的車輛,因此在全天候的道路環境下該方法的準確率也不是很高。例如在夜晚光照復雜的環境下,由于車輛開啟了遠光燈,所以在車輛前方的位置會形成移動的光團,光團移動過檢測帶時,檢測帶會誤認為有車輛通過造成誤檢。同時光團本身也是運動的目標,所以采用跟蹤法也會造成誤檢。
本文通過對現有大量公路視頻和已有車流量統計方法的研究和分析,提出一種可適用于全天候環境下的基于支持向量機學習的車流量統計方法。該方法包括軌跡分析和車輛識別兩個部分。在軌跡分析部分,首先利用追蹤算法獲得運動目標的軌跡,并保存在鏈表集合中,然后把這些軌跡進行人工分類后供支持向量機學習,通過學習得到的分類器來判斷某一軌跡是否是真實的車輛軌跡。在車輛識別部分,首先從真實軌跡中提取出運動目標,同樣是利用人工對這些目標進行區分,然后供支持向量機學習,再利用獲得的車輛分類器來判斷軌跡中的運動目標是否是車輛或是其他物體。最后通過統計真實軌跡和真實軌跡中真實車輛的數量來實現車流量的統計。
1 目標車輛提取
車流量統計方法的準確率直接依賴于目標車輛提取的準確性,通過查詢文獻和實驗比對,本文采用如圖1所示步驟提取目標車輛。首先利用高斯模板和中值模板對待處理視頻幀進行降噪處理,再利用高斯混合模型方法動態更新背景圖像。然后執行背景差分操作,即圖像算術減操作,對得到的結果進行二值化處理后,再執行形態學的膨脹和腐蝕操作來獲得連通分量。最后利用行列掃描標記方法[5]來提取連通分量,每個連通分量即一個待提取的目標車輛。由于在實際的公路視頻中會出現車輛陰影和車輛遮擋的情況,所以在獲取了目標車輛后需要執行陰影處理和遮擋處理。在本文中采用基于HSV色差模型的陰影檢測方法[10]來抑制車輛陰影,遮擋處理則是采用基于橢圓擬合的方法[11]。
2 基于軌跡分析和類型識別的流量統計方法
為了克服虛擬檢測帶法和跟蹤法的不足,本節給出一種新的車流量統計方法。該方法首先提取出運動目標,然后執行多目標跟蹤算法獲取每個運動目標的運動軌跡,并提取每個軌跡的特征進行學習,最終獲取真實車輛的運動軌跡。對獲取的真實軌跡,再提取軌跡目標的若干特征,并對這些特征進行學習以區分哪些是真實的車輛,哪些是誤檢,最后統計真實軌跡中的真實車輛來實現車流量的統計。
使用支持向量機SVM[12]作為軌跡分析和類型識別的機器學習方法,利用SVM對軌跡特征和車輛特征進行提取并進行訓練以獲得分類器,再利用該分類器對車輛軌跡和車輛類型進行分類。支持向量機是建立在統計學習理論和結構風險最小理論基礎上的一種高效的機器學習方法,它非常適用于小樣本、非線性和高維度的分類應用中。SVM將特征向量映射到高維空間,然后在高維空間中構造決策超平面使不同類的數據間隔取得最大,從而獲得最好的分類效果。同時SVM無需大量訓練樣本,分類效果僅取決于支持向量,所以在訓練分類器時僅需要少量的具有代表性的軌跡和類型樣本即可。
2.1 運動目標跟蹤
考慮到相鄰兩幀的運動目標的位移非常小,且車輛運動的方向基本恒定,因此同一目標在相鄰兩幀中的空間位置大部分是重疊的。所以可對相鄰兩幀所有的運動目標兩兩進行位置匹配,重疊程度最大的兩個目標即可看作是同一運動目標,從而實現運動目標的軌跡跟蹤,并且把每條運動軌跡存放在一個單鏈表中,即每個單鏈表保存一條軌跡的所有信息。具體算法步驟如下:
步驟1假設fi代表視頻的第i幀,并且提取出的運動目標為m個,令fij代表從視頻的第i幀中提取的第j個目標,并且1≤j≤m,初始狀態下i=0、j=1,并設置單鏈表集合L為ф。
步驟2比較fij與fi0+1,fi1+1,…,fin+1,其中n表示i+1幀中提取的運動目標數量。選取位置最大重疊的運動目標作為匹配的跟蹤目標,然后在鏈表集合L中(即軌跡集合)找出對應的鏈表,把匹配的目標放入鏈表的后續節點中。如果沒有匹配成功,說明該運動目標是一個新的目標,會產生一條新的軌跡。因此需要開辟一個新的鏈表放入鏈表集合L中。
步驟3令j=j+1,然后重復步驟2,直到j=m時轉步驟4,即fi幀中的所有目標都和fi+1幀中目標匹配完畢。
步驟4令i=i+1,重復步驟2和步驟3,直到所有的視頻幀被遍歷完,最后輸出鏈表集合L。
通過本節的運動跟蹤算法,每一運動目標都將生成一條軌跡,每個軌跡都保存在一個鏈表中,鏈表中的每個節點保存的是對應一幀中跟蹤成功的運動目標,在視頻掃描結束后將產生一個包含所有運動目標軌跡(鏈表)的集合。
2.2 運動軌跡分析
在取得所有運動目標的軌跡后,下一步需要對這些軌跡進行分析,以判斷哪些是真實的軌跡。采用機器學習的方法進行分析,具體是通過支持向量機來鑒別真實的車輛軌跡。首先從每條軌跡中抽取一個特征向量vtrack=(v1,v2,v3),然后人工對訓練樣本進行分類并供SVM學習從而得到分類器Ctrack。在抽取特征向量前先把運動軌跡平均等分為3個子軌跡,分別對應3個子特征向量,即每個子軌跡抽取4個特征最終構成一個完整12維的特征向量v。
其中,(xistart,yistart)代表子軌跡i第一幀中運動目標外接矩形的中心坐標,對應地,(xilast,yilast)代表子軌跡i最后一幀中外接矩形的中心坐標。并且,filast和fistart分別代表子軌跡i最后一幀和第一幀的幀號。最后把軌跡集合中每個軌跡的特征向量歸一化后輸入Ctrack以剔除非車輛運動的軌跡。
2.3 車輛類型識別
利用軌跡分析可以去除非車輛運動軌跡,但在某些特殊環境下有些非車輛運動目標的運動軌跡和車輛軌跡非常相似,例如,夜晚由車輛遠光燈照射生成的移動光團。對此類軌跡還需判斷該運動目標是否是真實的車輛,因此選擇在軌跡分析后再對軌跡中運動目標進行識別以最終確定通過的車流量。
在本節中利用車輛類型識別技術[13]來識別車輛,但相較于傳統的車輛多類型分類識別,我們僅僅需要區分運動目標是否為車輛,因此本文訓練了一個基于SVM的分類器來區分車輛和其他目標。具體方法是從軌跡鏈表中抽取中間一個節點中保存的目標,并人工對目標進行篩選得到若干正例和反例作為訓練樣本。然后對每個目標樣本抽取9個特征構成一個9維的特征向量供SVM訓練,得到一個車輛分類器Cvehicle。再利用Cvehicle對運動目標進行區分,以判斷哪些是真實的車輛,最終輸出的真實車輛的數量即為統計得到的準確的車流量。具體抽取的9個特征中指的是運動目標的面積,指的是目標外接矩形的長寬比,指的是目標區域的灰度均值和灰度方差。代表目標區域的Harris角點[14]數量,代表目標區域的Surf特征[15]數量,為目標區域利用Hough直線變換[16]得到的直線段的數量。代表的是目標區域的MSER特征[17]數量,為MSER區域面積和目標面積之比。
2.4 實驗結果與分析
為驗證和分析本文方法,從廈門市公路局提供的監控視頻中選取了三段不同天氣環境下具有代表性的視頻。視頻1為正常日光環境下的監控視頻,其中包含301個真實車輛。視頻2為陰雨天氣環境下的視頻,其中包含79個真實車輛。視頻3代表的是夜晚復雜光照環境下的視頻,其中包含96個真實車輛。在實驗中把每個視頻分為兩部分,前一部分作為訓練用視頻,提取出運動目標后作為訓練樣本人工進行分類供SVM訓練學習,后一部分作為待檢視頻。算法的計算環境為Core i5處理器,8 GB內存,Win 7操作系統,編程環境為VC++與Open CV 2.49。在實驗中選擇準確率(precision)作為實驗結果的評價指標,它的定義如下:
其中hit代表檢測正確的車輛數目,false代表檢測錯誤和漏檢的車輛數量。為比較本文方法效果,我們也對3段視頻使用了基于虛擬檢測帶的方法和基于運動跟蹤的方法進行比較。表1給出了兩種檢測方法的實驗結果。
從表1中可以看出,本文方法在各種環境下的效果都要好于其他檢測帶法。尤其是在夜晚等光照環境較為復雜的情況下本文方法仍有較高的準確率。通過分析,我們發現正是由于軌跡分析和車輛識別的使用降低了誤檢車輛的數量,從而大大提高了車流量統計的準確率。圖2展示了一個夜晚環境下的車輛計數的例子,其中(a)是一幅包含運動車輛的視頻幀,(b)是提取到的二值化運動目標,(c)是經過邊緣提取處理后的圖像,(d)為在視頻幀中標識出的運動目標。因為車輛遠光燈的照射,所以在車輛前方的路面上形成了一個伴隨車輛移動的光團。如果采用檢測帶法,那么當光團通過檢測帶時必然會引起檢測帶像素灰度的變化,從而造成誤檢。如果采用運動跟蹤法,由于移動的光團也會形成一條類似于車輛的軌跡,所以也會造成誤檢。但本文方法由于運用了軌跡分析和車輛識別技術,所以可以排除那些非車輛的運動目標和軌跡。此外,在實際的道路流量監控中僅需統計機動車的流量,對于非機動車的運動(例如行人、自行車等)應不予以統計。圖3展示了一個陰雨天非機動車的例子,由于自行車的移動也會引起檢測帶的像素變化,并形成一條類似于車輛的軌跡,所以檢測帶法和跟蹤法都會進行計數,但本文方法通過識別車輛可以排除該運動目標。
3 結語
流量統計范文第4篇
隨著Internet技術和網絡業務的發展, 計算機網絡已成為社會科研生產的重要平臺。用戶對網絡資源的需求及網絡用戶和應用的空前增長, 導致網絡設備超負荷運轉, 引起網絡性能下降。為此需要對網絡的性能指標進行提取與分析, 以對其進行改善和提高。于是網絡流量監測技術便應運而生。
一、網絡流量監測
1.1網絡流量監測的常用方法
網絡流量監測的主要方法如下:
主機內嵌軟件監測:在主機內安裝流量監測軟件以完成流量監測任務。通過軟件套接字嵌入軟件截獲往返通信內容。其優點是能夠截獲全部通信報文, 可以進行各種協議層的分析, 但不能看到全網范圍的流量情況。
基于SNMP協議的流量監測:通過提取網絡設備的MIBII中收集的一些與具體設備及流量信息有關的參數而實現。其優點是使用軟件方法實現, 不需要對網絡進行改造或增加部件、配置簡單、費用低。缺點是只包括字節數、報文數等最基本的內容, 不適于復雜的流量監測。
基于Netflow的流量監測:此監測方法提供的流量信息擴大到了基于五元組的字節數和報文數計數, 可以區分到各個邏輯通道上的流。由于功能的復雜性, 支持Netflow就需要在網絡設備上附加單獨的功能模塊。
基于硬件探針的監測:將硬件探針串接在需要捕捉流量的鏈路中, 通過分流鏈路上的數字信號而獲取流量信息。但檢測方式受限于探針的接口速率, 而且探針方式監測的是單條鏈路的流量。
1.2網絡流量監測的常用軟件
目前網絡流量監測的專業軟件包括Net Flow、
MRTG、sFlow。
NetFlow是Cisco開發的流量統計協議, 其設計的目的是用于對經過交換機的IP數據流 (Flow) 進行詳細的測量和統計, 通過在交換機內部對流經設備的所有包進行捕捉, 并依據流進行聚類。NetFlow可以在交換機內部捕獲流經設備的所有數據流信息, 并將這些網絡流量信息發給流量分析服務器。
MRTG是一個流行的監測網絡鏈路流量負載的軟件。MRTG把一段時間內的流量數據以曲線圖的方式繪制成PNG圖像。不僅能反映出當前流量, 也能反應前后流量的對比, 使用方便。
sFlow是由InMon公司開發的一種基于統計采樣的流量監測技術, sFlow技術為在ASIC中嵌入智能化功能來收集網絡流量信息提供了一種方法。sFlow使用基于時間或者數據包采樣的流量分析技術, 當采樣值達到一定數量時, 其測量完全能滿足高精度要求。
二、網絡流量及異常分析
2.1網絡流量分析
流量分析系統主要從帶寬、網絡協議、基于網段的業務、網絡異常流量、應用服務異常等五個方面進行流量分析。
對于一個復雜的網絡系統, 為了保障重要應用的帶寬需求, 通過基于帶寬的網絡流量分析會使其更加明確。對網絡流量進行協議劃分, 針對不同的協議進行流量監控和分析, 如果某一個協議在一個時間段內出現超常暴漲, 就有可能是攻擊流量或蠕蟲病毒出現。流量分析系統可以針對不同的VLAN來進行網絡流量監控。大多數組織都把不同的業務系統通過VLAN來進行邏輯隔離的, 所以可以通過流量分析系統針對不同的VLAN對不同的業務系統的流量進行監控。
2.2異常流量分析
網絡流量分析的內容較為豐富, 但基于實際情況, 網絡異常流量的判斷分析極為重要。引發異常流量的主要原因通常是病毒發作和黑客攻擊[4], 另外還有局域網內部的病毒、P2P軟件及網內的攻擊所造成的影響[4]。
網管人員非常希望在有異常流量時能及時收到警報并進行監控與分析, 找出異常流量發生的原因、位置與解決方法。要及時準確地發現網絡異常流量, 最有效可行的辦法就是在企業網內部安裝部署全網性能綜合管理系統, 以對網絡鏈路、設備、端口的狀態和流量進行實時監控, 及時發現并解決問題, 保證網絡暢通。
三、實例分析
某單位園區網有一段時間網絡嚴重擁塞, 網管人員仔細檢查網絡物理鏈路、網絡設備及設備配置等, 均未發現問題, 初步判斷是由于網絡異常流量所致。下面是依據該單位部署的綜合網絡管理平臺所作的異常流量監控、分析過程。
從圖1所反應的數據中可以看出企業內部各VLAN與核心交換機之間的通信情況, 包括連接狀態及從核心交換到各VLAN之間的流入、流出信息量, 此時如果某個VLAN有較大異常流量, 則在流入、流出量上可以反應出來, 并可以在此定位發生異常流量的VLAN段, 以作下一步監控分析。
如某VLAN有異常流量, 可進入該VLAN, 察看該VLAN內的所有交換機, 以確定異常流量用戶機所在的接入交換機。由圖2可見正常情況下網絡流入、流出量均較小且基本均衡。
當該VLAN內有異常流量流入或流出時, 信息流量會有很大的增加, 或信息流出量就會遠遠地大于信息流入量。如圖3所示, 某VLAN一時段的信息流出量 (52.4M/s) 遠遠地大于流入量 (0.28M/s) 。很可能此時該網段內出現了異常流量, 再進一步察看該網段內的所有接入交換機的流量信息, 發現其它交換機信息流量都較正常, 但有一臺交換機流量信息存在明顯異常。如圖4所示:
該交換機信息流出量 (47.46M) 遠遠大于信息流入量 (0.01M) 。進一步察看該交換機出流量信息, 如圖5所示:
圖5中橫軸為時間 (單位分鐘, 每5分鐘取樣一次, ) 豎軸為流量 (單位兆字節) 。分析上圖可知, 這臺交換機上可能有一臺或幾臺電腦中了木馬或其它病毒, 正在向外大量地發包, 以致有一個基礎流量不間斷地流出, 造成了網絡擁塞。
通過綜合網絡管理系統所進行的流量分析, 可定位流量異常電腦的IP地址和異常流量的應用端口, 發現有一臺IP地址為192.169.33.30的電腦通過UDP-9999端口, 以34.52Mbps的速率向外網的一個IP地址為218.90.214.114的設備發包, 如圖6所示:
找到了發生異常流量的IP地址, 并找出與其對應的網卡的MAC地址, (該單位網絡采用MAC與IP地址的綁定) 就可以定位其在接入交換機上的接口, 如圖7所示。
然后關閉該端口一段時間, 可以看到在端口關閉期間該接入交換機的出口流量幾近為零。一段時間后又重新打開端口, 則其出口流量又恢復到了34.52Mbps。如圖7所示 (框區內為異常流量機端口關閉時段) 。
此實驗反復了數次, 得到了相同的結果。到此已確定發生異常流量的電腦。后續工作是首先斷開該電腦的網絡連接, 再查殺病毒, 清理木馬甚至重裝操作系統。處理完畢后再查看該VLAN流量已恢復正常。如圖8示。
到此為止, 一個因異常流量引起的網絡擁塞故障已被解決, 網絡恢復到了正常運行狀態, 該單位的科研生產得到了保障。
四、結論
引起網絡異常流量的因素很多, 監控和分析方法也多種多樣, 本文的應用舉例部分只是根據筆者所在單位的實際情況進行的例證分析。分析的切入點和方法也不盡相同, 鑒于篇幅有限沒有詳述?？傊? 只有及時發現網絡異常流量, 準確定位網絡異常流量源, 才能夠對癥下藥, 清除引起網絡異常流量的病毒、黑客及P2P軟件等, 保證網絡暢通, 使合法服務與數據順利傳輸。H
參考文獻
[1]孫知信.網絡異常流量識別與監控技術研究[M].北京:清華大學出版社, 2010.
[2]蒲天銀, 秦拯.基于Netflow的流量異常檢測技術研究[J].計算機與數字工程, 2009 (7) .
[3]謝喜秋, 梁潔, 彭巍, 等.網絡流量采集工具的分析和比較[J].電信科學, 2002, 4:63-66.
[4]趙玉秀.異常流量對網絡的影響及檢測方法[J].科技信息, 2008 (3) .
[5]何月梅, 王保民, 張青.網絡流量與入侵檢測研究[J].通信技術, 2009 (02) .
[6]裴唯, 袁小坊, 王東, 等.城域網應用層流量異常檢測與分析[J].計算機應用研究, 2010, 27 (6) :2222-2225.
流量統計范文第5篇
移動互聯網時代, 傳統的通信運營商面臨著管道化、邊緣化的危險, 逐漸陷入流量的幾何增長帶來的建設, 維護成本與市場收入的“剪刀差”效應的困境[1]。如何創新地做好流量經營以提高運營商在移動互聯時代的市場收益份額, 促進傳統電信運營商從技術、經營、管理等方面進行轉型成為全球通信業的一大課題。本文講述了流量經營幾個重要的概念和思路, 并基于中國電信3G網絡的話單平臺, 提出一種可行性高的流量識別的技術, 聯合其他平臺開展“用戶畫像”, 助力流量經營。
2 流量識別與流量經營
流量經營是指在智能管道 (物理網絡) 與綜合平臺 (商業網絡) 的依托下, 以擴大流量規模、提升流量層次、豐富流量內涵為經營方向, 以釋放流量價值為目的的一系列理念、策略和行動的集合[2]。2G時代, 通信需求都是同質的 (話音或短信) , 可累積的顆粒, 擴大規模是提升價值的惟一途徑, 到了移動互聯網時代, 信息需求是異質性的, 不可累加的, 單純追求規模會陷入成本與收入失衡的境地。豐富流量內涵即是在加強對流量的深度解析, 解析其中蘊含的需求信息后, 實現更多的服務場景, 提供差異性服務。提升流量層次意味著運營商進入互聯網企業參與表層網絡運營。作為后進入這一領域的傳統電信運營商, 必須慎重進入應用開發的領域, 應提供一個好的聚合平臺, 采取平臺適度開放 (開放API) , 抓住信息核心 (郵箱、IM、云計算等) , 開展深度合作 (終端定制、應用開發) 的穩健策略為佳。
流量經營, 必須“先可識別, 才可經營”。數據流識別, 網絡行為可視化是智能化流量經營的基礎和前提, 工程師應能對網絡承載的業務進行區分, 能夠對用戶的網絡行為進行確定, 清晰掌握網絡流量分布及業務分布, 這其中包括用戶身份、業務類型、終端類型、地理位置、使用習慣等信息獲取。只有獲得流量的識別信息, 差異化服務的提供和個性化的用戶體驗才能變為可能, 才能為市場推廣、資費套餐和網絡資源規劃制定提供參考。只有這樣, 才能達到“用戶, 業務需求識別——差異化服務提供——針對性營銷提升價值——提升流量價值和需求層次”的良性循環, 實現運營商在移動互聯時代的流量盈利增加 (見圖1) 。
3 基于話單分析的流量識別技術
業界關于流量識別技術有很多種類, 比如深層包檢測技術 (DPI) 、端口分析法、基于靜荷特征分析法、特征流量識別等[3]。然而, 以上技術大多仍處于實驗室階段, 或者需要在網絡節點上添加新設備, 現階段推廣性和實用性仍舊不強。EVDO網絡用戶呼叫數據 (話單數據) 是記錄每個用戶實際呼叫過程中的網絡狀態及用戶信息的數據, 在一定程度上反映了用戶感知和業務使用情況。本文介紹一種基于話單平臺的流量識別技術, 適合現網能力, 能夠快速布置, 同時結合其他業務平臺的數據進行聯動分析對虛擬社交網絡進行“用戶畫像”, 明確用戶需求和行為模式, 進而改進服務, 創新產品。
3.1 用戶及業務的識別技術
筆者認為, 為實現用戶和業務的識別能力快速布置, 可根據話單的IMSI維度和指標統計維度綜合定位客戶和業務[4]。用戶可根據IMSI和客戶關系管理系統 (簡稱CRM) 的對應關系確定。無線3G可定位業務類型如下, 根據連接時長、流量, 占空比等指標的組合可以區分出七種業務類型 (具體閾值可按需設置) :長期性下載1 (ftp, BT下載) 流量大、連接時長長、占空比大;長期性下載2 (頁面下載) 流量較大、連接時長長、占空比大;大流量短期突發 (wap, http, 微博) 流量大、連接時長長、占空比小;小流量短期突發 (IM通信, 如QQ, msn) 流量小、連接時長長、占空比小;前反向平衡 (視頻會話) 前反向流量平衡;上傳型;其他類型。用戶感知度是一種主觀感受, 是用戶期待與網絡能力的一種比較, 是與用戶使用的特定業務類型相關, 用戶使用不同的業務, 對網絡的表現有不同的期待, 因此滿足感不是某一個網絡能力均值可以體現。所以, 根據每條話單, 針對不同的業務類型可以定義出用戶期待服務速率值, 進而與對應的DRC申請速率, 前向吞吐率進行比較, 反映出用戶真實感知度。
3.2 虛擬社交網的“用戶畫像”技術
移動社交網絡 (SNS) 是用戶信息最密集、用戶付出時間最多的平臺式應用, SNS的核心是人, 本質是用戶互動與信息共享。圍繞用戶及用戶關系, 用戶與網絡的關系, 運營商可對SNS上的流量進行分析, 對用戶進行“畫像”。用戶既是個性化信息供給者也是個性化信息需求者, 其業務數據也可整合入并統一結構化, 以便呈現和調用。運營商掌握了大量的用戶信息, 這些沉默的財富如何進行引導, 市場化是流量經營的關鍵。通過話單掌握了用戶和業務的信息, 若能夠再結合其他維度數據做聯合分析, 我們可以輕易繪制出某一名用戶的網絡社會屬性, 見表1。
還有諸如手機支付行為、APP應用、業務細分等, 這些還有待流量識別技術進一步成熟才能充分實施?，F階段, 我們應從利用現有算法逐個維度突破, 并綜合各種平臺數據進行分析, 以數據倉庫的形式, 提供可定制化, 多維度的的整合分析能力供各個部門實現流量分析, 比如廣東電信的X翼平臺結合話單和前臺CRM數據進行用戶的終端分析的嘗試, 實現了終端種類分析, 新入網終端性能監測, 終端類隱性故障排查等。只有當用戶、業務、終端種類被區分, 只有當數以萬計的用戶的網絡屬性表被繪制, 對于運營商, 流量才從同質的轉變為異質。通過信息的整合和沉淀, 展現給市場部門, 合作伙伴是栩栩如生的數據資源, 并可為其提供需求定義, 業務推廣和場景預測方面的支持 (需要注意的是, 后臺數據結構化、業務化、表層化, 而非個人化, 這樣有助于降低商業應用中的隱私爭議) 。
4 流量經營的策略
專注流量經營, 挖掘數據流量中蘊涵的價值進行經營, 從以“話務量”為中心的經營轉向以“流量”為重點的舉措, 將成為運營商在移動互聯網時代轉型的戰略關鍵。
4.1流量識別助力流量經營
采用SZ市某位用戶的EVDO的話單數據, 進行話單處理 (對每條話單進行業務類型分類, 滿足比=Sum{if (M I N (DRC申請速率, 前向吞吐率) >用戶期待服務速率, 1) }/業務連接次數×100%) 。整理結果見表2。數據顯示, 具有短時長、小吞吐量、反向流量小的業務特征, 定位為終端為三星i系列手機, 該名用戶較多使用微博、QQ等社交軟件, 用戶感知度大致滿意, 但使用3 G網絡作為下載業務時, 用戶感知較差, 該用戶主要活動區域為福田和南山區后海, 其他的屬于市場營銷范疇的套餐消費情況, 涉及隱私的1x通話記錄等人際網關聯分析, 本例子就不提及。
聯合CRM平臺, 完善單個用戶, 乃至多個用戶的業務分析, 行為模式以及社會屬性表之后, 運營商在流量經營的策略上不僅需要技術方案, 同樣需要從經濟角度采用適度的控制策略對流量進行管控, 點面結合, 既照顧個性化需求, 又要權衡全網。從點出發, 篩選出滿意度差的TOPN用戶列表做好回訪, 主動優化, 避免用戶不滿情緒累加導致退網;定位出低價值用戶 (3G/1x占比小) , 通過促銷推廣, 牽引其向高價值用戶發展;對于濫用網絡資源的用戶 (業務占比以長期下載類型居多) , 制定分級的資費策略限制, 并牽引用戶的業務使用取向 (短信推送建議用戶使用WLAN) , 平滑整網壓力。從面出發, 通過為套餐設定流量上限值, 或者以資費為調節杠桿采用流量價值分級管理, 約束長時間占用帶寬的業務和小部分耗占網絡資源的用戶。若將用戶群的行為模式圖重疊, 將得出3G熱點區域, 將為網絡建設規劃提供詳盡的分析數據;通過有針對性地布置WLAN進行分流或者部署多載波, 緩解網絡資源緊張狀況, 用更便宜、更豐富的光網絡資源來緩解無線頻譜資源的有限性;同時持續推進1x, EV DO, W LA N, LTE四網的協同機制工作, 做好四網分流;引入新技術, 比如ANDSF技術[5], ANDSF會根據用戶位置查找所處的位置是否有WLAN網絡, 并向終端發送相關WLAN的信息, 指導用戶接入WLAN網絡, 此外運營商還可以在ANDSF上配置相關的策略 (比如, 針對帶寬吞噬者, 針對ptp業務等) , 更精細地指導用戶向WLAN網絡分流。
4.2 以現網能力為基礎, 逐步提升的流量經營策略
3 G P P標準體系將策略控制和基于流的計費進行融合后提出了PCC (Policy and chargi ng cont rol) 架構[6], 即策略和計費控制功能架構。PCC體系下的網絡資源管控實現根據用戶服務等級、不同時間、不同地點、不同業務類型等進行分組數據業務Qo S (服務質量) 控制的目標。然而, 3GPP僅定義了PCC架構中基本的網元功能和接口流程, 適合運營策略管控規則及方案仍需要運營商來確定, 目前正進行研究之中。工程師既要利用好現網技術特點開展流量經營工作, 也要不斷研究, 完善在移動互聯網中引入PCC體系的工作。根據以上分析, 提出契合現網能力的流量經營方案及下一步策略 (見表3) , 主要分為四個維度:客戶、終端、網絡、市場。
5 結束語
現階段, 電信運營商要立足本分, 以質量為根做好網絡性能維護, 以人為本做好用戶體驗關注。流量經營應以現網能力為基礎, 先通過一系列小范圍的試點, 從小技術平臺進行突破, 隨著技術進一步發展, 網絡進一步升級, 我們再逐步擴展網絡能力, 分階段提升管道智能化, 通過聚合平臺構建一個移動互聯網的繁榮的商業生態, 從而促使傳統通信運營商完成向信息服務提供商角色的全面轉型。
摘要：針對運營商進入3G, 4G時代所面臨的流量增長與收入不符的現狀, 本文指出流量識別, 流量經營是當前運維3G, 4G無線網的關鍵?；诂F有3G網絡的話單平臺, 文中提出一種簡易、可行的流量識別技術, 聯合其他業務平臺對虛擬社交網絡進行“用戶畫像”, 以此來指導流量經營, 最后結合實際應用案例進行說明, 為電信運營商建立有效的流量經營模式提供了參考。
關鍵詞：3G,4G,移動互聯網,流量識別,流量經營
參考文獻
[1]龔勉, 王旭昊.電信運營商流量經營現狀及流量經營轉型的策略研究.通訊管理與技術, 2012年4月02, p41-42.
[2]談燕, 賀仁龍, 邱晨旭.移動互聯網流量經營數據分析與案例研究.電信科學, 2012年第2期, p32-35.
[3]李江濤, 姜永玲.P2P流量識別與管理技術.電信科學, 2005年第3期, P57-60.
[4]林青群.3G無線網優中QoE體系的構建與應用.電信科學, 2012.5A.
[5]許慕鴻.移動網中的WLAN分流技術.電信網技術, 2011年11期.