數據流量預警系統論文范文第1篇
一、現金流量預警指標構建
(一) 文獻回顧
早在1966年Beaver就發現現金流量/債務總額指標能夠有效的對企業發生財務危機做出預測;1980年Ohlson又以1970年-1976年間破產的105家公司作為研究樣本, 用多元邏輯回歸方法分析建模, 結果發現公司規模和當前的變現能力這兩個指標的預警準確率達到96.12%。
國內在這方面主要的研究方向有兩個: (1) 單純研究現金流量指標, 如:韓良智 (2002) 、章之旺 (2004) 、敬文舉 (2009) 等, 借助于現金流量指標進行財務風險或財務危機的趨勢判斷; (2) 對預警模型進行研究, 如:周娟, 王麗娟 (2005) 、張艷秋 (2010) 、聶麗潔, 趙艷芳, 高一帆 (2011) 等研究表明, 用多元Logistic回歸模型進行財務預警研究準確性高, 能起到較好的預警效果。
(二) 現金流量預警指標體系
本文從償債能力、運營能力、盈利能力、成長能力、財務彈性以及現金流量結構等六個方面共選取了27個指標, 建立一套以現金流量指標為主要指標, 其他財務指標為輔助指標的財務預警指標體系。 (1) 償債能力指標體系。主要指標:現金比率 (V1) 、現金流量比率 (V2) 、債務保障率 (V3) 、現金到期債務比 (V4) 、現金流量利息保障倍數 (V5) ;輔助指標:流動比率 (V6) 、速動比率 (V7) 、資產負債率 (V8) : (2) 營運能力指標體系。主要指標:現金及現金等價物周轉率 (V9) 、營運資金周轉率 (V10) ;輔助指標:應收賬款周轉率 (V11) 、存貨周轉率 (V12) 、應付賬款周轉率 (V13) ; (3) 盈利能力指標體系。主要指標:營業收入現金比率 (V14) 、全部資產現金回收率 (V15) 、每股現金凈流量 (V16) 、每股經營性現金凈流量 (V17) ;輔助指標:凈利潤/銷售收入 (V18) ; (4) 成長能力指標體系。主要指標:經營活動現金凈流量增長率 (V19) ;輔助指標:營業收入增長率 (V20) 、凈利潤增長率 (V21) ; (5) 財務彈性指標體系。主要指標:現金適合比率 (V22) ;現金再投資比率 (V23) ; (6) 現金流量結構指標體系。主要指標:全部現金流量比率 (V24) ;經營活動產生的現金流量凈額 (V25) ;投資現金流入流出比 (V26) ;籌資現金流入流出比 (V27) 。
二、研究樣本
本文選取2007-2012年間首次被ST的深、滬兩市A股102家上市公司作為研究對象, 樣本的分布為房地產行業12家, 制造業共81家, 商業1家, 綜合類8家。另外, 本文按照1:1的比例并按照與所選ST公司同行業、同時期、規模相同或相近的原則選取配對樣本并選取上市公司在被ST的前三年內的數據進行預測。
三、指標的篩選
本文對指標做T檢驗以篩選出可用指標。在檢驗時為了更好地區分, 假設0為財務正常的企業, 1為財務危機的企業。為方便結果對比, 本文將以發生財務危機T-1年、T-2年和T-3年的指標進行顯著性檢驗。結果顯示:在企業發生財務危機的第T-1年有13個指標通過顯著性檢驗;在企業發生財務危機的第T-2年共有12個指標通過檢驗;在企業發生財務危機的第T-3年共有9個指標通過了顯著性檢驗。
四、Logistic回歸模型的建立
由于采用Logistic回歸分析的方法建模, 限制條件較少, 可應用性較強, 并且在研究上市公司財務風險問題時, 結果只有發生財務風險和不發生財務風險兩種情況, 即因變量只有兩個定性的值, 所以可以運用二元Logistic回歸模型。將以上篩選出的指標代入模型并用SPSS17.0運行模型, 得出以下分析結果: (見表1)
由T-1年的回歸結果可以看出, 回歸的顯著性sig.<0.05, 該結果說明自變量能夠較好地解釋因變量, 模型擬合效果好, T-1年的回歸方程式可表示為:
用同樣的方法可以得到T-2年的回歸結果, 結果顯示, 顯著性很高, 均小于0.05, 回歸結果說明自變量能夠較好地解釋因變量, 模型擬合效果好, T-1年的回歸方程式可表示為:
同樣的, T-3年的回歸方程式可表示為:
五、模型的實證檢驗效果
根據以往研究經驗, 二元Logistic回歸模型通常P=0.5作為判別的臨界值, 當P值大于0.5時, 企業發生財務危機的可能性較大;否則, 發生財務危機的可能性較小。為了檢驗模型是否有效, 本文首先分別以配對的樣本公司被ST前三年的的數據帶入模型進行檢驗, 檢驗結果如表2至所示:
(1) 樣本公司的檢驗
上述結果表明:本文所建立的財務危機預警模型是有效的, 并且, 離樣本公司被ST時間越近, 預測結果越準確。
(2) 預測組的檢驗
本文從前述符合條件的上市公司中隨機選取25對樣本公司為預測組樣本, 并對其被ST前1年的數據進行檢驗, 結果如表3所示:
六、研究結論
對樣本公司檢驗的結果表明:Logistic回歸模型在企業被ST前1年的預警準確度較高為86.85%, 誤判率僅為13.15%。且危機發生前三年對樣本公司的預測精度仍能達到70.4%, 說明Logistic回歸模型預警具有較好的預警效果。
對預測組的檢驗結果表明:在公司被ST前1年, 25家財務健康的上市公司中只有3家被誤判, 預測準確率達到88%;配對的25家財務危機的上市公司中有5家的預警結果被誤判, 預警的準確度達到80%, 綜合預警準確度達到84%。
摘要：文章從現金流量的角度選取指標并構建財務危機預警指標體系, 以二元Logistic回歸的方法建立財務危機預警模型。最終的研究結果說明該模型對財務危機的預警效果較好。
關鍵詞：現金流量預警指標,Logistic回歸模型,實證檢驗
參考文獻
[1]Beaver W.H., Financial Ratios as Predictors of Failure Empirical Research in Accounting Research Supplement, Vol.5, 1966:71-111;
[2]Ohlson.J.A.Financial Ratios and the Probabilistic Prediction of Ban Ptcy[J].Journal of Accounting Research, 1980 (1) :109-231;
[3]韓良智.淺議上市公司的經營現金流量[J].內蒙古科技與經濟.2003 (1) :1-5;
[4]章之旺.2004.現金流量信息含量與財務困境預測[J].現代財經 (8) :26-31;
[5]敬文舉.企業財務預警評價指標體系設計與應用研究[J].會計之友2009 (9) :17-19.;
數據流量預警系統論文范文第2篇
現有的地質災害預警系統以處理氣象信息為主, 也有系統利用巖土體下滑位移或地聲、地壓等監測信息。然而地質災害發生和多種因素相關, 依靠單個傳感器的監測信息來進行預警, 限制了預警結果的準確性。因而需要建立一種能夠綜合處理多種監測信息的預警系統, 提高預測準確度。
1、概念框架
建立一個能夠綜合處理多種監測信息的地質災害預警系統需解決的關鍵問題在于三個方面, 一是需要解決多種監測信息的收集問題。地質災害預警的監測信息來源渠道多種多樣, 有國土、氣象等政府部門。且類型多樣, 既有空間數據, 又有時間數據, 既有定量數據, 又有定性數據。需要把這些信息統一到一個標準下進行共享。二是需要解決多源監測信息的融合問題。預測模型需依據監測信息的類型進行選取, 需要一種信息融合的機制把各種模型預測的結果進行進一步綜合處理。三是需要把確切的預警信息傳遞到需求者處進行顯示和表達。
依據面向服務架構, 系統分為三層。底層為數據獲取層, 其職責是為用戶和系統內其余各層提供各類監測信息和基礎地理環境信息;中間層為業務層, 其職責是生成單因素預警信息和多因素融合的預警信息;最上層為表示層, 通過Web GIS對系統中各類監測信息和預警信息進行顯示。
2、監測信息標準
系統發布和獲取監測信息遵循Sensor Web規范。Sensor Web最初由美國宇航局 (NASA) 提出[1]。加拿大的GeoICT實驗室成員對其進行擴充, 認為Sensor Web編織了地球的電子外衣, 在全球、區域和局部多種層次上提供全維、全比例尺和全時段的感知和監測, 包含動態和靜態的本地以及遠程的傳感器, 其側重于軟件基礎設施[2]。
SWE (Sensor Web Enablement) 是由OGC提出的Sensor Web技術標準, 其核心思想是建立一系列具有統一接口標準的服務來實現分布式傳感器信息訪問。它包括了接口、協議和編碼規范, 定義了傳感器節點發現、遠程訪問、交換和處理傳感器數據的服務。在信息模型上主要是傳感器信息的建模規范, 包括傳感觀測與測量模型、傳感器之間通信模型、傳感器網絡通信模型[3]。在服務模型上主要是給出了傳感觀測服務SOS (Sensor Observation Service) 、傳感規劃服務SPS (Sensor Planning Service) 、網絡通告服務WNS (Web Notification Service) 和傳感告警服務SAS (Sensor Alert Service) 4個服務規范。
3、監測信息處理
3.1 單因素預警
當系統發現收到新的監測信息后, 會啟動單因素預警流程。系統會依據監測信息類型采用適當的模型對地質災發生可能性進行評估。對于地表形變監測信息, 可利用齋藤蠕變模型進行評估;對于地聲和地壓等監測信息, 可用Verhulst灰色模型進行評估;對于降雨量監測信息, 可用臨界降雨量模型進行評估[4]。所有評估結果超過閾值后進行預警, 預警結果通過SAS進行發布。
3.2 多源信息融合
當系統監聽到有新的預警信息產生時, 預警信息融合流程會啟動。融合模型會首先查找預警區域內其它傳感器的預警評估結果, 然后對所有評估結果進行融合處理。融合模型采用D-S證據理論模型。D-S證據理論是一個能夠度量和融合的多條證據的數學理論, 且無論這些證據是否相關, 都能得出一個最終結果[5]。證據理論的主要特點是:滿足比貝葉斯概率論更弱的條件;具有直接表達“不確定”和“不知道”的能力。
運用D-S證據理論方法對多源傳感器信息進行融合, 首先對每個傳感器獲得的信息計算各個證據的基本概率分配函數、置信度和似然度;然后根據D-S證據理論方法的組合規則計算所有證據聯合作用下的基本概率分配函數、置信度和似然度;最后根據給定的判決準則選擇置信度和似然度最大的假設作為系統最終融合結果。
3.3 原形系統結構
預警系統結構如圖1所示。系統采用SOA方式提供系統功能。這些功能包括傳感器注冊、發現, 監測信息發布、請求, 預警信息發布、訂閱和預警評估等。使用這些功能的用戶分為三個類別, 分別是公眾用戶、專家和其它需要使用預警服務的系統。
公眾用戶是預警服務的最終消費者, 他們使用Web GIS軟件查看預警信息。專家是授權用戶, 他們不僅能查看最終的預警結果, 還能夠訪問底層的監測信息, 并能對單因素預警模型中的閾值進行調節。其它系統經授權后, 能夠獲取所需的信息, 包括基礎地理信息、監測信息和所有類型的預警信息。
業務層是整個系統的核心, 其中包含兩個重要的服務:預警服務EWS (early warning service) 和數據融合服務DFS (Data Fusing service) 。EWS中有多個種類的預警模型, 它們監聽新傳輸來的監測信息, 并利用模型對監測信息進行評估, 得到每個預警等級的基本概率分配函數M。當需要預警的概率超過不預警概率時, 利用SAS發送預警信息。當信息融合模塊的SAS Listener發現有新預警信息時會啟動DFS, 它首先查詢預警區域內其它傳感器的評估結果, 然后利用D-S證據理論模型對各類評估結果進行融合, 得到融合后的預警等級基本概率分配函數Mfused, 并依據最大概率判斷是否預警及預警的等級。最后把區域內所有預警結果融合生成最新地質災害預警成果圖, 通過WMS發布。
在系統底層保存有原始監測信息和基礎信息, 傳感器信息經過收集后通過SOS對外發布, 基礎地理信息保存于數據庫中并利用符合OPEN GIS規范的軟件進行發布。
4、結論
地質災害預警系統是一個復雜的巨系統, 依靠單個傳感器的監測結果來進行預警, 結果不夠理想。因此在預警中使用多傳感器技術行多種特征量的監測, 并對這些傳感器的信息進行融合, 能夠有效提高地質災害預警的準確性和可靠性。Sensor Web、信息融合和Web GIS等技術的出現為構建一個能夠綜合處理各類監測信息的地質災害預警系統提供了有力的工具, 為地質災害預警的發展和應用開辟了廣闊的前景。
參考文獻
[1]Delin K.A., Jackson, S.P.The Sensor Web:a new instrumentconcept[J].Proceedings of the SPIE International of Optical Engineering, 2001, 1–9.
[2]Tao V., Liang S.H.L., Croitoru A., et al.GeoSWIFT:anopen geospatial sensing services for Sensor Web[C].Proceedings of theGeoSensor Network Worshop 2003, Portland, 267–274
[3]Nengcheng Chen, Liping Di, Genong Yu, et al.A flexiblegeospatial sensor observation service for diverse sensor data based on Webservice[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2009, 64 (2) :234-242.
[4]殷坤龍.滑坡災害預測預報[M]中國地質大學出版社, 2004, 52-82.
數據流量預警系統論文范文第3篇
油井清洗作為油井作業的一項重要工作, 不但可以清除井筒管桿的結蠟及臟物, 另一方面也不同程度影響油井產量, 所以其注入液流量的監測就變得十分重要。本文旨在采用二維碼掃描技術, 將注入液流量生成二維碼并在LCD進行顯示, 監測工人只需定時采用掃描槍對大量流量計進行掃描, 并將采集數據存儲至PC, 方便管理人員進行后期分析, 在提高清洗檢測技術的基礎上, 豐富油田管理技術體系。二維碼掃描的注入液流量無線采集系統是建立在以51系列單片機為硬件基礎的二維碼編碼生成和掃描解碼。即電磁流量計定時向二維碼發送流量數據, 二維碼生成模塊定時向電磁流量計發送采集指令, 后者收到指令后發送流量數據。二維碼生成模塊生成QR Code碼, 帶存儲功能 (1000條) 的便攜式二維碼掃描槍掃描、解碼并存儲QR Code碼[1]。主要研究單片機二維碼程序的設計;數據采集集成電路的設計;上位機軟件的編寫。
2 系統方案設計
2.1 二維碼生成模塊采集數據方式:
電磁流量計定時向二維碼發送流量數據 (瞬時流量、累計流量、采集時間、流量計編號等) ;
二維碼生成模塊定時向電磁流量計發送采集指令, 后者收到指令后發送流量數據。
2.2 二維碼生成模塊生成QR Code碼[2]。
2.3 帶存儲功能 (1000條) 的便攜式二維碼掃描槍掃描、解碼并存儲QR Code碼。
3 系統硬件實現方案
流量數據二維碼生成硬件設計方案
CPU通過串口讀取流量數據, 根據QR code編碼方式生成二維碼并在LCD上顯示。在過程中主要解決的是對采集數據的分析處理, 并通過二維碼編碼算法處理, 在彩屏上顯示二維碼圖片[3]。
系統采用STC12C5A60S2單片機, 是新一代8051單片機, 操作指令代碼完全兼容傳統8051單片機, 但速度速度比8051系列快8-12倍。內部集成MAX810專用復位電路, 2路PWM, 8路高速10位A/D轉換 (250K/S) , 針對電機控制, 強干擾場合。
LCD模塊是通過不同液晶單元的供電來控制光線是否通過來達到顯示目的。通電時液晶單元可以使光線通過。它的驅動方式有兩種, 一種是有驅動芯片通過總線與單片機總線連接。另一種是LCD顯示屏, 它沒有驅動電路, 使用起來比較麻煩。常用的是帶驅動模塊的, 使用總線便于與單片機連接, 并且只要發送需要的顯示數據到緩存中就能達到顯示目的。
單片機數據收集經過與電磁流量計通信, 將所需的數據送到單片機處理。MAX232芯片是美信 (MAXIM) 公司專為RS-232標準串口設計的單電源電平轉換芯片, 使用+5v單電源供電。由于單片機的信號電平與RS232的標準不同, 所以需要MAX232進行電平轉換。
4上位機系統功能實現
PC通過USB連接讀取二維碼掃描槍存儲數據 (讀取后刪除掃描槍內存) , 并存儲至SQL數據庫中, 需要對流量分析時, 通過時間參數或者流量計編號參數調取流量數據值, 進行單流量計或多流量計數據的對比[4]。
5 結論
通過對二維碼系統的設計, 首先對單片機的開發平臺做了詳細的了解;其次是對二維碼 (QR Code) 的結構及特點進行了闡述;最后在單片機開發平臺上對二維碼的編碼過程進行了設計。從中我們了解到了單片機系統以及二維碼技術的相關知識, 并且認識到了利用單片機平臺來設計二維碼的生成過程。在實際應用中, 方便了大慶油田注入液流量數據監測管理人員進行后期分析, 在提高清洗檢測技術的基上, 豐富了油田管理技術體系。
摘要：本文為了更加高效的進行數據采集和分析, 提出了注入液流量無線采集及數據分析系統方案, 它建立在以51系列單片機為硬件基礎的二維碼編碼生成和掃描解碼之上。二維碼生成模塊定時向電磁流量計發送采集指令, 后者收到指令后發送流量數據。系統將該數據生成QR Code碼并顯示, 使用便攜式二維碼掃描槍掃描、解碼并存儲QR Code碼。系統方便管理人員進行后期分析, 在提高清洗檢測技術的基礎上, 豐富油田管理技術體系。
關鍵詞：單片機,二維碼技術,QR Code
參考文獻
[1]周曉偉.二維條碼識別技術研究[D].上海:上海交通大學, 2007:15-16.
[2]王毅.二維條碼技術應用及標準化狀況介紹[J].中國標準化, 2006:24-25.
[3]中國物品編碼中心.條碼技術與應用[M].北京:清華大學出版社, 2003:3-4.
數據流量預警系統論文范文第4篇
關鍵詞：數據挖掘,預警系統,關聯規則
隨著數據挖掘技術在商業領域獲得的成功和廣泛應用, 近年來, 越來越多的教育工作者開始利用數據挖掘技術對歷史積留下來的海量教學數據庫進行研究, 并獲得了許多有價值的成果。僅以學生成績數據庫為例, 眾所周知, 學生的學習成績并不是一個偶然事件, 以前的成績數據往往預示著該生在后續課程中的成績走向。例如, 一個電磁學不及格的學生, 很可能其電動力學也會出現不及格。這種現象給了我們一些啟示, 能否從大量的學生成績數據中挖掘課程之間的成績關聯, 構建一個成績預警系統呢?目前, 許多高校已開始加強對“學困生”的全面監督和盡力幫扶, 如果在此之前, 我們能根據一個學生的前期課程的考查結果分析出他本學期有可能出現不及格的課程, 從而提早介入對他該課程的學習監管, 無疑是一件很有意義的工作。以下就數據挖掘中的關聯規則技術來淺要分析其在學生成績預警系統中的實現。
1 關聯規則概述
若兩個或多個變量的取值之間存在某種規律性, 就稱為關聯。關聯規則的挖掘問題可形式化描述如下:設I{i1, i2, …, im}是m個不同項目的集合, D是針對I的交易的集合, 每筆交易包含若干項目i1, i2, …, im∈I。則關聯規則X=>Y成立的條件是:
1) 它具有支持度s, 即在交易數據庫D中至少有s*100%的交易包含X∪Y。
2) 它具有置信度c, 即在交易數據庫D中包含X的交易至少有c*100%也包含Y。
關聯規則的挖掘問題就是在交易數據庫D中找出所有具有用戶給定的最小支持度minsup和最小置信度minconf的規則來。該問題可以分解成兩個子問題:
1) 找出存在于交易數據庫中的所有頻繁項目集。若項目集X的支持度support (X) 不小于用戶給定的最小支持度minsup, 則稱X為頻繁項目集;否則為非頻繁項目集。
2) 利用頻繁項目集生成項目關聯規則。對于每個頻繁項目集A, 若B∈A, B≠Φ, 且support (A) /support (B) ≥minconf, 則有關聯規則B=> (A-B) 。
由于子問題2相對來說較容易, 因此研究的重點集中在第1個問題, 即發現和識別所有的頻繁集成為關聯算法的核心, 而這其中最有名的是Apriori算法。該算法是一種寬度優先算法, 通過對數據庫的多趟掃描并采用遞推的方式來發現所有的頻繁項目集。盡管該算法在處理大規模數據集時還存在瓶頸, 但通過剪枝和其他改良手段等已經使該算法得到了普遍應用。
2 通過預處理建立分析數據源
要對學生的不及格成績數據進行挖掘, 首先要有大量的有效數據。筆者從中國科技大學的學生成績數據庫中取出物理學院05級到07級本科生的原始成績數據表203.mdb文件來進行挖掘并對其進行了一系列預處理工作, 如圖1。
1) 刪除無用字段和記錄
原始數據表 (圖1) 中的字段并非都對挖掘有用, 我們只選取感興趣的xuehao (學號) , kc_code (課程號) , Score (成績) 三個字段。另外, 由于我們只對不及格的必修課程感興趣, 因此要刪除所有的選修課記錄和全部課程都及格的記錄, 得到初步預處理后的數據表 (圖2) 。
對照照中國科大物理學院本科培養方案我們挑選出17門主干必修課程來進行挖掘研究, 并分別給這17門課程以A~Q的17個字母來標識, 如表1所示。
我們只需保留原始數據表中Kc_code值為上述的17個值的記錄即可, 其余為無用記錄可做刪除。
2) 建立待挖掘數據表
由于表中成績已經全部是不及格數據, 故無需做特別的離散化處理, 只需要將對應的不及格成績的課程在記錄中予以簡單標記即可。為了清晰起見, 我們將Kc_code字段和score字段合成一個字段KS, 其值則代表了不及格的課程的對應標識。例如, 用A表示“單變量微積分不及格”。此時數據表形式如圖3所示。
通過以上預處理雖然可得到形如圖3的簡單的待處理數據, 然而最終待挖掘的數據表應該是按學號不同排列成的事務表。我們可以先創建該表的結構, 再將圖3所示的數據表內容轉換進來。首先創建該表, 表名為mydata0, 表結構如表2。
再將原先的數據表 (圖3) 中的xuehao字段按相同值歸并, 并把該xuehao字段對應的所有KS字段值填入表mydata0中。最終生成的表mydata0 (圖4) 即為只含不及格成績的待挖掘數據表。
3 成績預警系統的模型建立與分析
為簡單起見, 筆者使用目前較流行的數據挖掘工具軟件WEKA對數據表mydata0進行了挖掘, 得出的關聯規則結果如表3所示 (設minsupp=0.1, minconf=0.4) 。以表3得出的關聯規則為基礎即可生成成績預警系統的模型 (圖5) 。
本模型給出了以下有價值的結論:
1) L, P, Q這三者之間有極高的強關聯性。這三門課程分別是電磁學、理論力學和電動力學。當一個學生其中任意兩門出現不及格的分數時, 有70%以上的概率使得其另一門課程也會不及格。這給我們以啟示:在安排教學計劃時, 盡量不把這三門課放在同一學期, 以避免學生同時出現“掛科”。例如可將引發成績預警的所有規則中置信度最高的L課程 (電磁學) 提到大一的下學期, 而將P, Q這兩門課 (理論力學和電動力學) 推到了大二的上學期學習。實踐證明, 這對及早發現“學困生”并給予及時的幫扶或學習態度上的糾正起到了良好的作用。
2) 應用該預警模型不但可在學生一門課程出現問題后向學生本人提出警示, 更能及時提醒班主任老師密切關注該生與之相關的后續課程的學習情況, 動員學習幫扶小組對他提早介入幫助。
3) P課程在預警系統中出現的次數最多?？梢娎碚摿W這門課程是物理類學生在低年級階段較易發生問題的關鍵性課程。在教學管理中應當加強對理論力學課程的教學質量檢查與監督。
4) 在minsupp=0.1, minconf=0.4的條件下, 并未得出A==>B和C==>D這樣的規則, 這點有些出乎意料, 但恰恰向學生說明了數學, 英語這些基礎課程只要肯下功夫, 完全可以擺脫原來差成績的影響。由于地域等因素的差別, 學生剛進高校時的學習基礎參差不齊, 有的學生可能原先基礎較差。從預警模型中的關聯規則可以看出, 這對后續的課程并無絕對的影響, 只要肯努力追趕完全有可能脫離“差”生的隊伍。這對鼓勵那些大一剛進校成績就較差的落后學生, 為他們樹立信心提供了科學根據。
4 結束語
該文應用數據挖掘中的關聯規則技術, 對學生成績數據庫中的不及格數據進行了挖掘, 并在此基礎上建立起學生成績預警系統的模型。實踐證明, 該模型對于在高校中提早發現和監管“學困生”的工作起到了良好的效果。
參考文獻
[1]宮杰, 譚躍生, 李慧萍.數據挖掘技術在高校教務管理中的應用[J].科技信息, 2010 (13) .
[2]董彩云, 劉陪華.數據挖掘在學生成績管理系統中的應用[J].現代計算機, 2009 (2) .
[3]董軍凱.數據挖掘技術在成績分析中的應用[J].科技資訊, 2009 (22) .
[4]張志彥, 李俊峰.關聯規則挖掘在學生成績分析中的應用[J].科技和產業, 2009 (5) .
[5]邱月.數據挖掘方法在學生成績評價中的應用[J].科技信息.2008 (9) .
[6]董萍.關聯規則在學生成績中的數據挖掘[J].三門峽職業技術學院學報, 2009 (12) .
[7]劉美玲, 李憙, 李永勝.數據挖掘技術在高校教學與管理中的應用[J].計算機工程與設計, 2010, 31 (5) .
數據流量預警系統論文范文第5篇
隨著全球信息化進程的加快, 網絡尤其是國際互聯網作為現代信息社會最重要的基礎設施之一, 已滲透到社會的各個領域, 成為國家發展和社會進步的基本需求, 是未來知識經濟的基礎載體和支撐環境。信息社會和正在逐漸形成的全球化知識經濟形態對信息網絡管理提出了很高的要求, 但Internet網絡在管理方面逐漸暴露出許多缺陷。
本文就是在這樣的研究背景及意義下, 研究了一個網絡流量分析與預測模型。由于該模型采用了數據挖掘技術, 且系統能夠通過自學習對網絡流量數據進行分析, 然后進行特征提取, 擴大樣本知識庫, 不斷提高流量采集的能力。它具有自適應、分布式和面向網絡業務的特點, 可以有效地解決現有的許多流量采集系統中的問題。
1 網絡流量及其預測概述
1.1 網絡流量的數據采集
網絡流量數據采集方法主要分兩類:基于網絡探針的網絡流量采集方法和基于網絡流 (Netflow) 的網絡流量采集方法。在不同的考察層面, 兩者具有不同的特性。
1.2 網絡流量的理論分析
當前, 最流行的網絡體系結構是OSI結構系統, 其采用了4層的層次結構, 每一層負責不同的通信功能, 所有協議的分層結構如圖1所示。
按照圖1的參考模型, 以及數據包的傳輸過程, 我們可以構造一個合適的數據結構來保存需要的信息。根據圖2對協議網絡流量數據封裝和分解進行分析。
2 網絡流量分析與預測系統的概要設計
本文研究的網絡流量分析與預測原型系統的網絡布局如圖3所示。
由圖3可以知道, 在本文研究的原型系統的網絡布局中, 系統的分析與控制功能進行了分離, 分為兩個設備進行處理。圖4中的直路設備只負責完成流量的分光 (鏡像) 和流量控制, 由旁路設備負責網絡數據流量的分析和流量控制策略的下放。這種原型系統部署方式集中了旁路和直路的優勢, 由旁路設備進行深入的協議分析, 把分析結果告知直路設備, 直路設備直接丟包進行流量控制, 這樣既免去了為每種需要控制的協議軟件分析控制方案的工作量, 節約了設備處理發送控制報文的性能, 同時直路設備只用處理丟包流程, 一般不會造成網絡的癱瘓。
在具體的處理流程中, 旁路設備部分進行數據的分析和其它處理, 如果需要對數據進行控制, 旁路設備按照事先的分析結果對簡單的協議進行控制 (減輕直路設備的壓力) , 并將難于控制的協議用戶IP或賬號發送給直路設備, 直路設備對其進行丟包達到控制的目的。一般選用防火墻作為直路設備。網絡流量數據采集流程如圖4所示。
本文研究的網絡流量分析與預測原型系統的網絡布局的優點如下描述: (1) 將直路部署方式中的設備的協議分析功能轉移到旁路設備中, 大大減輕了直路設備的性能壓力, 同時大大降低了直路設備崩潰的概率, 保障了整個網絡的穩定性; (2) 將旁路設備中難于控制的流量轉移到直路設備中進行控制, 大大降低了協議分析的難度, 降低了設備的維護和升級成本, 提高了對數據控制的響應速度。
通過上面的分析, 在網絡流量比較大的情況下, 本文研究的網絡流量分析與預測原型系統的網絡布局是一種更為合理的部署方式。雖然這種部署方式需要的設備成本可能會增加, 但在實際應用中發現, 這種成本的增加事實上并不大, 因為在增加了功能切分設備的同時, 大大減輕了其它設備的性能壓力, 使得同一臺設備能夠控制更多的流量。例如在現網應用中, 某型號的設備原來可以處理2.5G流量的旁路設備, 在將復雜數據控制功能部分轉移到直路設備中后, 處理能力會增加到3.5G。而且這種方式在一定程度上減少了協議分析的工作量, 降低了一定的人力成本?？偟膩碚f成本增加十分有限, 而其帶來的處理性能的飛躍和系統穩定性的增加是非?？捎^的。
3 網絡流量行為預測的具體實現
3.1 K-Means聚類算法的改進
針對K-Means聚類算法存在的問題, 可以考慮采用分層聚合的形式避免這些問題。也就是在初始化數據時, 將數據集中的每個樣本設置為一個類;計算現有的所有類兩兩之間的距離 (相似度) , 找出其中距離最近 (相似度最大) 的兩個類;將最近的兩個類合并為一個新類, 總類數減1;若所有樣本數據合并為一個類或滿足所設定的終止條件時, 結束算法。否則, 返回計算現有的所有類兩兩之間的距離。
本文研究的K-Means聚類改進算法的核心思路分為兩個步驟:
第一步:首先通過分層聚合的形式, 得出最合適的聚類個數K, 并給出每個簇的中心, 這樣便得出了下一步劃分聚類的初始值;
第二步:通過K-Means聚類算法反復的迭代重定位運算進行優化來改進, 最終給出質量較好的聚類結果。
采用這種方法, 是因為在分層聚合開始時, 將每一個數據對象看作是一個簇, 所以對初始聚類中心沒有任何要求, 從而可以有效彌補在K-Means聚類算法中, 對初始聚類中心的選取依賴性較大的不足。同時, 通過K-Means聚類算法的反復優化又對分層聚合所存在的“不可逆轉”的缺陷進行了一定補足。
在實際的網絡流量分析與預測中, 可以利用上述算法, 依據注重宏觀、由面及點的原則, 進行逐步深入的分析。所謂逐步深入分析, 即采用從網絡到主機逐級細化的分析步驟來對流量數據進行剖析, 從宏觀入手, 了解網絡上流量的變化趨勢, 逐級細化到掌握主機上流量的狀態。該技術分析主要分為以下兩個步驟進行:
(1) 面向網絡的分析。該步驟屬于粗粒度的分析, 即了解網絡上整體的、宏觀的流量分布狀況。首先對時間維上的流量數據進行分析, 篩選出可能的異常時間點, 每一條數據的屬性代表該時刻整個網絡上流量的分布情況, 即以P維列向量來描述。本文選取源IP地址、目的IP地址、端口號作為表示流量的特征參數。通過獲取這些特征參數的信息熵, 即可以用一個特征向量來表示當前時刻的網絡流量狀態。通過該算法的分析, 便可以靈活、準確地區分出網絡中存在的不同流量分布狀態, 從而對網絡的流量情況進行總體的、宏觀的把握。
(2) 面向主機的分析。該步驟屬于細粒度分析, 即了解網絡流量狀態在各個主機上的分布情況。它要求針對第一步分析中分離出的可能存在于異常時段內的數據點, 進行進一步的分析。此時的每一條數據代表該時刻該主機的網絡流量狀態情況, 通過選取傳輸層協議 (TCP、UDP、ICMP) 的分布情況、平均丟包率以及平均包大小等表征主機流量狀態的參數進行分析, 便可以準確定位到可能存在異常的主機, 從而為后續的策略制定及所需采取的措施提供依據。
在進行分析之前, 需要對網絡流量數據集Traffic進行標準化, 即通過將屬性數據按比例縮放, 使之落入一個小的特定區間。對于本文所使用的這種基于距離的算法, 規范化可以幫助防止具有較大初始值域的屬性與具有較小初始值域的屬性相比 (例如, 在一個局域監測范圍內, 網絡端口的數量要遠遠大于IP地址的數量) , 顯得權重過大的問題。由于本文所選取流量特征熵的取值在[0, log2N]之間, 這里的N或為IP地址數, 或為網絡端口數, 其最大最小值均為已知數據。因此, 可以采用最小———最大規范化的方法對原始數據進行線性變化。實驗結果如表1所示。
從表1可以看出, 原算法隨機選取初始聚類中心的方法從不同的初始中心出發會得到不同的聚類結果, 聚類準確率有很大的差別, 很不穩定, 難以確定其是否可用。例如, 對Iris數據集, 多次隨機選擇聚類中心, 最高準確率可以達到91.65%, 最低僅為57.33%;對于Traffic數據集, 多次隨機選擇聚類中心, 最高準確率可以達到89.78%, 最低僅為53.76%。產生這樣結果的原因就是隨機選擇初始聚類中心的方法所造成的局部最優情況的影響。
而改進后的算法能夠得到較高且穩定的準確率, 針對數據集Iris、Wine、Traffic均可以得到接近最高準確率的聚類結果。產生這樣結果的原因就是改進后的算法首先利用分層聚類的方法來確定初始聚類中心, 而分層聚類對于初始聚類中心是沒有要求的, 因而產生的初始聚類中心比較符合數據實際分布, 也就更適用于對實際數據的聚類。
3.2 網絡流量行為預測的實現
利用K-means改進算法, 把采集到的網絡流量數據進行聚類, 最終生成屬性列表, 如表2所示。
摘要：介紹了網絡流量分析與預測相關的知識及技術, 涉及到:網絡流量數據的采集、網絡流量的分析技術、網絡流量的預測技術以及數據挖掘技術等;分析了經典關聯規則挖掘算法Apriori以及FT-Tree算法, 指出了它們存在的問題, 在此基礎上指出了將聚類挖掘算法應用于網絡流量研究的優勢所在。提出了針對K-Means聚類算法進行分析、研究、改進的方法。根據網絡流量研究的流程, 從數據采集、流量分析、行為預測等方面研究了系統的實現。
關鍵詞：數據挖掘技術,網絡流量,流量分析,網絡監控
參考文獻
[1]何榮毅.網絡流量監測管理系統的研究與實現[J].硅谷, 2008 (9) .
[2]周小勇, 胡寧, 向楊蕊, 等.基于數據流的實時網絡流量分析系統設計與實現[J].計算機應用研究, 2007 (10) .
[3]程斌, 魏國強, 何光營.基于應用層的校園網網絡流量監測與分析[J].上海電力學院學報, 2010 (1)
[4]劉穎秋, 李巍, 李云春.網絡流量分類與應用識別的研究[J].計算機應用研究, 2008 (5) .
[5]匡琳.P2P網絡流量監控技術探討[J].科技廣場, 2008 (12) .
[6]RON D JENKINS.Why web-based network monitoring leveragingthe platform[J].ACM International Journal of Network Manage-ment, 1999 (3) .
[7]KAR K, KODIALAM M, LAKSHMAN T V.Minimum interfer-ence routing of bandwidth guaranteed tunnels with MPLS trafficengineering applications[J].IEEE Journal on Selected Areas inCommunications, 2000 (12) .
[8]周宏.校園網上netflow流量監控分析系統的設計與實現[J].西南民族大學學報:自然科學版, 2005 (3) .
[9]周向軍.校園網流量識別與控制系統的建設[J].電腦知識與技術, 2009 (14) .
數據流量預警系統論文范文第6篇
一、數據挖掘概述
數據挖掘是一種知識發現的過程, 它主要基于統計學、人工智能、機器學習等技術, 高度自動化地分析數據, 做出歸納性的推理, 從中挖掘出潛在的模式, 并對未來情況進行預測, 以輔助決策者評估風險, 做出正確的決策。
對于企業而言, 數據挖掘有助于發現業務的趨勢, 揭示已知的事實, 預測未知的結果。在實際應用中, 數據挖掘主要采用以下方法進行模式的發現。 (1) 分類分析。找出一個類別的概念描述, 它代表這類數據的整體信息, 一般用規則或決策樹模式表示。常用的分類模型有決策樹模型、基于規則模型和神經網絡模型等。 (2) 聚類分析。與分類分析不同, 聚類分析的輸入是一組未標定的記錄, 目的是根據一定的規則, 合理地劃分記錄集合。聚類分析和分類分析是一組互逆的過程, 因此在很多分類分析中適用的算法也同樣適用于聚類分析。 (3) 關聯分析。如果兩個或多個數據項之間的取值之間重復出現且概率很高時, 它們之間就存在某種關聯, 可以建立這些數據項的關聯規則。一般用“支持度”和“可信度”兩個閾值來在篩選關聯規則。 (4) 預測。預測是利用歷史數據找出變化規律, 建立模型, 并用此模型來預測未來數據的種類, 特征等。典型的方法是回歸分析、人工神經網絡、遺傳算法等。
二、數據挖掘技術在財務風險預警系統中的應用
根據財務風險預警系統需求以及系統分析的原理, 嘗試將數據挖掘技術應用于財務風險預警系統。系統處理信息的過程如圖1所示。
(一) 數據準備工作
構建財務風險預警所需要的數據源, 主要包括生產經營數據和財務數據, 兩者均可通過企業的ERP系統獲取。生產經營數據主要包括企業存貨種類、數量、單價、周期;客戶名稱、購買產品名稱、數量、時間、單價、總金額等。財務數據主要包括現金、應收賬款、負債、銷售收入、銷售利潤等。外部數據主要包括同行業上市公司的財務數據。
(二) 數據預處理
確定好目標數據之后, 就需要對數據進行預處理。數據預處理主要包括三個階段, 分別是抽取、轉換和裝載。抽取階段的主要任務是:分別從企業ERP系統或外部數據源讀取源數據, 及時捕獲變化數據以及抽取數據到數據準備區。轉換階段的主要任務是:根據源數據及分析任務, 清洗并增補列的屬性、數據結構、數據規則、業務規則等, 一致性處理業務標簽、業務度量及性能指標, 去除重復數據, 將一致性處理后的數據保存到數據準備區。裝載階段的主要任務是:把不同的數據分析模型所需要的數據載入數據分析區。
(三) 數據挖掘
對于經過預處理的數據, 確定相應的數據挖掘目標, 根據不同的數據挖掘目標, 確定相應的數據挖掘的方法, 最終得到預測結果, 根據財務風險預警需要的信息, 有以下模式: (1) 采用分類分析進行客戶細分, 發現有價值的客戶, 以及清楚各類客戶的特點。對于企業來說, 有價值的客戶應該是業務量大、信用度高的客戶, 該類客戶應該是風險較低的客戶, 那么企業可以通過一定的優惠等措施來保留這些客戶, 反之亦然。 (2) 通過進行孤立點分析, 分析客戶購買貨物的時序數據, 跟蹤發現異?？蛻?。對于異?？蛻? 要及時進行追蹤分析, 可以從產品宣傳、貨物質量、支付方式、配送效率以及售后服務等方面來比較購買總金額持續減少和購買總金額持續增加的客戶的異同, 查找客戶購買額下降的具體原因, 采取有效措施挽留客戶, 防止客戶流失。 (3) 分析客戶購買商品的詳細資料, 通過關聯規則可以發現一些有價值的規則, 企業可以根據商品的關聯給特定的客戶提供個性服務, 促進商品銷售, 并且根據關聯分析的結果, 預測某個時間企業需要的存貨的數量, 提高存貨周轉率, 做好存貨管理。 (4) 財務數據對于財務風險的反映也是財務風險防范的一個重要的方面, 可以通過數據挖掘的預測技術來分析財務數據, 建立基于財務數據的風險預警模型。
隨著經濟的不斷發展, 企業生產經營中面臨的不確定性不斷增加, 建立有效的財務風險預警系統對于企業的健康發展具有重要意義。筆者認為, 應用數據挖掘技術的財務風險預警系統具有良好的預測能力, 能夠在一定程度上起到防范企業財務風險的目的。
參考文獻
[1]陳文偉、黃金才:《數據倉庫與數據挖掘》, 人民郵電出版社2004年版。
[2]張媛:《基于數據倉庫的財務分析》, 《中國農業會計》2006年第3期。