數據管理制度范文第1篇
由于視音頻信息的飛速增長, 每天都在產生大量的視音頻信息, 這些多媒體資料的存儲、管理和再利用變得非常困難, 需要合適的歸檔體系允許高效的瀏覽、搜索和檢索。比較通用的方法是采用文本注釋圖像和視頻信息, 以基于文本的數據庫管理系統進行圖像和視頻檢索。但文本注釋方法對大量的信息不僅費力而且力不從心, 此外, 許多應用場合文字不足以描述具有豐富內容的視頻。
為了解決這些難題, 上世紀90年代初出現了基于內容的圖像檢索系統 (CBIR) , 除了文本, CBIR還利用諸如顏色、紋理、形狀和邊緣等視覺內容信息來描述圖像和視頻這種技術, 由機器自動提取包含圖像內容的可視特征:顏色、紋理、形狀、對象的位置和相互關系等, 對數據庫中圖像和查詢樣本圖像在特征空間進行相似匹配、檢索出與樣本相似的圖像。此技術的核心是包含圖像內容的可視特征, 稱為基于內容的圖像檢索技術?；趦热莸膱D像檢索融合了圖像理解、模式識別等技術, 克服了傳統檢索方法的缺陷。
由于圖像特征本身的復雜性, 用戶對查詢條件的表達 (即查詢方式) 也應具有多樣性。這里將查詢方式歸納為兩種, 即按特征查詢和按例子查詢 (示例查詢) 。
(1) 根據特征查詢。用戶提供的是圖像的具體特征, 如底層物理特征或高層語義特征。這些特征主要包括顏色、紋理、形狀、輪廓、空間關系、語義等, 提供的特征可以是單個的、也可以是多個的, 各個特征還可具有不同的權值。
紋理特征:紋理是識別不同圖像的最重要特征之一?？捎糜诓煌砻婧推渌畔? 包括形狀和運動等的區分, 并反映一些抽象概念, 如:均勻性、密度、粗糙程度、規則性、方向、頻率等?？捎脠D像處理方法抽取和描述圖像的紋理特征、顏色特征。顏色是對象識別變得簡單而強有力的特征。顏色模式有多種, 如RGB和HIS模式。
形狀和空間特征:對象形狀表述是模式識別的一個重要問題。當一些對象的顏色和紋理極其相似時, 形狀特征尤為重要?？臻g特征說明了對象的空間位置和對象之間的空間關系, 如方向關系、相鄰、重疊和對兩個或多個對象的包含等?？臻g特征可用符號化的序列表示, 如2D序列, 序列可反應一些上述關系。
(2) 根據例子查詢。用戶提供的需要查詢的例子圖像, 查詢系統根據例子圖像自動提取其特征, 然后在圖像庫中選拔出與例子圖像特征相似的圖像, 還可以只查詢例子圖像中感興趣的部分內容。示例查詢為用戶提供了一個方便、簡單的方式來表達圖像的內容, 因此被大多數圖像檢索系統采用。另外, 當用戶檢索目的比較含糊、或不太熟悉圖像庫中的信息結構和信息類型時, 可以先瀏覽數據庫的圖像, 發現感興趣的目標圖像后把其作為例子圖像進行檢索, 這個過程也叫瀏覽檢索。
1997年啟動、2001年7月成為國際標準的MPEG-7, 除了支持對音頻、視頻內容的元數據和文本描述, 更進一步發展了基于內容的描述和檢索規范, 支持盡可能廣泛的應用領域, 使資源的全球共享成為可能。
由于CBIR所涉及的計算量比較大, 所以在線實時地進行查詢時的效率不是很好, 這就需要對數據庫進行預處理, 并把數據的特征進行統一的存儲, 然后用戶使用基于特征數據庫的瀏覽器或查詢器進行查詢, 如圖1所示。
2 交易安全的應用
在電子商務中比較常見的交易風險及現有的解決方案如表1。
多媒體信息技術一般應用于用戶身份的鑒別。數字簽名具有不易攜帶和可能被竊取的缺點, 而基于生物特征的身份識別就克服了這些缺點。比較常用的幾種方法有:
(1) 指紋識別技術。指紋是指手指末端正面皮膚上的紋線。19世紀初, 科學研究發現了至今仍然承認的指紋的兩個重要特征, 一是兩個不同手指的指紋紋脊的式樣 (ridge pattern) 不同, 其次是指紋紋脊的式樣終生不改變。指紋識別技術目前已經發展得比較成熟。常見的指紋有:汗潛指紋、可見指紋和立體指紋。目前, 最常見的是汗潛指紋, 眼睛一般看不出來, 它們是由汗液形成的, 常用于公安部門的刑偵工作。而實際應用一般是用數碼設備對其進行成像采集。最近, 在南京車輛管理所就試行對考駕照的考生指紋進行采集, 考試時對準考證和指紋進行身份確認以防止代考, 其正確識別水平已經可以用于實際應用。
紫外指紋檢測儀的研制:指紋識別系統的原理是用戶首先提取他的指紋, 即系統將多次采集的用戶指紋特征數據進行均勻化、抵消噪音、加強指紋信號、提取特征、壓縮加密等處理, 產生最佳的指紋特征模板。當需要驗證或鑒定用戶身份時, 系統將把現場采集的指紋樣本與先前保存的主模板進行比較。指紋識別的關鍵技術是指紋匹配算法, 指紋匹配一般基于指紋的特征點, 特征點又可分為全局特征 (如奇異點、中心點) 和局部特征 (又稱指紋細節點) 。全局特征一般用于指紋的分類, 大多數的指紋自動識別通常是考察指紋的細節特征。目前常用的細節特征是基于美國聯邦調查局提出的細節點坐標模型, 它利用脊末梢與分支點這兩種細節點來鑒定指紋。
基于密碼學和指紋識別技術的網上銀行安全認證機制:指紋識別系統的缺點是輸入設備比較難于獲取, 這就限定了電子商務的使用范圍。
3 語音識別技術
語音識別技術主要包括兩大類:語義識別和說話人識別。語義識別目前可以用于實際的軟件有IBM Via Voice和Microsoft Office的語音識別系統。而說話人識別還沒有被推廣, 這主要是因為識別率比較低, 有一種折中的方法就是結合口令對說話人進行鑒別, 即事先在語音數據庫中注冊用戶用于口令的字符, 在對用戶身份進行識別時, 同時把語音和鍵盤輸入的口令同時傳送給服務器來進行識別。
由于語音識別的輸入設備最易獲取, 所以在提高識別率之后也是具有普及可能性的生物識別技術之一。
4 虹膜識別技術
虹膜識別系統:虹膜是一種在眼睛中瞳孔內的織物狀的各色環狀物, 每一個虹膜都包含一個獨一無二的基于像冠、水晶體、細絲、斑點、結構、凹點、射線、皺紋和條紋等特征的結構。識別過程即將實時捕捉的圖像與預存參考圖像進行匹配的過程, 比較圖像之間的相似性, 確定圖像是否來自同一對象, 以確定拒絕或接受。如果圖像確是來自同一對象, 則進行圖像分析, 過程概述為: (1) 提取邊緣; (2) 用Hough變換找出虹膜中心及其半徑; (3) 用其中心定位, 利用其半徑求出比例因子; (4) 用相關系數測度匹配結果。約翰·道格曼教授將來自英、美、日等國的2000多人的虹膜圖像與存儲的代碼進行230萬次隨機對比后發現, 如果圖像與代碼有75%以上相符, 則出現判斷錯誤的幾率為千萬億分之一。
5 結束語
伴隨著世界經濟的持續發展和信息技術不斷進步, 經濟全球化和信息網絡化已經成為整個世界經濟發展進程中的大趨勢。經濟全球化建立在信息網絡化的基礎之上, 信息網絡化反過來又促進了經濟全球化。電子商務作為二者結合的產物, 是現代經濟發展的必然選擇。商品信息的檢索和交易安全技術在電子商務系統中的作用非常重要, 它為服務方和被服務方提供極大的方便, 并且守護著商家和客戶的重要機密。因此, 只有采取了必要和恰當的技術手段才能充分提高電子商務系統的可用性和可推廣性。
參考文獻
[1]陳孟建.電子商務基礎[M].北京:電子工業出版社, 2003.
[2]高傳善, 錢松榮.數據通信與計算機網絡[M].北京:高等教育出版社, 2001.
數據管理制度范文第2篇
摘要：隨著科學技術的不斷發展，計算機技術在油氣企業中的應用越來越普遍。計算機技術在油田企業中的應用，不僅可以提高油田企業的生產效率，降低油田企業對資源的浪費，同時還可以提高企業的經濟效益，節省大量的人力資源。但是計算機數據管理與維護的過程中存在有一定的問題，不利于企業的安全發展，本文針對如何提高油田企業的計算機數據管理與維護水平提出幾點有效措施，希望通過本文的分析，能夠促進企業健康穩定發展。
關鍵詞：油田企業;節能管理實踐;油田計算機數據
油田企業發展過程中，節能管理工作是十分重要的，計算機技術在油田企業數據管理與維護中的應用可以有效提高企業的資源利用效率，減少人力、物力等資源的浪費，從而達到企業節能管理的目標。本文首先針對計算機技術在油田技能管理運用中存在的問題進行分析，然后針對問題提出幾點有效建議。
一、計算機技術在油田企業節能管理中存在的問題
隨著社會經濟的不斷發展，石油企業也在不斷發展之中，為了提高企業的經濟效益，企業會加大對資金、財力、物力、人力等方面的投入，同時也造成了大量資源的浪費。因此企業需要加大對新興科技的利用，引進各種先進技術。計算機技術就是在此背景下被引入石油企業中的，計算機技術在石油企業數據管理中的應用，不僅提高了數據管理效率，減少了對人力資源的浪費，同時也為企業數據的安全性提供了保障。但是計算機技術在應用的過程中卻存在一定的問題。由于計算機技術自身的缺陷以及使用者的疏忽，導致計算機在使用的過程中經常會出現黑客侵入、病毒感染、數據丟失和損毀、員工誤刪等現象，不利于企業數據管理工作的順利開展，同時也會為企業造成嚴重的經濟損失。
計算機使用過程中之所以會出現這些不安全問題，主要原因有以下幾點，首先是計算機操作人員的問題，油田企業的很多數據管理人員都不具備專業的計算機操作技能，其安全意識不高，因此在操作計算機時會存在操作不靈活，操作錯誤，導致數據誤刪、記錄混亂的問題。而且在使用計算機的過程中，由于對計算機專業知識的不了解，導致安裝很多來路不明的軟件，從而為計算機系統帶來安全隱患。其次計算機使用過程中為了防止黑客、病毒等軟件的侵入，會使用殺毒軟件，由于殺毒軟件不正規，最后導致計算機無法正常使用。最后石油企業應用計算機來進行數據管理工作時，為了維護企業數據的安全性，會對計算機中儲存的數據進行備份，但是現在很多的數據管理人員在使用計算機時會對數據進行備份，一旦計算機系統出現問題，就會造成數據的丟失與損壞。
二、油田企業節能管理實踐中如何進行計算機數據的管理與維護
（一）加大對計算機操作人員的培訓力度
油田企業計算機數據管理工作中對工作人員的綜合能力要求比較高，不僅要求工作人員具備專業的操作技能，同時還需要工作人員具備較高的安全意識，因此企業需要加大對工作人員的培訓力度。一方面加強對工作人員的技能培訓，使每個工作人員都能夠嚴格按照正確的操作方法來靈活操作計算機，保證計算機數據管理工作的順利開展。另一方面需要加強對工作人員進行安全意識的培訓，使工作人員能夠充分了解數據管理工作的重要性，在實際工作中不要存在僥幸心理，加強對數據安全工作的重視，如果出現數據誤刪等失誤操作，可以按照相應的操作方法來進行數據恢復，如果數據無法恢復，則應該立即請教專業技術人員進行幫助，及時的對數據進行修復，避免造成更大的損失。
（二）對計算機系統進行正確選擇
油田企業應用計算機系統開展數據管理工作時，應該選擇正版的計算機系統，因為盜版的計算機系統中可能會攜帶病毒，對計算機系統造成危害，正版的計算機系統不僅可以保證系統的安全運行，同時還有完善的售后服務，可以對計算機系統定期進行系統升級和不定安裝，從而保證計算機系統的安全性和穩定性。工作人員在安裝其他軟件時需要對軟件進行查看，看是否是正版，是否安全，是否存在捆綁軟件，當這些不安全因素都排除后再進行安裝，從而保證計算機系統的安全性。
（三）做好計算機數據的安全保護措施
為了保證計算機數據管理工作的順利進行，保證計算機運行的安全性，工作人員可以進行以下幾項安全措施。首先需要安裝必要的殺毒軟件，定期對計算機系統進行殺毒、清理垃圾。例如360殺毒軟件、瑞星殺毒軟件等，運用這些軟件及時對計算機系統進行殺毒，并及時的對殺毒軟件進行更新升級，保證其效果。其次需要對計算機系統安裝補丁修復系統，對計算機存在的漏洞進行修復。工作人員需要對計算機定期進行電腦體檢，卸載不必要的軟件，提高其運行效率，從而保證數據庫系統的安全性和可靠性。最后為了避免計算機系統出現故障導致數據丟失問題的出現，工作人員可以對數據庫中的一些重要信息、客戶資料進行備份，或者是將其存儲到網盤或者U盤中，以免數據的丟失。
總 結：
綜上所述，隨著社會經濟的不斷發展，油田企業也在不斷的發展之中，為了提高企業的經濟效益，油田企業應該加大對節能工作的重視，減少對企業的資金、物力、人力等資源的投入，降低企業投入成本，促進企業的可持續發展。隨著科學技術的不斷發展，計算機在各行各業中都得到了廣泛的應用，尤其是在企業數據管理工作中發揮著重要的作用，油田企業數據管理工作中引進計算機技術，可以促進企業數據管理信息化的建設，不僅可以提高企業的數據管理效率，同時還可以節省大量的人力、物力資源，減少對資源的浪費。但是計算機數據管理工作中存在很多問題，不利于企業數據安全的保證，因此企業可以通過提高工作人員的安全意識和計算機操作技能，使用正版的計算機系統，下載正版殺毒軟件，對數據進行備份等措施來保證油田企業數據管理工作的順利開展，從而有效保證企業數據的安全，提高數據管理效率，為企業的發展提供安全、可靠的數據依據。
參考文獻：
[1]曹洪濤.淺論油田企業節能管理實踐——油田計算機數據的管理與維護[J].商業文化，2014（32）：82-83.
[2]任重.油田生產節能管理及績效評價的研究與實現[D].東北石油大學，2014.
數據管理制度范文第3篇
PDM就是管理產品整個生命周期的相關數據和過程的技術。產品數據包括CAD/CA PP/CAM/CA E產生的文件、過程信息、審批信息、配置信息、資源庫數據、設計說明書、批注、項目計劃、和設計過程數據等。產品過程指產品的生命周期過程的定義和監控。
2 PDM的功能
(1) 數據倉庫;
(2) 文檔管理;
(3) 產品結構管理;
(4) 工作流和過程管理;
(5) 通訊和電子協作功能;
(6) 項目管理;
(7) 配置管理;
(8) 分類查詢功能。
隨著網絡技術和Internet的發展, PDM技術的研究領域進一步擴大, 諸如利用WEB技術將PD M的信息聯接到Internet信息服務器上, 以使PDM的信息可以被更為廣泛地應用。此外許多新的功能和數據安全將成為新的需求。
3 現狀及國內外發展趨勢
PDM技術在國外國內都有了一定的研究和應用, 典型的如美國著名的PTC公司已經開發出了管理PRO/ENGINEER產品數據和軟件Pro/INTRALINK。
Windcill技術更是基于WEB技術的、跨異構系統的、可管理跨國跨地區的大公司的產品數據信息管理系統, 其產品已廣泛應用于各個行業。
Motiva軟件公司專門從事企業范圍內數據管理解決方案, 其DesignGroup2.0軟件可以管理產品和項目信息定義, 并支持設計組人員通過Internet電子協作直接訪問企業內部網管理全球的工作成員。其可擴展性能支持日益增長的企業需求, 可使企業根據需要擴展系統。
AutaDesk公司是CAD軟件的最著名的廠商之一, 該公司密切關注設計信息的管理, 并聯合Motiva軟件公司, 開發了管理文檔數據和工作流自動化的軟件WorkCenter。
由上可知, 在國外, PDM技術已經進入應用軟件的開發和企業的成功實施階段。但不同的PDM軟件在功能上有差別, 有的軟件在功能上更全面, 有的僅集中在PDM的文檔管理、數據倉庫功能上。有的僅適合企業內部網上實施, 有的卻能在Internet上實現。
在我國許多CAD產品廠商如華軟、高華、利瑪等公司都密切關注PDM技術的發展, 并推出了PDM產品, 在一些企業得以實施, 提高企業的計算機管理水平, 給企業帶來了較大的經濟效益。
但是我國對PDM技術的研究還很落后, 雖然在“九五”期間已經對PDM技術的研究有了一定的基礎, 但還比較薄弱, 特別對PDM的應用領域的范圍還比較狹窄, 僅局限于制造業, 理論研究和實現的方法研究不足, 對于PDM的集成技術各軟件開發商各自為政, 標準接口還有待于研究、規范和推廣, 這有利于不同商家軟件的集成, 有利于應用不同PDM技術的企業的信息交換。
根據CIMdata公司的市場統計, 全球PDM市場正在迅速增長。PD M軟件及服務費:1993年3.52億美元、1994年4.78億美元、1995年6.84億美元、1996年8.5億美元、1998年14億美元、1996~2000年PDM業務正以每年27%的速度增長。
PDM技術對企業不是能不能實施的問題, 而是在什么時候、什么范圍內實施的問題。所以我國必須加強PDM技術的研究和軟件的開發, 為企業成功實施PDM提供解決方案。但PDM實施是一個技術和管理結合的復雜系統, 必須在技術上、管理上、實施范圍上給予充分的研究和組織。
4 發展目標及主要研究內容
4.1 目標
根據國內處PDM技術的研究現狀和發展趨勢, 結合我國機械行業的實際情況, 制造過程數據管理和數據庫技術的發展目標:突破PDM所涉及的數據庫、數據安全及監控、應用集成、網絡的技術難點, 開發具有自主版權的PDM大型軟件, 并在機械行業企業中推廣應用, 初步形成PDM軟件產業。
4.2 主要研究內容
(1) PDM總體技術。研究PD M的體系結構, PDM應采用開放式標準的、面向對象的、可擴展的體系結構。
(2) 數據庫技術。研究數據倉庫技術和決策支持系統, 在PDM軟件開發上, 研究三層結構的Client/Server數據庫應用系統, 在用戶界面層和數據源層之間增加業務邏輯層, 保持業務邏輯層獨立, 使PDM較易適應各企業不同業務規則和企業業務規則隨發展而變化的需要。
(3) WEB技術。隨著網絡技術和Internet技術在企業內部的應用, 研究在PDM中運用WEB技術, 使PDM技術和Internet技術結合, 支持異構系統、支持異地辦公、支持銷售人員查詢企業產品資料和用戶信息, 以及隨時錄入市場信息, 同時可以通過Internet對客戶提供技術支持。
(4) 面向對象技術。這是目前計算機軟件技術領域中廣為采用的一門技術, 無論從業務操作、系統架構、軟件框架, 通過采用面向對象技術, 使得軟件更容易對現實世界的描述和實現。目前流行的軟件技術都采用面向對象的技術, 諸如微軟的Active X技術、Java技術等。
(5) 數據安全和監控技術。由于是運行在企業內部網甚至是互聯網的數據庫管理系統, 其數據安全變得尤為重要, 研究對數據庫操作的權限控制、數據傳送的加密及監控技術。
(6) 應用集成技術。研究PD M與非數據庫CAD/CAPP/CAM/CAE技術軟件集成接口, 使得PDM成為這些應用軟件的數據管理助手, 同時研究PDM與ERP的集成技術。
(7) 配置管理技術。這是PD M研究的又一個新的熱點。配置管理是產品結構管理、變更管理、復雜數據管理的一種過程方法, 其著重于協調、監視、變更控制, 維護部件、文檔以及從設計到制造間變更數據之間的同步。
(8) 在研究上述技術基礎上, 組織協作攻關開發具有我國自主版權的PDM系統軟件, 并在機械行業企業推廣應用。
摘要：隨著計算機技術在制造企業中廣泛應用, 產生了大量的數字化信息, 而這些數字信息尚缺乏有效的管理, 造成信息資源的再利用和查找困難, 越來越多的企業迫切需要采用數據庫技術解決這一難題。制造過程的數據信息主要圍繞著產品的生產過程而產生, 研究產品相關數據的管理技術在國外早已引起企業的重視。國內也已開始重視產品數據的管理技術, 這一技術起初在國內外有各種名稱, 諸如工程數據管理 (EDM) 、產品信息管理 (PIM) 、技術數據管理 (TDM) 、技術信息管理 (TIM) , 最終國內外研究人員都統一稱為產品數據管理 (PDM) , PDM技術就是解決企業產品大量數據化信息管理的一門技術。
數據管理制度范文第4篇
1 大數據概述
“大數據”概念是伴隨著現階段數據增長的爆發趨勢提出的?！按髷祿笔鞘裁茨?從字面上理解,容易被理解為海量數據,目前也沒有統一的定義。
1.1大數據研究現狀
大數據經過這幾年的發展和研究成果顯著,楊繹[1]、韓芳芳、王新才等分別對我國大數據研究現狀進行了總結,黃永勤[2]對國外大數據的研究熱點進行了總結,薛辰[3]、李賀[4]等分別對國內外的大數據研究進行了綜述。
1.2大數據應用現狀
大數據已經不同程度地滲透到每一個行業領域和部門。數據里隱藏著巨大的商業價值,在未來的經濟中將會起到不可替代的作用。目前,大數據的應用已經在電子通信、網絡技術產業,甚至是工業、重工業等行業發揮了作用。特別是電子商務上,如淘寶、京東、亞馬遜等通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。
1.3高校圖書館中的大數據
圖書館歷來是信息技術應用的重鎮,“大數據”時代亦不例外。圖書館在為讀者服務過程中必然會產生大量的數據,因此圖書館中的大數據主要的來源有以下幾種:一是有圖書館內部產生,如圖書館自身的館藏資源(紙質圖書、電子書、各類期刊論文數據庫、自建特色數據庫等)、固定資產、館舍情況、讀者借閱數據、讀者社交網絡數據等;二是圖書館外部的開放性的數據,如館際互借數據、出版商數據等。
2 數據管理概述
2.1數據管理定義
當前有關數據管理的定義有不同的表達,本文采用百度百科中對數據管理的定義,“數據管理是利用計算機硬件和軟件技術對數據進行有效的收集、存儲、處理和應用的過程。目的在于充分有效地發揮數據的作用。實現數據有效管理的關鍵是數據組織?！奔磳D書館管理與服務過程中產生的數據進行有效管理。
數據管理[5]經歷了人工管理、文件系統、數據庫系統三個發展階段。20世紀50年中期以前,屬于人工管理階段,數據不共享,不具有獨立性,主要用于科學計算,沒有相應的軟件系統來管理數據。20世紀50年代后期到60年代中期,屬于文件系統階段,出現磁盤、磁鼓等存儲設備,數據可以長期保存,有了專門管理數據的軟件,成為文件系統,但數據共享性差、冗余度大。20世界60年代后期以來,這一階段為數據庫系統階段,出現了大容量磁盤,數據能盡可能多的為應用程序服務,出現了數據庫這樣的數據管理技術。數據庫的數據是面向全組織,具有整體的結構性,共享性高,冗余度減小,具有一定的程序與數據之間的獨立性,對數據進行統一的控制。
2.2數據管理的必要性
1)大數據時代凸顯數據重要性。大數據是數據分析的基礎。沒有對海量信息分析的大數據,就沒有為所有信息消費者獲取有價值信息的可能性[6]。
2)圖書館運營中產生大量的數據。近年來,計算機互聯網技術的強大功能已經應用到圖書館的日常運營中。各類管理系統在圖書館服務過程中產生了各種數據,如讀者數據、館員工作日志、圖書借閱數據、網站點擊數據等。這些數據呈現幾何級數遞增趨勢,應得到有效應用。
3)數據管理是圖書館數據得到有效應用的基礎。圖書館所擁有的數據量在不斷增加,但圖書館能夠分析的數據比例卻在不斷降低。圖書館各個管理系統在設計之初不一定會考慮到數據的統一性問題,這會導致產生的數據不一致,不能完全整合等問題。大數據時代,要充分利用大數據所帶來的技術優勢的前提就是對圖書館的海量數據進行有效數據管理。
2.3大數據時代的數據存儲管理
大數據存儲隨著大數據計算的發展也已經歷時十多年,下面介紹兩個比較著名的大數據存儲方案[7]。
1) HDFS
HDFS(Hadoop Distributed File System)是支持Hadoop計算框架的分布式大數據存儲系統,已經被廣泛應用于各大互聯網企業的數據中心。HDFS是目前最為流行的大數據存儲系統,具有很高的容錯性、可擴展性、高并發性,并且基于廉價存儲服務器設備。當然它還有許多方面需要進一步完善,例如HDFS為了到達高容錯性,在數據中心中用戶的任意一份數據都會被復制三份保存在存儲系統中,這樣存儲系統保存的數據量遠大于實際用戶需要的存儲量,存儲空間效率就會降低。
2) Tachyon
Tachyon是一個高容錯的分布式文件系統,允許文件以內存的速度在集群框架中進行可靠的共享,其吞吐量要比HDFS高300多倍。Tachyon都是在內存中處理緩存文件,并且讓不同的作業任務或查詢語句以及分布式計算框架都能以內存的速度來訪問緩存文件。當然截止目前Tachyon也只是0.2 alpha發行版,其穩定性和魯棒性還有待檢驗。
3 大數據時代圖書館的數據管理
大數據對圖書館的發展趨勢的影響越來越強,圖書館在大數據發展中應該承擔什么角色呢?美國學者對圖書館員在大數據時代中的角色與所需專業技能做了調研,認為“ 圖書館可以在大數據環境下承擔數據管理職責”。[8]近年來的圖書館發展趨勢也顯示出,大數據在圖書館建設與服務上的變革的影響力,通過對大量數據的分析利用,揭示數字背后的隱藏價值,圖書館能高效、準確地判定讀者群的個性特征、社會關系、閱讀需求和服務模式等。但是圖書館的結構化數據、非結構化數據、半結構化數據復雜海量、數據來源多樣,因此,如何對數據進行科學的管理,是我們首要面對的問題。
3.1 大數據時代高校圖書館的數據來源
圖書館各個部門每天運作過程中都會產生大量各種各樣的數據,如借還書人數、進館人數、館舍規模、館員情況、館藏情況等等。這些數據都是分散的,有效地管理的數據的前提是有針對性地梳理和整合這些數據。大數據時代,這些數據都在以海量的態勢激增,因此,圖書館應該有針對性地處理和管理這些數據。針對性,主要指這些數據能體現圖書館整體發展、規模、特征及水平,能促進圖書館各項工作的順利開展與有效管理。
數據管理工作需要統籌安排。高校圖書館一般都有行政辦公室部門,管理整個圖書館的人事情況等,具有一定的號召力,所以可以由行政辦公室來牽頭進行數據管理工作,因此我們可以根據不同部門產生的數據將圖書館的各類數據大致分成五大模塊。這五大模塊涵蓋了圖書館所有業務服務數據及人事、財務等數據,具體數據分類如表1 所示。圖書館可以根據實際情況,增加或篩選需要進行管理的數據內容。
3.2大數據環境下高校圖書館數據管理架構
基于數據管理的定義,數據管理可以分成四個步驟:數據收集、數據處理、數據存儲、數據使用。數據收集,是指根據需求有針對性的將不同管理系統或不同設備上的數據收集起來。這些收集到的數據會因不同系統的原因,存在格式不統一、標準不一致等現象,所以這些收集來的數據,需要進行加工。經過處理后的數據要進行存儲,最終將數據提供給用戶使用。數據使用是最后一個步驟,之后的用途可能是產生最終的數據報表或者進行快速查詢或者計算等等。
圖書館的各種各樣的數據來自不同的管理系統或設備,如借閱數據來自借還系統、圖書館采購數據來自采購系統、圖書基本信息數據來自編目系統、電子資源使用情況來自網站監控系統……利用大數據分析來提高圖書館服務是目前的圖書館發展趨勢。圖書館可以研究分析讀者偏好,調整服務內容和方式,滿足讀者需求。如:利用讀者借閱數據及瀏覽電子資源的歷史,分析讀者借閱偏愛,調整書刊及電子資源采購品種及策略;利用門禁系統,計算每天進出圖書館的人數、流量,及時調整服務時間。但不是所有的數據都是我們需要的,必須對大數據進行篩選,篩選出的數據或因為是不同管理系統或者設備上的,其格式也有可能不盡相同。因此要先用大數據處理系統對數據進行處理,并保存到大數據存儲系統中。用戶可以根據大數據存儲系統中的數據,查詢或分析自己所需的信息報告,或產生最后的數據報表。圖書館還可以根據大數據使用反饋情況,調整自己的數據收集和處理,以便更好地利用圖書館大數據,提高圖書館的服務。因此,大數據環境下高校圖書館數據管理架構構建如圖1所示。
4 總結
高校圖書館是大數據的重要“陣地”之一。大數據可以幫助圖書館提高服務質量,實現更優的個性化服務。面對高校圖書館各類不同類型的數據,首先要對圖書館的海量數據進行有效數據管理。本文基于此試圖構建大數據環境下高校圖書館數據管理架構,希望為圖書館的發展帶來一些提升。當然大數據時代中,圖書館如何更好地進行數據管理和數據應用,更多還是要同實際情況相結合。大數據正逐漸在各行各業實踐中,這個背景下高校圖書館更應做好充分準備,努力發揚大數據帶來的技術優勢,提高自身的發展。
參考文獻
[1]楊繹.基于文獻計量的“大數據”的研究[J].圖書館雜志,201231(9):29-32.
[2]黃永勤.國外大數據研究熱點及發展趨勢探析[J].情報雜志2014(6):100-104.
[3]薛辰.國際大數據研究論文的計量分析[J].現代情報,2013(9)
[4]李賀,袁翠敏,李亞峰.基于文獻計量的大數據研究綜述[J].情報科學,2014(6).
[5]百度百科.http://baike.baidu.com[2015-7-30]
[6]中國云計算技術與產業聯盟理事長吳基傳致辭.http:/tech.163.com/13/0605/08/90JHL2SI00094NOL.html[EB/OL].[2015-8-5].
[7]曹剛.大數據存儲管理系統面臨挑戰的探討[J].軟件產業與工程,2013(6).
數據管理制度范文第5篇
關鍵詞：電磁頻譜感知,全過程管理,大數據,數據融合
電磁頻譜貫穿于陸、海、空、天、電、網“六維”作戰全時空,是唯一能夠支持機動作戰、分散作戰和高強度作戰的理想介質,是信息化戰爭“無形之魂”,而電磁頻譜感知數據是實現“無形之魂”可見、可控、可用的核心和基礎。因此,亟待實現準確、可信、全面的電磁頻譜感知數據的綜合管理,從而有效履行電磁頻譜感知職能、提高電磁頻譜管理能力、實現裝備高效用頻。
當前我軍電磁頻譜管理領域的業務范圍和裝備技術發展迅速,也極大地促進了電磁頻譜頻管理數據獲取和處理能力的提升。然而,電磁頻譜感知數據的管理融合一直是研究的難點和熱點問題,特別是電磁頻譜感知“全過程”在戰備值勤、重大任務保障、干擾查處、信息服務和科研工作等方面積累了大量數據,這些數據存在“文件類型多、地理位置分散、歷史周期長、存儲數據量大、融合運用難”等問題,而大數據、云計算等新技術給感知數據管理提供新的思路和手段,筆者受全頻譜作戰啟發,提出了電磁頻譜感知全過程數據管理和融合的概念,并在文中對系統組成和相關內容進行了闡述。
1 電磁頻譜感知迎來大數據時代
近年來,大數據迅速發展成為世界各國和軍事應用關注的熱點,不同于傳統的數據,信息社會的大數據具有“4V”特征[[1]],即數據體量大(volume)、產生速度快(velocity)、數據模態多(variety)和價值大密度低(value)。但大數據的主要難點并不在于數據量大,難以對付的挑戰來自于數據類型多樣、要求及時響應和數據的不確定性。
大數據已經逐漸滲透到當今每一個行業和業務職能領域,成為重要的生產因素[[2]],特別是在電磁頻譜感知領域,隨著用頻武器裝備和臺站的種類不斷增加,頻譜使用方式不斷演進,半結構化和非結構化數據日益增多,短波監測站、超短波監測站、衛星監測站、短波探測站等設備產生了大量電磁頻譜感知數據,數據類型包括頻譜數據、音頻數據、文本數據、地理信息和時間標記等,具備了多類型數據的特點。傳統的電磁頻譜感知主要是開展實時的電磁環境感知,產生的感知數據量較小,也滿足大數據分析的基礎要求,其結果也很難形成大數據的預測性分析,但隨著數字化接收機的掃描速度越來越快、實時帶寬越來越寬、站點部署越來越多,電磁頻譜感知的數據量按指數增長,不斷呈現出很強的大數據特征[[3]],電磁頻譜感知數據已迎來大數據時代。
2 電磁頻譜感知數據管理現狀
電磁頻譜感知數據基本樣式包括原始數值、頻譜圖、統計數據表、分析報告等。經過多年的積累,我軍的電磁頻譜感知數據從數量到覆蓋面上都有了長足的發展和進步,但是數據管理仍存在著很多問題。
(1)數據類型多,管理方式落后。電磁頻譜感知數據存在“臺站要素多、設備種類較多、控制終端多、存儲格式多、數據屬性多”等“五多”問題,根據設備類型分,包括固定監測數據、機動監測數據、探測數據和頻譜參數檢測數據等;根據控制終端分,包括設備原始感知數據、工控機人工記錄數據、備份存儲數據等;根據存儲格式分,包括以CSV、Excel等格式存儲的原始感知數據,以Excel、Word、PDF等格式存儲的人工記錄數據,以JPG、BMP等格式存儲的圖片數據,以MP3、wav等格式存儲的音頻數據,以及以avi、wmv等格式存儲的視頻數據,而且數據分散存儲在機房中、辦公室中和單獨的服務器上,沒有形成統一的電磁頻譜感知數據服務。
(2)處理方法單一,有價值信息亟待深入挖掘。目前常用的數據庫管理技術可以高效地實現對監測數據的錄入、查詢、統計、修改、刪除等功能,同時利用數理統計的相關知識也可對電磁頻譜感知數據庫中的數據進行簡單的統計分析,從而得到一些統計知識[[4]],但這些數據處理方法單一,簡單的統計分析不能發現海量數據中潛在的相關聯系和規則,不能探測到異常信號數據,也不能根據現有的數據預測未來的頻譜特性,而且現有的感知數據分析手段僅僅是對單一種類的感知數據進行分析,不能實現多類數據融合分析和關聯分析,很難在原始監測數據的基礎之上進行二次分析獲得有用價值,進而不能為高效監測和使用頻譜資源提供輔助決策。
(3)管理缺乏統一的硬件保障,數據抗毀和容災能力極低。目前我軍電磁頻譜感知數據從網絡到服務器配置均不高,沒有集中的數據管理中心或者平臺為感知數據存儲提供軟硬件運行環境,各臺站要素有的自行購買臺式計算機保障運行,臺式計算機可靠性差、不穩定、易出現死機等硬件故障;有的依托其他系統的服務器進行存儲,數據存在誤刪風險,且管理靈活性無法得到保障。且電磁頻譜感知數據缺少雙機備份機制,網絡不甚穩定,這為數據的高效管理和融合利用也帶來了很大的阻力。
3 基于大數據的電磁頻譜感知數據管理和分析
3.1 電磁頻譜感知大數據構成
未來信息化戰場,頻管數據量大,類型繁多,感知網數據匯聚速度快,頻譜信息蘊藏豐富。頻譜數據可以歸結為三部分組成。一是頻管基礎類數據,包括信號樣本、頻率劃分、衛星資源數據,頻管法規、頻管基礎知識、頻管新聞動態、頻管訓練、計量、監控裝備故障檢測數據,電波傳播計算、干擾分析、工程計算分析結果數據。二是感知類數據,包括感知網獲得的各類格式化的監測數據以及視頻、圖像、表報數據,感知網的編號、網絡運行狀態數據,各類感知設備本身的運行狀態、地理位置數據等。三是頻管態勢數據,包括電磁環境態勢、頻譜感知網系覆蓋態勢、無線電管制態勢、可用頻率資源態勢數據等。
3.2 大數據分析要素組成
(1)完備的大數據感知網絡。完備頻譜大數據網絡是頻譜數據體系的基礎,是頻譜大數據分析的前提,獲取的是各類頻譜數據,其作用是完成頻譜大數據的匯聚。沒有完備的感知網感知數據的積淀,也無法得到全要素、全地域的感知數據,依靠頻譜感知網絡,利用大數據處理技術,對獲取的海量頻譜數據進行統計、分析、發現、預測,充分發揮各類感知數據的效能。
(2)高效的大數據云處理平臺。如果頻譜感知數據是流通的血液的話,那么電磁頻譜感知網絡就是血管,大數據分析處理平臺就是心臟,是提取電磁頻譜信息的“煉金爐”。云計算與大數據相輔相成,他們的關系靜與動的關系:云計算強調的是計算和存儲,這是動的概念;而數據是計算的對象,是靜的概念。大數據云處理平臺采用類似Map Reduce任務分解匯總技術和Hadoop并行處理技術。
(3)數據可視化技術。數據可視化是關于數據視覺表現形式的研究,其基本思想是將數據庫中的每一個數據項作為單個圖元元素表示,同時將數據的各個屬性值以多維數據的形勢表示,可以從不同維度觀察數據,從而對數據進行更深入的觀察和分析。數據可視化通過分析頻譜數據結構,將各種頻譜信息以多維、形象、直觀的方式進行表示,為指揮中樞快速決策提供支撐。戰場電磁態勢顯示就是利用可視化技術的重要體現,其功能主要是實現戰場多維態勢顯示,包括武器裝備的部署分布信息、運動目標的飛行軌跡、各類輻射源的工作狀態和輻射范圍信息,以及電磁信號的密度特征、強度特征、樣式特征和分布特征的顯示。
4 結語
信息化條件下的聯合作戰高度依賴數據信息,而電磁頻譜感知數據是作戰數據的重要組成之一。論文針對我軍電磁頻譜感知數據存儲單一、分析處理方法有限等問題,提出了基于大數據技術的電磁頻譜感知數據管理和挖掘架構,全面存儲電磁頻譜感知過程中的客觀原始感知數據和主觀分析數據,并從海量的感知數據中挖掘出潛在的有價值的信息和知識。
參考文獻
[1]程學旗,靳小龍,王元卓.大數據系統和分析技術綜述[J].軟件學報,2014,25(9):1889-1908.
[2]Manyika J,Chui M,Brown B,Bughin J.Big data:The next frontier forinnovation,competitionand productivity.2011.
[3]杜立,新吳剛.遼寧省全時頻譜監測站建設探索[J].中國無線電,2014(3):53-54.
[4]張輝,陳少剛,譚樂.數據挖掘技術在頻譜監測數據分析中的應用[J].中國科技信息,2014(22):135-136.