數據分析師范文第1篇
數據倉庫 (DW) 作為相對穩定的、集成的、面向主題、反映歷史變化的數據集合, 多用來支持管理決策。結合數據倉庫的定義可知, 數據倉庫具有相對穩定的、集成的、面向主題、反映歷史變化的特點: 相對穩定的特點是指數據倉庫的數據多用來支持企業決策, 因此數據倉庫內的數據往往被長期保留, 而數據操作多為數據查詢或數據的定期加載及刷新; 集成的是指數據倉庫的數據多由分散的數據經系統加工、匯總、整理所獲取, 因此必須確保存儲的數據僅與特定企業相關聯; 面向主題是指數據倉庫的數據始終圍繞特定主題進行匯總, 且該主題往往與若干操作型信息系統有關; 反映歷史變化是指數據倉庫的數據往往涵蓋著諸多歷史信息, 即系統記錄著特定企業某段時間內的所有信息, 且管理者能據此預測該企業的發展歷程及發展趨勢。數據倉庫的體系結構如圖1所示。
2 數據清洗技術的應用
數據倉庫的數據清洗過程, 重復記錄的清洗起著關鍵性的作用。著重從重復記錄的清洗角度, 探究數據倉庫的數據清洗技術的應用。
2.1 數據清洗原理
數據清洗是指依據數據挖掘及數理統計的清洗規則, 把臟數據轉化為高質量的數據。數據清洗的原理如圖2所示。
數據清洗要求把冗余或錯誤的數據刪除及對對象進行識別, 注意數據清理往往需要與數據轉換同步, 即實現異構數據源的集成及數據的遷移。
2.2重復記錄清洗
2.2.1重復記錄清洗的含義
結合前文內容可知, 數據倉庫的數據應保持獨有性, 但多數據源的集成過程, 極易出現輸入錯誤、拼寫錯誤等誤操作, 由此導致數據倉庫的特定數據存在多種表示形式, 即特定實體對象與多條記錄相對應。如此, 勢必損害信息的一致性, 甚至導致資源浪費?？梢? 對重復記錄的清洗具有現實意義。重復記錄的清洗必須始終遵循下列步驟: 預處理→重復記錄檢測→數據庫級的重復記錄聚類→沖突處理。預處理是指選擇與記錄相匹配的屬性, 同時給此屬性分配相應的權值, 注意重復記錄的清洗過程, 可采用調整權重的方式來確定重復記錄。重復記錄檢測是指對字段與記錄匹配問題的解決。數據庫級的重復記錄聚類是指運用重復記錄算法來縮小記錄比較的范圍, 同時對數據庫的重復記錄予以聚類 處理。沖突處理是指依據特定規則來刪除或合并聚類的 重復記錄 。重復記錄檢測算法的效率常用所采用的算法能否檢測出數據庫內所有重復記錄來進行衡量, 且比較常用的標準包括誤識別率、召回率及準確率。誤識別率是指被重復記錄檢測算法誤識別的重復記錄與被此算法識別出的重復記錄 間的比值 ,注意誤識別率與算法結果的置信度呈正相關。召回率是指被重復記錄檢測算法準確找出的重復記錄與數據庫內所有重復記錄間的比值。準確率是指重復記錄被誤識別的概率。
2.2.2重復記錄清洗的算法
重復記錄消除以前, 可就合并后的數據集進行匹配, 且常用的檢測重復記錄的算法包括基本的字段匹配算法、遞歸的字段匹配算法、Smith Waterman算法等。研究表明, 最有效的檢測重復記錄的算法為就數據倉庫的每對記錄進行 比較 ,但此算法的耗時及復雜度均較大。排序與合并作為消除重復記錄的核心思想, 即要求先對數據庫的記錄進行排序, 隨后再采用比較臨近記錄的方式來檢測重復記錄的部分。據調查結果顯示, 常用的檢測重復記錄的算法多采用此思想, 比如優先隊列 算法、排 序鄰居算 法 (SNM) 、多趟排 序鄰居法(MPN)。
(1) 排序鄰居 法
排序鄰居法要求首先以給定的關鍵字為依據, 排列數據庫的記錄, 然后以此為活動范圍, 移動大小固定的窗口, 注意此時僅對窗口覆蓋到的記錄進行檢測及對此部分的匹配情況進行判斷, 以控制記錄的比較次數。假設窗口覆蓋有n個記錄, 那么窗口移動過程, 移出第一條記錄以后, 便可比較判定n-1條記錄與新進的記錄間的匹配情況。就給定的超過1個的數據庫而言, 排序鄰居法要求先把數據庫的記錄進行聚類以后, 再把此部分數據庫的記錄合并成數據集, 最后再進行匹配?；镜呐判蜞従铀惴ㄒ蟀聪铝胁襟E進行重復記錄的清洗: 構造排序關鍵詞 (以抽取表內字段的方法來生成與記錄相對應的關鍵詞) →對記錄排序 (依據已生成的關鍵詞,排列數據庫的記錄) →檢測 (就排序的記錄集, 依次移動大小固定的窗口, 注意僅對窗口覆蓋到的記錄進行比較, 以判斷此部分記錄的匹配程度)。研究表明, 盡管排序鄰居法的應用對實現重復記錄的清洗意義重大, 但同時也存在如下缺點亟待解決, 比如排序關鍵字對此算法的實現影響甚大; 滑動窗口的大小難控制; 盡管記錄比較的范圍被控制到窗口大小內, 但實際操作過程, 重復記錄的記錄出現的頻率依然較小?？梢? 排序鄰居法的應用過程, 必須克服以上缺陷, 以提高該算法的應用效果。
(2) 多趟排序 鄰居法
多趟近鄰排序算法的應用能夠有效減輕排序關鍵字對排序鄰居法應用效果的影響程度。多趟近鄰排序算法要求單獨執行多趟排序鄰居法, 同時要求每趟創建的排序關鍵字不能相同且使用的滑動窗口相對較小, 同時采用等價的傳遞性方法來評判合并記錄的等價情況, 如此把每趟找出的重復記錄合并起來, 注意此合并過程假設記錄以傳遞形式重 復出現 ,由此計算重復記錄的傳遞閉包。采用計算傳遞閉包的方法可獲取到較為完整的重復記錄集, 由此實現部分規避漏配情況的出現。
(3) 優先隊列 算法
優先隊列算法要求首先采用鄰近排序 算法排列 數據集 ,然后再結合排序結果, 對小范圍的鄰近記錄予以匹配, 由此確定重復記錄。優先隊列算法的實現步驟為: 抽取≥1個字段來構造關鍵字, 并進行排序→找出固定長度的子集隊列內各記錄的匹配記錄→以匹配操作的方式找出要求合并的子集→計算并合并此類子集的傳遞閉包, 以獲取所有近似的重復記錄集。對關鍵字進行排序后, 難以完全把重復記錄聚集起來,因此單趟優先隊列算法極有可能部分漏掉重復記錄。 為此 ,可采用多趟優先隊列算法, 且每次排序均采用不同的關鍵字。除此以外, 優先隊列該算法能夠與數據規模的變化相 適應 ,且就某條記錄與多條重復記錄相對應的情況, 優先隊列算法也極具適應性。
3 結語
數據分析師范文第2篇
程序員 :廖翔 , 劉小芳 , 強將波 測試員 :馮兆強 界面設計員 :夏沖 目錄
一 緒論 ··········································3 二 課程設計說明····································3 三 需求分析·········································4 四 物理結結構設計···································5 五 數據字典·········································5 六 數據庫設計·······································10 七 功能實現截圖·····································11 八,小結············································21 附錄 1.(組員及學號
廖翔 (,劉小芳 (41009040127,馮兆強 (, 張晶晶 (41009040130,夏沖 (,強將波 ( 2. 開發環境說明
使用 C#進行客戶端應用程序的開發,數據庫管理系統采用 SQL SERVER
一、緒論
隨著計算機技術的飛速發展和經濟體制改革的不斷深入, 傳統企業管理方法、 手段以及 工作效率已不能適應新的發展需要, 無法很好地完成員工工資管理工作。 提高公司企業管理 水平的主要途徑是更新管理者的思想,增強對管理活動的科學認識?；?C#與 SQL server 數據庫技術建立一個通用工資管理系統,該系統為提供了查詢、增加記錄、刪除等 功能, 功能比較的齊全, 并對工資進行了統計如津貼管理、報表統計等?；旧夏軡M足管理 員和公司的要求。
此次數據庫課程設計的主要設計如下: 原理分析、程序設計過程、程序實現和程序調試以及數據庫的設計。 需求分析、概要結構設計、邏輯結構設計、物理結構設計和數據庫的實施和維護。 二 . 課程設計說明
1. 設計題目:工資管理系統 2. 設計任務與要求: 2.1實驗任務
1. 掌握數據庫設計和實現的基本過程 2. 掌握數據庫模式設計、分析和實現的方法 3. 了解數據庫應用系統軟件開發的一般過程。 2.2 實驗基本要求 (1學習相關的預備知識
(2按照數據庫設計與實現過程完成數據庫的設計,應用程序的開發,上機調試、運 行
(3寫出課程設計報 3. 目的
本說明書目的在于明確說明系統需求,界定系統實現功能的范圍, 指導系統設計以 及編碼。本文檔作為人力資源管理系統的需求說明文檔,用于與用戶確定最終的目標, 并成為協議文本的一部分,同時也是本系統設計人員的基礎文檔。
4. 背景 工資管理系統
工資管理部門希望建立一個數據庫來管理員工的工資。 要計算員工的工資, 就需要考慮 不在休假日期以內的假期、 工作期間的病假時間、 獎金和扣除的部分。 必須指明給每個員工 發薪水的方式, 隨著時間的推移, 方式可能會有些改變。 大多數的員工是通過銀行卡來結算 工資的, 但是也有一部分人使用現金或支票。 如果是通過銀行卡, 就需要知道賬號和卡的類 型。付款方式只可能是一種方式。有幾種原因可以扣除工資:例如,個人所得稅、國家稅、 醫療保險、退休保險或者預付款。
5. 主要包括三大功能模塊: 1. 登錄界面選擇 [員工登錄 ]即可進入 [員工登陸界面 ], 選擇 [管理員登陸 ]即可進入 [管理員 登錄界面 ]。
2. 管理員功能模塊。 3. 員工功能模塊 . 6. 操作說明
6.1 無論是管理員還是員工,操作都以員工編號來進行。
6.2 管理員可以對員工基本信息增、 刪、 查、 改, 員工只能對本人基本信息和工資信息查詢。 三.需求分析
1. 功能需求分析: 該通用工資管理系統具備下列功能:登錄界面選擇 [員工登錄 ]即可進入 [員工登陸界面 ], 選 擇 [管理員登陸 ]即可進入 [管理員登錄界面 ]. 管理員通過輸入用戶名和密碼進下該系統后, 可以進行一些基本查詢 (員工個人信息查 詢 , 員工工資信息查詢 , 修改 (修改員工基本信息 , 修改工資信息 , 刪除 (員工個人資料刪除 , 員工工資信息刪除 , 錄入 (員工資料錄入 , 員工工資資料錄入 ; ;通過輸入密碼,可以進行 查詢員工的數據(工資,獎金津貼,加班情況 。
員工通過輸入用戶名和密碼即可進入系統 , 可以進行查詢 (查詢個人基本信息和工資信 息 . 2. 數據流需求分析:
數據庫 數據庫需求分析——數據流圖 四 . 物理結構設計 1. 系統模塊劃分
五 . 數據字典 2.1表字典
2.2表字段字典
六 . 數據庫設計 1. 建表 : EmpInfoTable(Id[主鍵 ],Name,Position,Status; SalaryInfoTable(Id主鍵 ],Name,Prize,Pasepay,RetirementInsurance,Income,Stute,Medical, Dayleave,Deduced,Paytpe,CardNumber,Cardtype,GrossSalary,NetSalary,Date ; (1 員工基本信息表 : (2員工工資表 :
七 . 功能實現截圖 1. 登錄界面
2. 管理員部分 : (1管理員登陸界面
(2管理員功能選擇界面
(3 .錄入員工基本信息界面 (4錄入員工工資信息
(5.修改功能選擇界面
A. 修改員工基本信息
B. 修改工資信息
(6.管理員查詢界面 A. 查詢功能選擇界面
B. 查詢員工基本信息
C. 查詢工資信息
(7.管理員查詢界面 A. 功能選擇界面
B. 管理員修改員工個人信息
C. 管理員修改員工工資界面界面
(8.管理員刪除界面 A. 功能選擇界面
B. 刪除員工個人信息及工資信息界面
C. 刪除員工工資信息界面
3. 員工功能界面 (1.員工登錄界面
(2.員工功能選擇界面
(3.員工查詢本人基本信息 (4.員工查詢本人工資信息 4.測試分析 4.1 更改員工資料不可以更改身份。 4.2 修改員工工資信息一旦失敗 就會把原有信息刪除。 4.3 管理員固定，且只有一個。 八.小結 該工資管理系統總體說來功能比較齊全，管理
員和員工的一些基本的功能 都已經具備; 數據庫的設計方面， 建有員工表、 工資表。 數據庫中存在一些問題， 如數據冗余，不夠完善。 但在做課程設計的過程中也遇到很多問題，一開始時其中最大的問題是數 據庫的連接部分,該部分直接影響到數據庫與應用程序接口實現,而且必須注意 數據庫數據庫的名稱與連接數據庫的取名以致.后來經過大家的合作努力解決了 這個問題.在編寫程序時,確實也遇到了很多困難,后來經過調試后終于把自已想 到實現的功能一步步實現了，通過這次課程設計使我收獲了好多，熟悉了 C#的 運用，還復習了數據庫相關語句的編寫。 此次課程設計讓我感受頗多：做一個數據庫其實是一件很有趣的事情。想到
數據分析師范文第3篇
數據倉庫與數據挖掘是近年來剛剛興起并逐步發展起來的一門新興交叉學科, 它把對數據的應用從低層次的簡單查詢, 提升到從數據中挖掘知識, 并提供決策支持。此門學科涉及到許多領域的知識, 包括數據庫技術、人工智能技術、數理統計、可視化技術、并行計算、機器學習等, 匯集了多門學科的知識并在綜合運用這些學科知識的基礎上產生出新的知識和方法。此門學科的應用主要在于構建企業的決策支持系統, 此系統正是目前幫助企業提高自身競爭力的重要手段。
在數據倉庫與數據挖掘學科中涉及了許多概念、設計方法及諸多挖掘算法, 本文將就其中的一些內容結合SQL Server Analysis Service應用實例加以闡述與說明, 以加深對理論的理解, 并逐步掌握此門學科所提供的更多技術。
總體來講, 構建一個企業的決策支持系統主要有兩個階段, 第一個階段是創建企業的數據倉庫, 第二個階段是在數據倉庫的基礎上進行數據挖掘。這兩個階段的工作相輔相成, 數據倉庫是基礎, 數據挖掘是在數據倉庫之上的高層應用, 兩者需要整體規劃、分步實施。下面分別就這兩部分內容結合實例加以闡述。
1數據倉庫的規劃與設計
數據倉庫是一個面向主題的、集成的, 時變的、非易失的數據集合, 支持部門管理的決策過程, 數據中的每一個數據單元在實踐上都是和某個時刻相關的。數據倉庫也被看作是某個組織的數據存儲庫, 用于支持戰略決策。數據倉庫的功能是以集成的方式存儲整個組織的歷史數據, 這些數據會影響到這個組織和企業的多個方面。數據倉庫的特點是:數據常常來自于多個數據源;其存放模式一致;駐留在單個站點;數據已經清理、變換、集成與裝載并定期刷新;數據量巨大。
數據倉庫構建方法同一般數據庫構建方法最大的不同在于數據倉庫的需求分析是從用戶的決策問題入手, 其目的是直接針對問題的主題, 而一般數據庫系統是以事務處理為出發點。下面結合具體實例說明數據倉庫的設計步驟。
1.1 確定用戶需求, 為數據倉庫中存儲的數據建立模型
通過數據模型得到企業完整而清晰的描述信息。數據模型是面向主題建立的, 同時又為多個面向應用的數據源的集成提供了統一的標準。
例如:FoodMart是一家大型的連鎖店, 在美國、墨西哥和加拿大有銷售業務。市場部想要按產品和顧客分析1998年進行的所有銷售業務數據。該公司現在急需進行銷售方面的數據分析, 以找到一些潛在規律來促進銷售業務的進一步拓展從而擴大銷售渠道、加大銷售量、提高銷售利潤、增強公司競爭力。該連鎖店銷售的產品總體上被分為若干個大類, 細節上分為若干個小類;客戶廣泛分布于不同地區、不同國家。該連鎖店在銷售信息管理系統中長期保存并不斷更新著產品、產品分類、商店、銷售、促銷、客戶等記錄表, 依次為:產品表 (PRODUCT) 、產品分類表 (PRODUCT_CLASS) 、商店表 (STOR) 、1998年銷售記錄表 (Sales_fact_1998) 、促銷表 (PROMOTION) 、客戶表 (CUSTOMER) 等。
FoodMart連鎖店保存并不斷更新的數據庫是事務處理型數據庫, 其結構是面向應用而設計的。要進行數據挖掘就必須建立面向主題的數據倉庫, 為了進行1998年銷售方面的數據挖掘, 要設計的數據倉庫必須以1998年銷售數據為主題, 輔之以日期、產品、產品分類、商店、促銷、客戶等其它數據信息。具體來講, 即創建以1998年銷售為主題的數據倉庫, 采用星型/雪花模式構建事實表。
具體系統模型構造如圖1所示。
1.2 分析數據源, 完成數據倉庫的設計工作
基于用戶的需求, 著重于1998年銷售主題, 開發數據倉庫中數據的物理存儲結構, 即設計多維數據結構的事實表和維表。1998年銷售事實表包含5個維表和3個度量。這5個維表分別是日期、客戶、產品、促銷和商店維表, 3個度量分別為銷售金額、倉儲成本、銷售單位?？紤]到將來要根據顧客的年收入情況進行顧客會員卡種類方面的數據分析, 另外增加了年收入維度 (yearly income, 取自于customer表) 。為便于分析挖掘出有關時間因素的信息, 特增加了時間表time。
1.3 生成物理的數據倉庫, 并從各種源系統中獲取數據裝入數據倉庫中
在SQL Server Analysis Service manager中建立物理的數據倉庫可以通過ODBC數據源方式指定原有數據庫, 再通過Microsoft OLE DB Provider for ODBC進行連接的方式完成原有數據庫到數據倉庫的映射。運用SQL Server Analysis Service manager提供的功能建立數據倉庫的多維數據集, 指定此數據倉庫的度量值與維度, 至此數據倉庫建立完畢。其中緯度與度量值如圖2所示。
2 數據挖掘
數據挖掘 (Data Mining) 又稱為數據庫中的知識發現 (Knowledge Discovery in Database, KDD) , 就是從大量數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。簡言之, 數據挖掘就是從海量數據中提取隱含在其中的有用信息和知識的過程。數據挖掘可以幫助企業對數據進行微觀、中觀乃至宏觀的統計、分析、綜合和推理, 從而利用已有數據預測未來, 幫助企業贏得競爭優勢。數據挖掘的方法是建立在聯機分析處理 (On Line Analytical Processing, OLAP) 的環境基礎之上的。OLAP技術使數據倉庫能夠快速響應重復而復雜的分析查詢, 從而使數據倉庫能有效地用于聯機分析。OLAP 的多維數據模型和數據聚合技術可以組織并匯總大量的數據, 以便能夠利用聯機分析和圖形工具迅速對數據進行評估。當分析人員搜尋答案或試探可能性時, 在得到對歷史數據查詢的回答后, 經常需要進行進一步查詢。OLAP系統可以快速靈活地為分析人員提供實時支持。
數據挖掘工作是在完備地建立了數據庫、數據倉庫等數據集的基礎上進行的, 典型的數據挖掘系統結構如圖3所示。
整個數據挖掘過程主要可分幾個階段, 依次為:問題定義、數據預處理、數據挖掘以及結果的解釋和評估。
2.1 問題定義
問題定義就是要清晰地定義出業務問題, 確定數據挖掘的目的。對于FoodMart連鎖店來說, 它的問題定義就是:FoodMart連鎖店的市場部想增加客戶滿意度和客戶保有率, 于是實行了創造性的方法以達到這些目標。
其方法之一是對會員卡方案重新進行定義, 以便更好地為客戶提供服務并且使所提供的服務能夠更加密切地滿足客戶的期望。
為了重新定義會員卡方案, 市場部想分析當前銷售事務并找出客戶人口統計信息 (婚姻狀況、年收入、在家子女數等等) 和所申請卡之間的模式, 然后根據這些信息和申請會員卡的客戶的特征重新定義會員卡。
2.2 數據預處理
最初為數據挖掘所準備的所有原始數據集通常都很大, 它們當中存在許多臟數據。造成臟數據的原因主要源自于收集與傳送過程的錯誤、濫用縮寫詞以及不同的慣用語、重復記錄、數據輸入錯誤、拼寫變化、不同的計量單位、過時的編碼、集成時的空值與丟失值以及不同的數據源等。臟數據主要有以下一些表現形式:
(1) 數據不完整。表現為:感興趣的屬性缺值;缺乏感興趣的屬性;僅包含聚集數據等。例如:CUSTOMER表中的LNAME=“”
(2) 數據噪聲。即包含錯誤的屬性值或存在偏離期望的孤立點值。一個屬性的值與事實完全不吻合的情況, 例如:CUSTOMER表中的在家子女數num_children_at_home=200
(3) 數據不一致。數據不一致表現為多種情況, 比如:同樣的屬性在不同的結構里使用不同的名字, 例如:name、xm;不同數據使用的計量單位不同, 例如:100 (美元) 、100 (美分) ;數據不允許為空的地方數據為空等。
如果在臟數據上進行數據挖掘將很可能導致錯誤的判斷甚至完全相反的分析結果, 也就是說, 沒有高質量的數據就沒有高質量的挖掘結果。由于決策質量依賴于數據質量, 因此需要在數據挖掘之前進行數據預處理, 以保證數據倉庫內包含的是高質量的、一致的數據。所謂數據預處理其實就是對數據倉庫中的數據進行提取、清理、轉換, 從而保證數據的高質量, 具體來講包括以下幾種操作:
(1) 數據清理 (data cleaning) 。就是去掉數據中的噪聲, 糾正不一致;填寫空缺值, 平滑噪聲數據, 識別、刪除孤立點。例如:將CUSTOMER表中的在家子女數num_children_at_home=200的記錄值刪除掉或填入平均值1。
(2) 數據集成 (data integration) 。將多個數據源中的數據合并存放在一個統一的數據存儲 (如數據倉庫、數據庫等) 中, 數據源可以是多個數據庫、數據立方體或一般的數據文件。
(3) 數據變換 (data transformation) 。即數據的標準化與聚集, 將數據變換成適于挖掘的形式。例如:屬性數據可以規范化, 使得它們可以落入某個小區間。
(4) 數據歸約 (data reduction) 。數據歸約技術可以用來得到數據集的歸約表示, 它接近于保持原數據的完整性, 但數據量比原數據小得多。與非歸約數據相比, 在歸約的數據上進行挖掘, 所需的時間和內存資源更少, 挖掘將更有效, 并產生相同或幾乎相同的分析結果。數據歸約主要通過數據聚集 (如建立數據立方體) 、維歸約 (如刪除不相關特性) 、數據壓縮 (如最短編碼) 、數字歸約 (用較短的表示替換數據) 、概化 (去掉不用的屬性) 等方法完成。例如, 對于FoodMart連鎖店的數據挖掘來講, CUSTOMER表中的address1、address2、address3、 address4這4個屬性與挖掘目標無關, 所以可以將它們刪除掉以節省空間和時間。
2.3 選擇挖掘模型, 進行數據挖掘
根據數據挖掘的目標和數據的特征, 選擇合適的挖掘模型, 在凈化和轉換過的數據集上進行數據挖掘。
FoodMart連鎖店的工作設想是:對會員卡方案重新進行定義, 以便更好地為客戶提供服務并且使所提供的服務能夠更加密切地滿足客戶的期望。市場部想分析當前銷售事務并找出客戶人口統計信息 (婚姻狀況、年收入、在家子女數等) 和所申請卡之間的模式, 然后根據這些信息和申請會員卡的客戶的特征重新定義會員卡。
對于這個工作預期, 決定采用決策樹的數據挖掘方法進行客戶群的分析。所謂決策樹, 就是在對數據進行決策分類時利用樹的結構將數據記錄進行分類, 其中樹的一個葉結點就代表符合某個條件的屬性集, 根據屬性的不同取值建立決策樹的各個分支, 隨后遞歸地構造每個子節點的子樹。由于決策樹結構簡單便于人們認識與理解, 以及決策樹不需要額外的數據訓練, 因此, 決策樹是數據挖掘中常用的一種分類方法。
本實例采用“Microsoft 決策樹”算法在客戶群中找出會員卡選擇模式。按照以下步驟完成“決策樹”挖掘模型:
(1) 將要挖掘的維度 (事例維度) 設置為客戶;
(2) 將 Member_Card 成員的屬性設置為數據挖掘算法識別模式時要使用的信息;
(3) 選擇人口統計特征列表 (婚姻狀況、年收入、在家子女數和教育程度) , 算法將據此確定模式;
(4) 處理訓練模型, 瀏覽決策樹視圖并從中讀取模式。
經過處理后, 挖掘模型瀏覽器展現出一棵深度為3、寬度為8的決策樹, 此瀏覽器將根據用戶對樹中不同分支節點的選擇顯示出相應的統計信息。
例如, 選擇根節點“全部”顧客的方框后顯示信息如圖4所示。
在圖中可以看到數據挖掘的結果:將客戶按照年收入的不同分為8個區段 (類) , 涉及的客戶總數為7 632人, 通過直方圖可以直觀地看到辦理金、銀、銅、普通卡的比例。
選擇年收入在$30K-$50K的范圍框后, 挖掘模型瀏覽器的顯示信息如圖5所示。
年收入在此范圍內的客戶共計1 362人, 其中辦理金、銀、銅、普通卡的數量和比例通過合計及直方圖可以一目了然。
其它選項依此類推。
對年收入在$150K以上的范圍節點進行進一步分級 (顯示其子節點) , 選擇已婚節點后顯示信息如圖6所示。
從圖中數據可以看出, 在年收入為$150K以上的已婚客戶中, 81.05%的人辦理了金卡。
選擇未婚框后顯示信息如圖7所示。
圖中數據顯示, 在年收入為$150K以上的未婚客戶中, 89.16%的人辦理了銀卡。
對年收入在$50K-$70K的范圍節點進行進一步分級 (顯示其子節點) , 選擇在家子女的人數<2后顯示信息如圖8所示。
選擇在家子女的人數>2后顯示信息如圖9所示。
其它選項依此類推。
2.4 解釋模型結果分析
針對FoodMart商店的舉措, 對挖掘模型瀏覽器的顯示結果進行研讀后得出這樣的結論:年收入越高的顧客辦理金卡、銀卡的比例越高, 收入越低的顧客辦理普通卡和銅卡的比例越高。在高收入的顧客中, 已婚者辦理金卡的比例最高, 單身者辦理銀卡的比例最高。在較低收入的顧客中, 在家子女的人數少于兩人的辦理銅卡的比例較高, 多于兩人的辦理金卡的比例較高。具體數據值及比例值可以從挖掘模型瀏覽器中得到。市場部將根據這些模式設計新的會員卡, 使其適應申請各類會員卡的客戶類型。
3 結語
企業要建立自己的決策支持系統就必然要應用數據倉庫、數據挖掘技術, 企業應根據自身要求合理建立特定主題的數據倉庫, 在此基礎上還要結合實際問題選擇相應的挖掘模型, 從而得到最有價值的挖掘分析結果, 以利于企業的經營發展。
參考文獻
[1][美]MEHMED KANTARDZIC.數據挖掘——概念、模型、方法和算法[M].北京:清華大學出版社, 2003.
數據分析師范文第4篇
數據庫安全問題是指防止非授權用戶無意或有意地查看、修改、刪除或破壞存儲于數據庫中的信息。數據安全問題是在數據庫管理維護和訪問操作中非常重要的問題。為了保證數據的安全, 本文主要闡述了數據庫數據存在的安全威脅以及如何保證數據庫數據安全的方法策略。
1 數據庫數據的安全威脅
(1) 向數據庫中傳輸了錯誤或被修改的數據。有的敏感數據在輸入的過程中已經泄露了, 失去了應有的價值;在數據維護 (增加、刪除、修改) 和利用過程中可能對數據的完整性造成破壞。
(2) 支持數據庫系統的硬件環境故障。例如硬盤故障導致數據庫中的數據讀不出來或丟失;環境災害或者人為的故意破壞都給數據庫數據造成安全威脅。
(3) 數據庫安全措施薄弱。數據庫系統的安全保護功能弱或根本沒有安全機制, 對數據庫攻擊者來說根本不能阻止其侵入。
(4) 網絡黑客和內部惡意用戶的威脅。隨著網絡黑客和內部惡意用戶對網絡和數據庫的攻擊手段不斷翻新以及他們對操作系統和數據庫漏洞的研究, 使得數據庫數據的安全受到嚴重威脅;相反, 各部門對數據庫的安全防護經費投入不足, 使得系統的安全設施改進速度跟不上黑客和內部惡意用戶對系統的破壞速度。
(5) 計算機病毒的威脅。隨著網絡技術和通信技術的快速發展, 計算機病毒的傳播非常迅速。它們是通過網絡進行自我傳播的病毒, 一般通過電子郵件或者有害鏈接進行擴散, 一旦被感染的計算機訪問數據庫, 就會造成威脅。
(6) 數據庫管理人員技術水平欠缺。數據庫管理人員專業知識不夠, 不能很好地利用數據庫的保護機制和安全策略, 不能合理地分配用戶權限, 從而造成用戶權限與用戶級別的混亂, 出現數據庫數據的破壞問題。
2 解決數據庫數據安全的策略
(1) 保證數據庫的完整性。首先必須保證數據庫依賴運行的計算機硬件可靠, 然后采取備份有效措施保證斷電后數據不丟失, 不損壞, 還有就是存儲介質發生故障時數據的恢復。只允許數據庫擁有者或具有系統管理員權限的人才能修改、添加數據庫的數據。
(2) 用戶標識和鑒別。它是系統提供的最外層的安全保護措施。方法是由系統提供一定的方式, 讓用戶自己標識自己的名字或身份。每次用戶要求訪問系統時, 必須輸入用戶名和密碼, 通過系統驗證后才能進入訪問。最好是設定密碼用戶名錯誤次數, 超過后就禁止訪問。
(3) 保護好特殊賬號。系統管理員 (sa) 是為向后兼容而提供的特殊登陸, 既不能被刪除也不能被修改, 是內置的管理員登陸, 沒有密碼, 不要例行公事地使用其作為系統管理員。首先進入數據庫系統后重新設置系統管理員賬號, 并且設置復雜的管理員密碼, 使用重新設置的系統管理員賬號管理數據庫。然后給內置的系統管理員 (sa) 設置一個特殊密碼, 以備不時之需。最好使重新設置的系統管理員賬號成為sysadmin固定服務器角色成員。只有當沒有其他方法登陸了或者其他管理員賬號不可用或忘記密碼時再使用sa進行登陸。
(4) 權限設置。根據數據庫的管理需求, 給數據庫添加角色。然后使用“權限”給角色設置對不同的數據庫對象設置權限, 再將現有用戶添加到具有相關權限的不同角色中。一個用戶可以同時屬于多個角色。比如超級管理員用戶 (Admins) , 有權查看和更新數據庫已有的表, 以及添加刪除表和其他數據庫對象。用戶組 (Users) 有權打開數據庫, 并基于一定選擇性基礎被授予查看和更新數據庫的權限?？腿擞脩?(Guests) 不被分配用戶賬號, 但有被授權訪問數據庫及其所包含對象的優先權限。
(5) 數據加密。數據安全隱患無處不在, 特別是一些機密數據庫和一些高度敏感型數據等必須防止他人非法訪問、修改等操作。數據加密就是最方便簡潔而且可靠的方法。加密的基本思想是根據一定的算法將原始數據變換為不可直接識別的格式, 從而使得不知道解密算法的人無法獲知數據的內容, 加密的方法主要有2種:一種是替換方法, 該方法使用密鑰將原始數據中的每一個字符轉換為密文中的一個字符。另一種是置換方法, 該方法僅將原始數據的字符按不同的順序重新排列, 單獨使用這2種方法的任意一種都是不夠安全的。但是將這2種方法結合起來就能提供相當高的安全程度?，F在的數據傳遞都是在Internet上的2個客戶端傳遞安全數據, 就必須要求客戶端之間可以彼此判定對方的身份, 傳遞的數據必須加密, 才可以保證數據的安全。最有效的方法就是數字認證 (CA) 系統。每個用戶自己設定一把特定的、僅為本人所知的私鑰, 用它進行解密和簽名;同時設定一把公鑰, 并由本人公開, 為一組用戶共享, 用于加密和驗證簽名。當發送一份秘密文件時, 發送方使用接收方的公鑰對數據加密, 而接收方用自己的私鑰解密, 這樣信息就可以安全無誤地到達目的地。它是不可逆的, 即只有私鑰才能解密。
(6) 審計。為了能夠跟蹤和及時發現對數據庫的非法訪問和修改, 需要對訪問數據庫的一些重要事件進行記錄, 這些記錄可以協助維護數據庫的完整性。同時還可以記錄黑客或非法用戶訪問數據庫中敏感數據的次數和攻擊敏感數據的步驟, 這樣可以及時采取防護措施, 補救漏洞, 保證數據庫數據的安全。
(7) 數據庫管理員。數據庫管理員要找具有專業知識的人員來擔任, 并定期進行專業培訓, 能夠專業地進行數據庫的優化、監控用戶對數據庫的存取訪問以及能制定數據庫的備份計劃, 出現問題時能夠對數據庫信息進行恢復。
3 結語
數據庫數據安全面臨著嚴峻的安全和隱私保護問題, 要保證數據庫的安全, 首先得保證數據庫用戶權限的安全, 然后就是當數據庫出現問題時, 能及時處理故障, 并對數據庫數據進行及時的修復和備份, 特別是Internet數據庫的使用, 除了上述安全保證外, 還必須保證數據庫服務器的安全機制必須合理到位, 這樣才能更好地保證數據庫數據的安全。
摘要：隨著網絡技術和通信技術的日益成熟以及網絡通信帶寬的不斷增加, 越來越多地涉及到個人隱私的數據以電子化的方式被存儲和管理, 所以數據庫系統的安全性也成為當前計算機安全最重要的問題。文章主要從數據的加密和訪問權限等方面進行分析。
關鍵詞：數據庫,數據安全,數據加密
參考文獻
[1]劉曉玲, 劉征.計算機數據庫安全管理分析與探討[J].山東輕工業學院學報:自然科學版, 2013 (1) .
[2]王振輝, 王振鐸, 張敏, 等.Web數據庫安全中間件設計與實現[J].科學技術與工程, 2013 (5) .
數據分析師范文第5篇
1 數據化決策的興起與運用
在大數據時代, 信息之間的爆炸增長, 使得各種信息傳遞非常之快, 只需要拿起網絡終端就可以了解到地球另一邊發生了什么。文字、圖形、影像都化作數據流在網絡中以電信號的方式傳遞著信息。數據流在傳遞各行各業的信息同時形成了滲透于各行業的核心資產和創新驅動力。在大數據時代, 企業所擁有的數據集合規模及數據的分析和處理能力決定著企業在市場中的核心競爭力。
因此通過數據分析進行決策漸漸成為新的分析理念, 例如, 在支付寶上進行對電影票房的投資, 這些投資通過對導演往期作品和演員的表演張力, 及投資方的選角等數據進行分析, 預測電影的票房, 選取投資可獲利的電影, 進行票房投資, 從而獲取票房分紅。我國的石油油田根據地震技術的收集數據, 進行科學統一規劃的分析處理, 形成對地下油田的分析建模, 能夠有效直觀地展示地下油藏的分布情況, 從而選擇油井的開采點。中國人民銀行通過對人民幣匯率的漲幅, 進行數據分析, 來制定符合中國國情的外匯貨幣政策, 對貨幣進行宏觀調控, 這能夠有力的保護人民幣升值時, 在國際貿易市場中國進出口貿易所面臨的壓力。在大數據時代背景下, 通過直覺和經驗進行決策分析的優勢不斷下降, 在商業、政治及公共服務領域中, 通過對大數據進行數據分析從而做出符合時代背景的決策, 已成了目前的潮流。
2 數據分析理念及方法
(1) 數據分析要引入統計學思想。在大數據時代背景下, 傳統的抽樣分析已經并不適用于對大數據的分析中, 在大數據時代應當要轉變思維, 轉變抽樣思想, 樣本就是總體, 要分析與某事物相關的所有數據, 而不是依靠少量數據樣本, 這樣才能夠在最大限度地明白事物發展變更過程, 能夠對數據所表露的信息進行更好地處理[1]。要更樂于接受數據的紛繁蕪雜, 不再追求精確的數據, 這并不是說其嚴謹性降低了, 而是往往不起眼, 不符合常理的數據更能夠反映實際的情況。通過對數據網絡之間的聯系進行分析, 不再探求難以捉摸的因果關系, 通過數據的分析處理更能夠反應數據的變更。這些想法都與統計學相關通過所收集的數據, 進行有效的分類處理, 能夠更好地反應事物的變化, 更有利于做出決策[2]。
(2) 數據分析流程。在實際的數據分析過程中, 因大數據貫穿區域較廣, 在地域和行業之間穿插交錯, 顛覆了傳統的線性數據收集模式, 而形成了顛覆傳統的、非線性的決策基礎, 這種決策方式要求我們通過對數據進行收集, 將各行各業所收集的基本信息, 轉化為數據, 將數據經過初步的整合分類, 做出符合當地當時的數據信息, 將數據進行深層次的技術處理, 將處理過后的信息化為知識, 運用到實際的決策中去。在大數據時代, 數據的積累并不會貶值, 而且還會不斷增值, 為了更全面、深入地了解研究對象, 往往需要對數據進行整合, 這就使得數據的積累尤為重要。
(3) 數據分析對統計學的意義。在大數據時代背景下數據分析理念能夠有效地對數據流進行合理地分類處理, 進行科學的統計行為, 統計與分析主要利用分布式數據庫, 或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等, 這就意味著所有有用的數據信息均來源于數據分析處理之后的結果。大數據的數據分析理念擴寬了統計學的研究范圍, 而不僅僅只是實現數據的對比, 而是從根本上豐富了研究的內容, 如:一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata, 以及基于My SQL的列式存儲Infobright等, 而一些批處理, 或者基于半結構化數據的需求可以使用Hadoop, 滿足大多數常見的分析需求, 對傳統的統計工作有著四個轉變。統計研究過程的轉變, 使統計過程成為收集與研究。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大, 統計研究工作思想的轉變, 數據的收集不斷增加, 信息的錄入不斷升級, 其對系統資源, 特別是I/O會有極大的占用。這就使得能夠更好地進行數據分析處理決策[3]。
3 數據分析過程中注意事項
3.1 數據分析要明確變量
將數據收集進行處理是為了明確市場中的某一個變量意義, 這就使得在進行數據分析的時候要能夠明確地找尋變量存在前后所發生的變化, 通過數據對比可以知道該變量在大數據的市場中所存在的影響因素。是否對市場有著風險或有利于市場的開發利用, 能夠在數據分析后做出合理決策。
3.2 統計中不再追求精確的數據
大數據時代下, 數據的不精確性不僅不會破壞總體信息可靠性, 還有利于進行剝絲抽繭, 從而了解總體情況。大數據時代, 越來越多的數據提供越來越多的信息, 也會讓人們越來越了解總體的真實情況。錯綜復雜的數據能夠反映數據之下到底是泥潭還是機遇。數據之間傳遞的信息良莠不齊, 如果要一一追求準確性不利于統計工作的開展, 因此可以將個別的異常值剔除。大數定律告訴我們, 隨著樣本的增加, 樣本平均數越來越接近總體, 這就使得樣本與總體的差異性很小, 更加符合實際情況。
4 結論
綜上所述, 大數據包含結構內外的海量數據, 隨著云計算平臺進行大規模收集處理, 通過建立數據庫的手段, 對數據分流, 使用數據挖掘等方法進行處理、分析, 使得所數據結果更加符合顯示狀況。數據分析理念是通過闡明存在于世界、物質、感官享受上的復雜網絡關系, 從而做出符合時代背景的分析決策。
摘要：隨著信息技術的發展與應用, 各種數據信息通過互聯網、云終端、交際圈、物聯網等之間的大規模傳遞, 人類進入到一個大數據時代, 數據信息之間的傳遞影響著人們的決策成本, 傳統的信息不對等所造成的差距條件已經消失, 而不起眼的數據卻能夠創造巨大的價值。本文對大數據時代背景下數據分析理念進行分析和指導。
關鍵詞：大數據時代,數據分析理念,分析
參考文獻
[1]維克托·邁爾·舍恩伯格, 肯尼思·庫克耶.大數據時代:生活、工作與思維的大變革[M].杭州:浙江人民出版社, 2013.
[2]道格拉斯·W.哈伯德.數據化決策[M].北京:世界圖書出版公司, 2013.