數據挖掘范文第1篇
1.1數據倉庫
隨著數據庫技術的發展,數據倉庫(Data Warehouse, DW)的概念出現了。相對一般的數據庫技術而言,數據倉庫是一種高層管理,高層智能,輔助決策的新型數據庫技術。 通過該技術安全,平穩,有效地將分散在諸多數據庫系統(Data Base System,DBS)中的數據,集成到一個公共信息平臺模式下,就是從多個數據源收集數據以統一的模式的數據體形式進行存儲,這是建立數據倉庫的基礎。
1.2數據挖掘
隨著信息技術的發展,數據和信息大量出現和積累,如何從可能含有大量冗余信息中提取有用的,有價值的知識成為信息技術研究的重要問題,出現了數據挖掘技術,及其相關理論和方法用來研究這類問題。
數據挖掘可以認為是從大量的,不完全的,不規范的, 有噪聲的,模糊的,隨機的存放在數據庫,數據倉庫或其他信息體中的大量數據中挖掘有趣知識的過程中,從中提取在其中隱含的,事先不知道,又是潛在有用的,有價值的隱藏事件,并利用科學技術,進行深入分析,提取有用知識,作為進行決策時的依據的用來進行高層智能輔助決策的信息和知識的過程。
數據挖掘的概念隨著科學技術的發展而發展,其內容和實踐因而隨之得到充實。
2數據倉庫與數據挖掘的關系
2.1作用與性質關系
數據倉庫與數據挖掘作為用于決策支持的新技術,發展迅速,兩者相互結合,相互影響。數據倉庫與數據挖掘的發展關系是融合與互動的;數據倉庫和數據挖掘的建立具有不同的目的和過程。
2.1.1數據倉庫與數據挖掘的融合與互動發展
數據倉庫中的數據是經過預處理的,在預處理過程中已清除了原數據的不規則性,進行了數據匯總,在此基礎上數據挖掘的使用只是進行進一步的預處理。數據倉庫與數據挖掘的協同工作中,一方面,數據倉庫因在建立數據倉庫階段就進行了預處理,迎合和簡化了數據挖掘過程中的重要步驟, 提高了數據挖掘的效率和能力。另外,作為一種重要的技術, 數據挖掘技術成為數據倉庫應用中的重要和相對獨立的方面和工具,影響和推動著數據倉庫應用和發展,數據挖掘的很多相關技術成為建立數據倉庫的借鑒。
2.1.2數據倉庫和數據挖掘的目的和過程不同
數據倉庫是數據庫技術的一個新主題,是一個存儲著由整合組織作業數據庫得來的數據的非常大的數據庫。將作業中的數據轉換成有用的策略性信息是整個數據倉庫的重點, 這個轉換和整合過程是建立數據倉庫的最大問題和挑戰。一個數據倉庫應具有整合性數據(Integerate Data),詳細和匯總性數據(Detailed and Summarized Data),歷史數據, 解釋數據等。數據倉庫先行建立,數據挖掘才能有效率進行, 數據挖掘是從數據倉庫找出有用信息的一種過程和技術。數據倉庫為數據挖掘提供了整合后的更好,更規則,更規范, 更廣泛地數據源,數據挖掘為數據倉庫提供了更好的具有高層智能和高層管理的決策支持。
2.2功能關系
從功能關系方面界定,數據倉庫和數據挖掘是不同的信息技術,雖然目標都是輔助決策,但只有通過數據挖掘,數據倉庫才能更好地體現出輔助決策的功能和作用,否則僅僅數據倉庫,盡管數據豐富而信息匱乏。另外,數據挖掘雖然不一定建立在數據倉庫之上,但數據倉庫卻能大大提高數據挖掘的效率,因為數據倉庫的建立已進行了數據整合等預處理。不必為了數據挖掘一定非得建立一個數據倉庫,對數據挖掘的使用而言,數據倉庫不是必需的。
2.3耦合結構關系
根據數據挖掘系統與數據庫或數據倉庫的耦合程度,可以將其分為不耦合、松散耦合、半緊耦合和緊密耦合4種結構耦合關系。
相對而言,不耦合是指數據挖掘中不利用數據庫或數據倉庫的任何功能,不耦合系統結構簡單,但有不少缺點。松散耦合是指數據挖掘系統將使用數據庫或數據倉庫中的某些工具進行數據挖掘,然后將結果存放到文件,數據庫或數據倉庫或其它信息體中。半緊密耦合是指數據挖掘的一些基本原語已經在數據庫或數據倉庫中實現或基本實現,數據挖掘的一些功能已經在數據庫,數據倉庫或其它信息體中得到實現。緊密耦合是指數據挖掘系統平滑地集成到數據庫或數據倉庫中,這種結構是期望的,但實現起來不容易,很多問題需要進一步研究。
3數據倉庫與數據挖掘的使用技術
3.1數據倉庫的主要使用技術
數據倉庫的使用使數據和信息在軟硬件領域,Internet和企業內部網解決方案以及數據庫等方面可以節省了許多的經濟高效的計算資源,可以用來保存極大量的數據供分析使用,且允許使用多種數據訪問技術對其進行訪問。
為了解決大量數據信息的海量存儲,數據倉庫主要使用了并行,分區,數據壓縮等技術。海量數據的存儲,查詢, 匯總以及記錄等,需要很多操作并行進行。數據倉庫采用并行技術解決大數據的海量存儲,查詢等具有重要現實性,并行也是數據倉庫相關聯的計算機軟硬件環境,操作系統(OS), 數據庫管理系統(DBMS),查詢工具和技術的現實需求和要求,這些都可以從并行的最新成就中獲益,進而從物理上和邏輯上促進數據倉庫的功能實現。數據倉庫的另一個重要技術是分區。分區功能使得支持大型表和索引變得更為容易, 同時從物理邏輯上提高了數據管理和查詢效率和性能。數據壓縮技術的引入和發展也從技術層面有力支持和促進了數據倉庫的使用和發展,使大大壓縮了數據倉庫海量數據的存儲空間。數據壓縮功能降低了數據倉庫環境中的磁盤系統的成本開銷,而新的數據壓縮技術也已經消除了壓縮數據對查詢性能造成的負面影響,進一步促進了數據倉庫的實用性和存儲便捷(方便)性,使數據壓縮成為建立數據倉庫的一項重要支持技術。
3.2實現數據挖掘的使用技術
相對與數據倉庫而言,數據挖掘從分析方法講主要技術及方法(算法)有分類,估計,預測,關聯規則,聚類分析, 粗糙集技術,進化計算,灰色系統技術,模糊邏輯技術,人工智能技術,地理信息系統等,在對數據挖掘對象的表示方面主要有描述和可視化技術等。對于復雜的數據挖掘類型, Text、Web、圖形圖像、視頻和音頻等技術得到使用。主要使用技術,方法(算法)如下。
(1)分類(Classification),是指預測離散的分類標號,從數據中選出已經分好類的訓練集,通過該訓練集,建立分類模型,對于沒有分類的數據進行進一步分類。分類算法根據訓練集得到分類規則和模型,然后對其準確率進行測試,如果測試達到要求,就可以將其用于未見新數據的分類。
(2)估計(Estimation)與分類類似,不同于分類的是, 分類描述的是離散型變量的輸出,而估值處理連續值的輸出; 分類的類別是確定數目的,估值的量是不確定的。
(3)預測(Prediction),一般是通過分類或估值起作用的。
(4)關聯規則(Affinity grouping or association rules)技術決定哪些事情將一起發生。在數據庫中存在一類重要的可被發現的知識,若兩個或多個變量之間存在某種規律性,稱為關聯;關聯規則的目標是從交易數據,關聯數據等信息載體中,查找存在于項目集合,或對象集合之間的頻繁或頻率模式,關聯,相關性或因果等關系結構,提取有用數據信息集。關聯屬性挖掘較好的算法有著名的Apriori算法。
(5)聚類分析(Clustering Analysis)技術是根據事物的特征對記錄分組,把相似的記錄在一個聚集里,同一個聚集中的數據對象彼此相似,不同聚集中數據對象相異。要求是適用于大數據和不同的數據類型;存在并能夠發現不同形狀和類型的聚類;盡量少的領域知識;對噪聲不敏感;模型可解釋。在數據挖掘中用到的統計分析方法還有相關分析和回歸分析、差異分析、因子分析、辨別分析等。
(6)粗糙集(Rough Sets)技術采用粗糙集理論,將約簡技術應用在不確定數據的范化和數據挖掘,可以解決的實際問題有不確定性(不精確)數據的簡化,關聯性發現,決策模型,所產生的范化,以及知識發現等。
(7)神經網絡方法通過對待分析數據進行學習來構造模型。
(8)公式發現對數據項進行數學運算來找到數據模型。
(9)進化計算(Evolutionary Computation,EC)技術是基于自然選擇和自然遺傳機制的計算方法,來設計、控制和優化人工系統,可以在承受的時間內很好的解決復雜的非線性優化問題,也可解決復雜的組合規劃,整數規劃等問題。
(10)灰色系統(Grey System)技術是通過對原始數據的收集與整理尋求其發展變化的規律,通過灰色數據序列建立系統反應模型或訓練集來預測系統的可能變化。
(11)模糊邏輯(Fuzzy Logic)技術可以實現模糊綜合判斷、模糊聚類分析等多種數據挖掘模型。
(12)人工智能(Artificial Intelligence ,AI)技術包括多種技術,其中最基本的知識表示,推理,搜索在數據挖掘中都得到了體現。
(13)地理信息系統根據倉庫里數據的地理位置,比較相同產品的不同地域的差異,或者相同地域不同產品的差異進行分析。
(14)描述和可視化(Description and Visualization) 是對數據挖掘結果的表示方式。
(15)對于復雜數據類型挖掘,Text、Web、圖形圖像、 視頻和音頻等技術也經常被使用。
4常見問題
4.1數據庫與數據倉庫
從數據庫到數據倉庫企業的數據處理大致分為2類:一類是操作型處理,也稱為聯機事務處理,主要是針對具體業務在數據庫聯機的日常操作;另一類是分析型處理,一般針對的是數據倉庫,針對某些主題的歷史數據進行分析,支持管理決策,對修改,刪除等操作要求嚴格,或不允許。
兩者具有的不同的特征,從處理性能、數據集成、數據更新、數據時限和數據綜合等方面主要體現如下:
日常業務涉及頻繁、簡單的數據存取,因此對操作型處理的性能要求是比較高的,需要數據庫能夠在很短時間內做出反應,相對而言數據倉庫很少進行刪除等操作,保留記錄以維持數據的歷史沿承。企業的操作型處理通常較為分散, 傳統數據庫面向應用的特性使數據集成困難,而數據倉庫是面向集成的。
4.2 OLAP與數據挖掘(Data Mining)的不同
OLAP(Online Analytical Process)與數據挖掘(Data Mining)主要差異在于功能和實效上,數據挖掘用在產生假設,而OLAP則用于查證假設。OLAP是使用者先有一些假設, 然后使用者主導,利用OLAP來查證假設是否成立;而數據挖掘(Data Mining)則是通過技術和方法(算法)進行數據匯總, 提供高層輔助決策功能,形成高層智能來幫助使用者產生假設。
4.3 Web Mining與數據挖掘的不同
Web Mining可單純看作數據挖掘(Data Mining)在網絡數據的應用的泛稱,屬于復雜的數據類型挖掘。
數據挖掘范文第2篇
關鍵詞：數據挖掘,數據資產,運營
1“大數據”時代的崛起
全球知名咨詢公司麥肯錫, 最早提出“大數據”時代的概念。麥肯錫稱:“數據, 已經滲透到當今每一個行業和業務職能領域, 成為重要的生產因素。人們對于海量數據的挖掘和運用, 預示著新一波生產率增長和消費者盈余浪潮的到來。”隨著運用越來越尖端的技術的軟件與不斷提高的計算能力相結合, 從數據中提取洞察的能力也在顯著提高, 數據已成為一項重要的生產要素, 并創造價值。
1.1 數據已經滲透到很多行業領域, 成為一個重要的生產因素
據統計, 2010年, 超過40億人 (世界人口的60%) 在使用手機, 其中大約12%擁有智能電話—其滲透率以每年20%以上的速度增長。如今, 3000多萬聯網傳感器節點分布在金融、公用事業、交通、汽車、工業和零售部門, 其數量正以每年30%以上的速度增長。此外, 還有研究表明, 在近期, 通過使用海量數據來創造價值的最大潛力在政府、金融等數據密集型機關和企業中。
1.2 海量數據可以通過多種方式創造價值
MIT斯隆管理評論與IBM商業價值研究院聯合調研已經發現五種可廣泛適用的利用海量數據的方式。這些方式提供變革性的價值創造潛力, 并對組織應如何設計、組織和管理具有重要影響。五種途徑利用數據來增加價值
(1) 通過讓數據更透明、更可用, 大數據能解放更多價值。
(2) 利用大數據, 做更加復雜的分析, 提高決策能力。
(3) 大數據可以用來改進下一代金融產品或者服務。比如生產商可以通過分析大數據來判斷消費者對金融產品質量的評價, 借此來改善售后服務, 提高客戶滿意度。
(4) 大數據可以為“挑剔”的客人提供周到細致的個性化產品和針對性服務。
(5) 機構可以利用金融服務產品售賣過程中產生的數據來確定資金使用的時間, 從而更加有效地管理資金、貨物, 恰到好處的滿足客戶, 豐富金融產品種類, 提高業績。許多大企業已經開始利用大數據做管理決定, 也有企業利用大數據賦予了積壓資金、貨物的原本價值。
1.3 海量數據的運用將成為企業未來競爭和增長的基礎
海量數據的使用正成為領先企業在業績方面超越其同行的一種重要方式。例如, 麥肯錫估計, 積極使用海量數據的零售商具有將其經營利潤提高60%以上的潛力。例如, 領先零售商 (例如英國的Tesco) 通過使用海量數據從當地競爭對手處贏得市場份額。麥肯錫預計, 各個部門中都會出現價值向領先的海量數據使用者聚集、而落后者出現價值損失的趨勢, 這方面的證據日漸明顯。
2 領導者應如何使數據分析帶來回報
既然要分析, 我們需要了解數據分析都能在什么地方取得突破, 見圖1。
指出其企業依賴數據和分析技術執行這些活動的受訪者比例。問題的選擇范圍是:1=直覺/經驗、3=經驗/數據各占一半、5=數據/分析。受訪者選擇4或5。
圖中大多數企業依賴分析技術做出關于財務和運營活動的決策, 但即使“已轉型”的企業也有在其它領域更多使用分析技術的余地。
宏偉的計劃需要具體的行動才能保證從分析技術中獲得收益。同時, 這也需要明確的管理方法。以下三點建議旨在幫助我們了解這種“實現價值的新途徑”, 以及如何前行。
(1) 縮短創造價值的時間。價值的創造可以在企業不斷優化分析技術的過程中及早實現。與常見的設想不同, 這不要求擁有完善的數據或者完成全面的轉型。
(2) 提高實現重大且持久轉型的可能性。MIT斯隆管理評論與IBM商業價值研究院提出的新方法論通過良好地克服最嚴重的組織阻力而實現并激發持續的 (戰略與文化) 變革。
(3) 更加注重可實現的步驟。最聰明的企業采用的方法非常強大, 因為每一步都使領導者有限度地注重自己的努力和資源, 而非實施全局變革。這使得每一步更容易實現, 并帶來明顯的投資回報。
在尋求最佳渠道戰略、最佳客戶體驗、最佳產品組合或最佳流程創新時, 采用這種方法的企業將率先從分析技術中獲得業務效益。
3 成功的數據分析挖掘案例
上海社保中心早在2008年就實現了網上異常檢測的實時監控, 某市社保中心也在2010年實現了網上異常檢測的實時監督審計, 主要由實時監控系統分三級列出重點監控對象, 配合針對性審查, 依法查處“職業病人”。通過參數引擎, 將不到1%的異常交易捕捉出來, 然后再進行人工監測, 通過對交易行為的分析, 做出預警、監控和稽查。截至2011年5月, 該市社保中心已經對千人進行了重點監控, 配合該市公安機關, 逮捕了許多非法藥品倒賣犯罪團伙, 職業病人, 并依法對違法犯罪人員進行了處罰, 對開處大藥方的醫生進行了懲處。截至2011年底, 已取消了近80多名違規醫生的醫保處方權, 對違規醫療機構進行了處理, 在基于數據挖掘等方法的實時監控模型系統的輔助下, 有力的保證了人民群眾社?；?ldquo;保命錢”的安全。某市社保中心業內人士表示:“如果不能通過構建信息系統提升管理水平, 封堵社會公共保障體系的漏洞, 造成社?；鸪掷m虧損, 那么整個社會保障體系就難以為繼, 進而崩潰, 那么我們這些社保資金管理者就成了人民的千古罪人!”
事實上, 我們的提取業務和社保中心的違規報銷非常類似, 當社保中心為“職業病人”所困擾的同時, 我中心也出現“職業代辦人”, 即個別中介, 采用合法的手段, 在短時間內湊齊提取要件, 代理不符合提取條件的職工辦理公積金的提取業務。這不僅侵害廣大公積金繳存人的利益, 而且威脅住房資金的安全, 也擾亂公積金的正常管理秩序。我們知道, 代辦業務本是為了方便廣大人民群眾, 比如外地職工、代配偶、代父母、代住院職工、代出國職工、代不方便到場的職工辦理提取業務。這個代辦政策實際上降低了職工提取的成本。如果單單因為極個別“職業代辦人”和違規提取者一味的增加提取要件、加強審核, 不但將提取業務復雜化, 而且增加了絕大多數誠實、守法無辜群眾的提取成本, 降低群眾滿意度, 也增加了中心的歸檔成本和審核復雜度。而數據挖掘卻恰好可以發現違規提取, 找出害群之馬或者對異常情況做出監控和警示, 降低廣大無辜群眾的提取成本, 提升群眾滿意度。使提取工作在萌芽中發現異常, 輔助相關部門有針對性的審計檢查和政策調整。
4 數據資產運營展望分析
數據是一種可以創造效益和產出價值的有價資產, 應該和制造業時代始終在資產負債表出現的設備和土地這樣的傳統資產一樣看待, 其價值也逐步體現出來。事實上, 數據已經滲透到公積金行業和業務職能領域, 已成為一個重要的生產因素, 就像其他的生產必備要素 (例如, 實物資產、金融資產和人力資本) 一樣, 許多現代公積金業務和管理工作離開了它也根本不能發生。當我們將其作為資產來看待時, 就需要有專業的人員運營, 來實現數據資產的保值增值—即需要專業力量運營數據, 以獲取經濟效益、政治和社會價值。根據先進國家和地區的經驗, 有63%的“已轉型” (擁有優秀水平分析能力) 的企業, 業務分析主要來源于集中的數據分析團隊。這個集中團隊, 是企業應用業務分析與優化的能力進入成熟階段的標志。當然, 如果數據資產運營不佳, 會損失我中心的獲利機會, 損害中心的政治影響, 損害公積金制度的社會影響力, 降低公積金制度的公信力, 最終損害我中心的發展。
這也就是說, 如果能投入專門的力量和足夠的資源進行數據分析和挖掘, 就可以結合具體業務, 優化中心決策 (包括:公積金政策法規、一般運營管理和具體業務操作等) , 開展并深化中心精細化、智能化科學管理。提高中心增值收益、增強中心核心競爭力、宏觀調控能力、服務能力、創新能力、精細化決策能力、數據分析挖掘能力、科學化管理水平和戰略分析能力, 提高中心績效。進而, 改善中心運營, 提升中心盈利能力, 創造社會效益和政治效益, 更好的踐行“服務經濟, 服務群眾”和“公積金制度受益面最大化”的目標, 創造價值。
數據運營團隊將配合其他職能部門, 從戰略上指導業務發展, 用數據和模型上支撐業務決策, 并將研究成果應用在系統中。國內的模型團隊建立數學模型、幫助業務部門細分客戶并預測客戶行為、改進產品研發、市場開發和銷售, 并且提升客戶服務和關系。數學模型的優劣是金融機構領先地位和核心競爭力的體現, 也是金融機構的商業機密, 只有依靠自己的團隊開發出獨有的數學模型, 才能在市場上站穩腳跟, 在同行業取得領先地位?；跀祵W模型的分析, 拷問著每家金融機構的長期發展的真正實力。
數據挖掘、模型分析、細分客戶、改進產品和服務, 是精細化管理的一部分。而精細化管理, 是打造現代金融機構領先地位和核心競爭力的基礎。也許如很多人評價的, 在當前的社會環境中, 強調精細化管理似乎為時過早, 但是時不我待, 正如蘇文力所說, “精細化管理, 現在不做, 將來就要落后挨打!”
當今社會是一個不斷創新進步的社會, 管理模式不斷優化, 技術進步日新月異。信息技術是這個時代中最活躍的因素。我們知道, 招商銀行以“科技興行”;農業銀行以“科技立行”;工商銀行從“科技興行”到“科技引領”以科技創新鑄就核心競爭力;而其他商業銀行爭先構建“最具價值的電子銀行”, 打造“創新、領先的股份制銀行”, 我們可以看到, 眾多商業銀行無不將“信息技術”、“科技創新”擺在了立行之本, 關乎興衰, 左右未來的地位。在這個時代背景下, 我們的工作水平和服務人民群眾的本領也猶如“逆水行舟, 不進則退”, 前期媒體“公積金制度存在必要性”的大討論, 事實上證明了在瞬息萬變的, 紛繁復雜的社會、政治、經濟環境中, 擴大公積金制度受益面和收益程度的重要性!只有不斷的提高我們的管理能力和科技水準, 才能在中心運營中敏銳的優化政策, 實現集約化、精細化管理, 從而進一步提升我中心的技術水平和管理能力, 這些水平和能力不但關系著天津全體繳存和貸款職工的福祉, 更加左右著我們的命運和中心的未來。
參考文獻
[1][美]Steve La Valle, Michael Hopkinss等.分析:實現價值的新途徑[J].MIT斯隆管理評論, 2010.
[2][美]David Kiron, Rebecca Shockley等.分析:日益擴大的差距[J].MIT斯隆管理評論, 2011.
[3]王林, 蘭紅等.數據挖掘助奧巴馬連任, 大數據左右美國政界[J].時代, 2012.
[4]何京玉.新一輪競爭贏在模型[J].金融電子化, 2010.
數據挖掘范文第3篇
在過去的二十年中, 經濟快速發展, 組織機構普遍都收集了大量的商業數據。電子商務市場也不甘示弱, 大大簡化傳統的交易方式, 把收集到的大量的商品、信息在現有的網絡平臺上得以交易。然而, 擁有大量的數據并不意味著擁有了豐富的商業信息。如何更加有效的管理利用潛在信息, 并發揮它們的最大效用已經成為人們關注的焦點。數據挖掘技術的產生, 在一定程度上解決了這個問題, 但它也存在著問題, 需要不斷改善。
1 數據挖掘
1.1 概念。
數據挖掘 (Data Mining) 是從大量的、不完全的、有噪聲的、模糊的、隨機的原始數據中, 提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的高級處理過程。它可以幫助企業在過去經驗的基礎上預測未來, 提高市場決策能力, 為企業構筑競爭優勢;幫助科學家從大量數據中發現規律, 提高科學研究效率。數據挖掘是一門交叉學科, 注重多種發現策略和技術的集成及多學科間的相互滲透, 把對數據的應用從低層次的簡單查詢, 提升到從數據中挖掘知識, 提供決策支持。
1.2 數據挖掘過程。
數據挖掘是一個循環往復的過程, 通常涉及數據準備、建立模型、評估和解釋模型、運用和鞏固模型等步驟。1.2.1數據準備:數據準備工作包括數據的選擇 (選擇相關和合適的數據) 、探索 (了解數據分布情況和異常數據等) 、修正 (包括缺失數據的插值等) 和變換 (離散值數據與連續值數據的相互轉換, 數據的分組分類, 數據項的計算組合等) 。1.2.2建立模型:選取數據挖掘工具提供的算法并應用于準備好的數據, 選取相應參數, 生成模型。1.2.3評估和解釋模型:對模型進行比較和評估, 生成一個相對最優模型, 并對此模型用業務語言加以解釋。1.2.4運用和鞏固模型:對模型在實際應用中的表現進行監控, 如果模型表現不好, 則對模型作進一步的考察和修正, 以反映業務運作規律的變化。
2 在電子商務中的應用
在電子商務中已經擁有許多成熟的數據庫應用系統, 如網管系統、財務系統、計費賬務系統等, 并產生了大量的業務處理數據。如果針對客戶關系管理相關決策分析的需求, 對這些數據進行重組整合, 就能充分利用這些寶貴的數據, 體現信息的真正價值。數據挖掘技術在電子商務客戶關系管理的主要應用領域如下:
2.1 客戶消費模式分析。
客戶消費模式分析是對客戶歷年來大量詳單、數據以及客戶檔案資料等相關數據進行關聯分析, 結合客戶的分類, 可以從消費能力、消費習慣、消費周期等諸方面對客戶的消費行為進行分析和預測, 從而為運營商的相關經營決策提供依據。
2.2 購物籃分析。
對銷售結果進行分析來判斷商品是否應該捆綁銷售。使用應用程序的結果來創建一個在線指導系統, 或者決定如何捆綁銷售能將利潤最大化。
2.3 市場分析。
通過對客戶自動分組來細分市場, 并由此結果做趨勢分析以設計市場活動。通過Web數據挖掘, 企業可以分析顧客的將來行為, 容易評測市場投資回報率, 得到可靠的市場反饋信息。不僅大大降低公司的運營成本, 而且便于經營決策的制定。包括以下方面:2.3.1客戶流失分析。創建報表顯示可能會取消服務的顧客。2.3.2數據瀏覽。由數據挖掘算法發現的模式能幫助您更好地了解您的客戶。它可以比較高價值客戶與低價值客戶之間的差異, 或者分析喜愛同一種產品的不同品牌的客戶之間的區別。2.3.3營銷活動分析。把錢花在刀刃上, 準確定位有效用戶, 讓我們的每一分市場經費都發揮最大的效用。2.3.4文本分析。分析反饋信息, 找到與你的客戶或者員工有關的共同主題或趨勢。
2.4 Web站點分析。
數據挖掘技術可提高站點的效率, Web設計者不再完全依靠專家的定性指導來設計網站, 而是根據訪問者的信息特征來修改和設計網站結構和外觀。站點上頁面內容的安排和連接就如超級市場中物品的貨架擺布一樣, 把具有一定支持度和信任度的相關聯的物品擺放在一起有助于銷售。網站盡可能做到讓客戶輕易地訪問到想訪問的頁面, 給客戶留下好的印象, 增加下次訪問的機率。
3 存在問題
數據挖掘系統背后要依靠大量真實可信的數據資源, 從社會方面看, 會涉及個人隱私、非法數據交易、數據價值評估等問題, 這些數據的獲取需要一套社會保障體系支持, 需要從法律、道德等方面制定相應的條款, 約束人們的行為。但從目前來看存在以下問題:這些數據積累不充分、不全面, 業務模型構建困難, 缺少有經驗的實施者。具體到電子商務, 主要表現在:
3.1 建模過程方面的問題。
時至今日, 數據挖掘的60-80%工作量仍花在數據準備階段。其實在建模過程也是需要大量的手工勞動的。目前的數據挖掘軟件工具中, 各算法采用默認的參數設置并不總是最合理的, 不能得到最佳的預測模型的, 因此對于每個電子商務業務的新問題, 都要重新探索數據的相關性, 進行算法參數的重新調整和配置, 以得到優化的模型。但是現實問題太復雜, 已有的原理并不能始終指導模型的調優方向, 更多的時候還是依賴大量的數據試驗摸索前進, 在某種程度上來說建模的過程也是漫長的、痛苦的。
3.2 準備過程的不確定。
事實上, 數據準備過程也飽含不確定性, 對于究竟應該選用哪些因素來建立模型, 以及因素的粒度應該多大, 目前缺乏足夠的判斷依據, 只能按照慣例、業務直覺和猜測來進行確定。目前對于電子商務的應用缺乏標桿模式作為參考, 學術界、有關的工業組織似乎還沒有此方面權威的研究總結。
3.3 數據趨勢預測的不確定。
數據是海量的, 那么數據中就會隱含一定的變化趨勢, 在電子商務中對數據趨勢的預測尤為重要, 特別是對客戶信息以及商品信息合理的預測, 有利于企業有效的決策, 獲得更多地利潤。但如何對這一趨勢做出合理的預測, 現在還沒有統一標準可尋, 而且在進行數據挖掘過程中大量數據形成文本后格式的非標準化, 也給數據的有效挖掘帶來了困難。針對這一問題的產生, 我們在電子商務中可以應用聚類分析的方法, 把具有相似瀏覽模式的用戶集中起來, 對其進行詳細的分析, 從而提供更適合、更令用戶滿意的服務。聚類分析方法的優勢在于便于用戶在查看日志時對商品及客戶信息有全面及清晰的掌控, 便于開發和執行未來的市場戰略, 包括自動給一個特定的顧客聚類發送銷售郵件, 為一個顧客聚類動態地改變一個特殊的站點等, 這無論對客戶和銷售商來說都是有意義。但是仍然存在一定的不確定性。
3.4 數據模型的可靠性。
數據模型包括概念數據模型、邏輯數據模型、物理模型。數據挖掘的模型目前也有多種, 包括采集模型、處理模型及其他模型, 但無論哪種模型都不是很成熟存在缺陷, 對數據模型不同采用不同的方式應用。
結束語
數據挖掘技術在一定程度上解決了電子商務信息不能有效利用的問題, 但它在運用過程中出現的問題也亟待人們去解決。相信數據挖掘技術的改進將推進電子商務的深入發展。同時相信數據挖掘會給人們帶來更多的方便。
摘要：網絡的發展推動了電子商務的繁榮, 但是如何更有效的運用海量數據, 并發揮最大效用, 仍然是人們關注的熱點。出現已有一段時間、應用范圍越來越廣泛的數據挖掘在一定程度上能解決此問題。探討數據挖掘在電子商務的應用研究變得很有意義。通過對數據挖掘概念及一般工作過程的研究, 數據挖掘在電子商務中應用的闡述, 運用數據挖掘技術如何在一定程度上解決電子市場繁榮背后隱藏問題的分析, 數據挖掘技術存在的問題很容易的呈現給研究者, 這將為為以后的研究奠定理論基礎。
關鍵詞：數據挖掘,方法,電子商務,應用
參考文獻
[1]施伯樂, 汪衛.數據倉庫與數據挖掘研究進展[J].計算機應用與軟件, 2003 (11) .[1]施伯樂, 汪衛.數據倉庫與數據挖掘研究進展[J].計算機應用與軟件, 2003 (11) .
[2]郭清, 樊治平, 鄭苗, 王建宇.ECCRM中的客戶知識管理[J].東北大學學報 (自然科學版) , 2004 (3) .[2]郭清, 樊治平, 鄭苗, 王建宇.ECCRM中的客戶知識管理[J].東北大學學報 (自然科學版) , 2004 (3) .
[3]廖明怡.CRM及其在電信業的應用[J].東北財經大學學報, 2005 (2) .[3]廖明怡.CRM及其在電信業的應用[J].東北財經大學學報, 2005 (2) .
[4]張玉葉, 徐寶文.基于代理的數據挖掘在Web預取中的應用研究[J].貴州工業大學學報 (自然科學版) , 2003 (1) .[4]張玉葉, 徐寶文.基于代理的數據挖掘在Web預取中的應用研究[J].貴州工業大學學報 (自然科學版) , 2003 (1) .
[5]趙志升, 羅德林, 李海英.OLAM-OLAP與DM相結合的新體系結構[J].電腦開發與應用, 2006 (11) .[5]趙志升, 羅德林, 李海英.OLAM-OLAP與DM相結合的新體系結構[J].電腦開發與應用, 2006 (11) .
[6]劉文昌.Apriori算法在客戶關系管理中的應用[J].長春大學學報, 2005 (4) .[6]劉文昌.Apriori算法在客戶關系管理中的應用[J].長春大學學報, 2005 (4) .
數據挖掘范文第4篇
1 數據挖掘技術定義
數據挖掘技術是指從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。在大多數情況下, 人們只知道儲存數據, 數據越來越多, 可是不知道數據中存有很多重要的信息, 數據挖掘就可以從這大量的數據中搜索出重要的信息。
2 數據挖掘常用的方法
1) 決策樹。決策樹方法是把數據分類, 構成測試函數, 建立樹每一層分支, 重復下去就構成了決策樹。在構造決策樹時, 樹盡可能精度高, 規模小。商業銀行在對風險決策時經常用此方法;
2) 人工神經網絡。神經網絡方法引用生物神經網絡的方法, 就好像人的神經網絡, 它連接輸入、輸出信號的樞紐。它在很大程度上模擬人腦的神經系統處理信息。人工神經網絡具有四個基本特征:非線性、非局限性、非常定性、非凸性。用人工神經網絡方法建立的模型具有很強的非線性擬合能力, 學習規則簡單, 控制能力強等優點;
3) 遺傳算法 (Genetic Algorithm, GA) 。遺傳算法是模仿達爾文生物進化的自然選擇和遺傳機制的一種尋優算法。群體中的所有個體為研究對象, 利用隨機化技術搜索編碼, 然后分別利用選擇、交叉和變異這三個基本遺傳算子對其進行遺傳操作就能尋找到問題的最優解或者是最滿意解。遺傳算法的優點是過程簡單, 具有隨機性, 可擴展性。實用。在很多領域得到了很大的應用。缺點是編程比較復雜, 需要對問題進行編碼, 找到滿意解后還要對問題解碼。算法速度比較慢, 對初始種群的選擇有依賴性等缺點;
4) 聚類算法。聚類算法可以說是多元統計研究“物以類聚, 人以群分”的一種方法, 主要任務是發現大型數據中的積聚現象。聚類分析是把相似特征的樣本歸為一類, 類內差異差距較小, 類間距差距較大。聚類算法在好多領域有應用。在商務上, 根據客戶不同的消費模式進行分類, 對客戶進行劃分, 幫助商家獲得更多利益。在生物學中, 對動植物進行分類, 了解各自的基因特征。聚類的算法也比較多, 例如:基于模糊的聚類方法、基于粒度的聚類方法、量子聚類、核聚類、譜聚類, 這些是新發展的聚類算法。還有常用的聚類算法-BIRCH算法、K-MEANS算法、均值計算方法等。
3 數據挖掘的應用
數據挖掘技術在好多領域有應用。例如:金融業、通訊、教育、政府管理部門等等行業。1) 金融業。例如:金融事務需要搜集和處理大量復雜的數據, 許多銀行和金融機構提供多種多樣的投資服務 (如共同基金) 、信用服務 (如個人信用卡) 和銀行服務 (如個人存款) 。由于交易的頻繁性、信息的不對稱性和復雜性, 必須從海量數據中挖掘信息, 金融數據挖掘技術可以幫助銀行系統查詢客戶以往的需求情況并預測未來;可以分析潛在的信譽較差的客戶, 及時采取措施減少資產損失;2) 通訊業。例如:現今通信業務可以說是五花八門, 多種多樣, 適合不同需求的人群。要想退出新業務, 創效益。就必須先確定可能要試用此項業務的客戶特征。確定完成后先讓小范圍的客戶試用此項業務, 當他們試用一段時間后, 對客戶的反饋信息進行分析, 修改更新, 反復這樣下去, 直至此項業務成熟后, 推廣進入市場。那如何從大量的客戶消費數據中得到這些客戶特征, 這就需要數據挖掘技術對客戶進行詳細的深層次的分析, 得到有效的, 準確的數據;3) 教育部門。例如:高校的招生可以說是任何一個高校的大事, 招生好壞直接影響學校的生存。專業計劃的是否合理, 就直接影響招生。我們需要對大量的招生錄取信息和就業信息進行分析, 數據挖掘技術就可以從這些信息中提取重要的信息預測未來的專業計劃如何投放, 每個專業投放多少比較合理, 不至于計劃浪費;4) 政府管理部門。隨著社會的不斷進步, 政府部門內部以及部門之間擁有了大量的政務信息, 要想掌握有效, 準確的政務信息, 我們可以利用數據挖掘中的決策樹方法, 從大量的政務信息中提取準確有效的信息, 大大提高整個電子政務的智能化水平?？梢酝ㄟ^對網絡各種經濟資源的深度挖掘, 確定未來的經濟形勢, 從而可以指定出合理的宏觀調控政策。為社會經濟提供有力的可靠的拐杖。
4 數據挖掘未來的展望
數據挖掘的應用越來越廣泛, 人們對數據挖掘技術的需求水平也就越來越高。它可以預測未來的發展趨勢, 所以今后研究焦點可能會集中到處理非數字數據;尋求數據挖掘過程中的可視化方法, 便于在知識發現過程中的人機交互, 使計算機真正實現智能化。這可能需要一段時間, 需要計算機工作者的不斷的研究探索, 可能需要很大的努力。但我相信, 不久的將來我們會看到數據挖掘據技術很大的進展。
參考文獻
[1][加]Jiawei Han Micheline Kamber著.范明, 孟小峰譯.數據挖掘概念與技術[M].機械工業出版社.
[2]陳曉燕.遺傳算法在數據挖掘中的應用[J].瓊州學院學報, 18 (2) .
[3]周明華.近代算法在工程領域中的應用研究[D].浙江大學博士學位論文, 2005, 1.
[4]曾令明, 金虎.基于遺傳算法的雙向關聯規則挖掘[J].微電子學與計算機, 2006 (23) :35-37.
[5]周濤, 陸惠玲.數據挖掘中聚類算法研究進展[J].計算機工程與應用, 2012, 48 (12) .
[6]鄭紅英.數據挖掘聚類算法的分析和應用研究[J].重慶大學碩士學位論文, 2002, 4.
[7]朱晶, 李石君.基于數據挖掘的金融數據分析[J].電腦知識與技術, 2010 (3) :18-19.
數據挖掘范文第5篇
1 數據挖掘的概念
數據挖掘是信息技術自然演化的結果, 它是一門融合了人工智能、數據庫技術、模式識別、機器學習、統計學和數據可視化的交叉性學科。數據挖掘是面向應用解決實際問題, 它從大量的、隨機的、不完全的、有噪聲的、模糊的實際數據中, 提取隱含在其中的、人們所不知道的、但又是潛在有用信息和知識的過程。
2 數據挖掘的研究內容
數據挖掘的功能用于發現隱含在海量數據中的描述性模式和預測性模式。其中描述性模式對當前數據庫進行事實、規范化的描述, 它刻畫的是數據庫的一般特性;預測性模式根據歷史和當前數據, 對當前數據進行預測判斷。根據模式的特征, 可以將數據挖掘的分析方法分為以下幾類:
2.1 分類
分類就是通過一個分類函數, 對于沒有分類的數據進行分類, 把具有某些特征的數據項映射到預先定義的類別上。該過程分為模型創建和模型使用兩步構成。例如:房地產銷售經理, 根據房子的戶型, 品牌, 地段, 建立銷售活動的三種反應:好的反應, 中等反應和沒有反應。目前, 主要使用的分類算法有:決策樹, K最近鄰法, 向量空間模型法, 支持向量機法, 神經網絡算法等。
2.2 估計
估計用來對非離散型, 即連續值數據進行描述。例如:根據房子的購買戶型及大小, 估計一個家庭的經濟收入。估計可以作為分類的先導工作, 通過估計得到連續的值區間, 然后再經過分類來進行離散型的細化。例如:電信的消費返積分換話費, 短信包, 流量包活動, 通過電信用戶的消費, 進行用戶積分累記, 然后根據不同的分段點, 將積分兌換級別進行分類。
2.3 預測
預測是在分類或估計得到的模型基礎上, 對變量進行預言。例如:股票已經走進了千家萬戶, 投資者可以通過對股票交易數據的分析, 形成股票上升下降的分類規則, 并利用該規則對股票的走勢進行預測, 使經濟利益最大化, 成本最小化。但預測的結果并不是立竿見影, 只有過了一定的時間才能夠知道。
2.4 關聯規則
關聯規則是在同一事件中出現的不同項之間的相關性。例如在超市中, 客戶購買丸子的同時, 經常會購買火鍋料, 即丸子和火鍋料具有一定的相關性, 也就是顧客在同一次購買活動中所購買的不同商品之間的相關性。
2.5 聚類
聚類是對記錄根據最大化類內的相似性、最小化類間的相似性原則進行分組, 把相似的記錄放在一個聚類里, 使得一個聚類中的對象具有很高的相似性。正所謂:物以類聚, 人以群發, 經常在一塊玩的朋友往往具有相同脾氣, 性格和做事方法;以及報理科和文科的學生往往具有不同的性格特征和興趣愛好, 可能暗示學生屬于不同的專業文化群。
2.6 描述和可視化
描述和可視化是數據分析中最困難的一部分, 用于將抽象或看不見的數據轉化為看得見的圖形或圖像, 它是數據挖掘結果的表現。經常用到的表現形式有:圖表, 時間序列, 工作流, 信息圖, 模型, 層次結構, 網狀結構等。
3 數據挖掘的應用
數據挖掘廣泛應用于各個領域, 如金融、零售、電信等, 并且已取得了巨大的經濟效益。
3.1 金融方面的應用
很多金融機構和銀行都提供多種存儲服務, 信用服務和投資服務, 個別的還提供保險服務和股票投資服務。由于金融數據高質量、相對比較完整、可靠的特點, 大大方便了系統化的數據挖掘和分析貸款償還預測和顧客信用政策等。
3.2 零售業中的應用
數據挖掘也廣泛應用于零售行業, 零售數據挖掘有助于顧客群體的劃分。為了挖掘潛在的顧客群體, 可以使用分類和聚類技術對顧客的購買模式和行為進行分析;通過對商品進行關聯分析, 可以優化貨架擺設, 提高零售產品的銷售額, 沃爾瑪超市將啤酒和尿布擺在同一貨架上就是一個典型的例子。
3.3 電信業中的應用
隨著電信市場的不斷發展和擴大, 可以將數據挖掘結果應用到不同的商業行為中。多維度地對海量電信數據進行分析有利于鑒定與比較數據通信情況, 系統負載, 資源使用, 利潤等等;確定潛在的盜用者和他們的非典型使用模式可以捕捉盜用行為;多維關聯和序列模式分析可以用來推動電信服務的發展, 從而更好地利用資源和提高服務質量。
3.4 其它方面
數據挖掘除了應用在金融、零售、電信行業外, 也廣泛應用于醫學研究中, 對疾病進行輔助治療, 了解不同治療方案的效果, 各種疾病與藥物之間的關系等;在農業領域中, 發現影響作物生產因素之間的關系, 從而對農業生產提供技術上的指導;同時, 數據挖掘在交通, 教育, 社會, 生產等方面也取得了很大程度的發展。
4 數據挖掘所面臨的問題
WWW (Word Wide We b) 提供了數據挖掘所需要的海量信息資源, 鑒于數據、數據挖掘任務和數據挖掘方法的多樣性, 數據挖掘也面臨著許多挑戰。數據挖掘的理論和算法有待發展和完善的空間還很大, 個人隱私和安全問題也都是目前開發人員所面臨的主要問題和亟待解決的問題。
摘要：數據挖掘用于從海量的數據中提取有用的信息, 它已經廣泛應用于自然學, 經濟學, 社會學等學科。本文從數據挖掘的需求出發, 對數據挖掘的研究內容進行分析, 并對當前數據挖掘的應用領域及所面臨的問題進行研究和展望。
關鍵詞：數據挖掘,分析方法,應用領域,應用前景
參考文獻
[1]王立偉.數據挖掘研究現狀綜述.圖書與情報[J], 2008.
[2]王惠中, 彭安群.數據挖掘研究現狀及發展趨勢.工礦自動化[J], 2011.
[3]王光宏, 蔣平.數據挖掘綜述.同濟大學學報[J], 2004.