<noframes id="ixm7d"><noframes id="ixm7d"><rt id="ixm7d"><delect id="ixm7d"></delect></rt><noframes id="ixm7d"><rt id="ixm7d"><rt id="ixm7d"></rt></rt><rt id="ixm7d"></rt> <noframes id="ixm7d"><rt id="ixm7d"><delect id="ixm7d"></delect></rt><delect id="ixm7d"></delect><bdo id="ixm7d"></bdo><rt id="ixm7d"></rt><bdo id="ixm7d"></bdo><noframes id="ixm7d"><rt id="ixm7d"><rt id="ixm7d"></rt></rt><rt id="ixm7d"><rt id="ixm7d"></rt></rt><noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d"><rt id="ixm7d"></rt> <noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d"><noframes id="ixm7d"><noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d"><noframes id="ixm7d"><noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d"><rt id="ixm7d"></rt><noframes id="ixm7d">

大數據平臺建設方案

2023-06-26

在一份優秀的方案中,既要包括各項具體的工作環節,時間節點,執行人,也要包括實現方法、需要的資源和預算等,那么具體要如何操作呢?以下是小編精心整理的《xx大數據平臺建設方案》相關資料,歡迎閱讀!

第一篇:xx大數據平臺建設方案

流域水質大數據分析平臺建設方案

1 項目概述

黨的十八大把生態文明建設放在了突出地位,納入了“五位一體”總體布局,并首次把“美麗中國”作為未來生態文明建設的宏偉目標。2015年新修訂的《環境保護法》將“推進生態文明建設、促進經濟社會可持續發展”列入立法,以法律的形式將生態文明建設提升到了國家的戰略高度。國務院出臺的《水污染防治行動計劃》“水十條”,對生態文明中水環境和水質保護方面的提出了重點管理要求。與此同時“互聯網+”和“大數據”應用也上升為國家戰略,國務院出臺的《關于積極推進“互聯網+”行動的指導意見》、《關于促進大數據發展的行動計劃》和環保部發布的《生態環境大數據建設總體方案》,將“互聯網+綠色生態”作為11個重點行動之一而提出,要求未來的環保工作必須緊密地與大數據建設結合起來,高度重視大數據在推進生態文明建設中的地位和作用。

2 建設目標

以往信息化發展基本都是著眼于各個業務部門各自的業務需求,“管什么、想什么、干什么”,數據多頭采集、相互矛盾的現象普遍,難以從環保工作全局層面支撐決策和管理。很多環境問題還處于現狀不清、底數不明、原因不詳的困局之中,環保部門在回應重大環境污染事件和解決人民關切的環境問題方面容易陷入被動。

通過以水環境綜合大數據分析建設為契機,樹立環保工作的大局觀和整體觀,將流域各方面相關環境管理數據整合起來,形成合力打造對內的統一的水質大數據智能分析平臺,用全局性的戰略眼光來謀劃整個水域環境質量、影響流域污染源監控數據管理建設。 3 系統建設內容

3.1 水環境大數據采集

大數據時代的環境信息化建設是以數據為核心,環境大數據管理與應用是在“十三五”期間最重要的發展方向,所以環保部門未來建設重點將緊緊圍繞大數據進行。而要實現大數據的智能化應用,首先要解決的就是大數據收集獲取問題,因此需要夯實應用基礎,全面收集內外部數據資源,整合、共享、聯動、開發數據,努力實現全數據采集管理。

3.2 水環境大數據管理

獲取流域水質大數據分析需要的相關環境大數據資源后,建立大數據綜合服務庫,將采集的海量數據匯聚進入到庫中,聚合原有分散在各個政務系統中的數據,并按照大數據管理標準及要求,進行集中管理與維護。

3.3 水環境大數據分析應用

應用水環境模型、大數據等技術實現水環境質量模擬預測、污染源-水質響應關系建立,集流域各斷面自動監測系統、排向該水域的污染源廢水在線監控系統、排污申報系統、移動執法系統等,采集整合河流斷面自動監測數據、手工監測數據、流域排口監測數據、污染源數據等,建立流域水系關系、河流與斷面的關系、斷面與排口關系、排口與企業關系、企業與污染因子關系五種數據關系,當某一個監測站點數據超過安全閾值或正常標準時,判定其污染程度,同時進行污染溯源,通過水環境模型預測出下游的污染水質變化趨勢況,給出處置措施建議并提供評估管理。

第二篇:大數據教學平臺建設規劃

一、建設背景 ................................................................................................................................... 1

二、建設目標 ................................................................................................................................... 3

三、建設內容 ................................................................................................................................... 4

(一)專業核心課程 ............................................................................................................... 4

1.專業核心課程范圍 ....................................................................................................... 4 2.建設周期和建設數量 ................................................................................................... 4

(二)通識教育在線課程 ....................................................................................................... 5

(三)網絡自選(拓展)課程 ............................................................................................... 5

1.建設方式 ....................................................................................................................... 5 2.學習方式 ....................................................................................................................... 6 3.學分置換 ....................................................................................................................... 6

(四)原精品資源共享課、網絡共享課等 ........................................................................... 6

四、建設方案 ................................................................................................................................... 6

(一)大數據教學平臺功能簡介 ........................................................................................... 7

(二)六大功能模塊 ............................................................................................................... 7

1. 網絡教學門戶網站 ..................................................................................................... 7 2. 課程中心 ..................................................................................................................... 7

2.1 專業核心課程 ................................................................................................... 8 2.2通識教育在線課程 ............................................................................................ 8 2.3網絡自選(拓展)課程 .................................................................................... 8 2.4 原精品資源共享課、網絡共享課 ................................................................... 8 3. 移動學習空間 ............................................................................................................. 9 4. 教師發展中心 ............................................................................................................. 9 5. 教學管理中心 ............................................................................................................. 9

5.1 教學評估 ........................................................................................................... 9 5.2 教學資源管理 ................................................................................................. 10 5.3 OA系統 ............................................................................................................ 10 6. 教學質量工程 ........................................................................................................... 10 7. 備課資源庫(備選項) ........................................................................................... 10

(三)各功能模塊要求 ......................................................................................................... 11 1. 網絡教學門戶網站 ................................................................................................... 11 2. 課程中心 ................................................................................................................... 11 2.1 課程創建 ......................................................................................................... 11 (1)課程共建 ............................................................................................... 12 (2)助教功能 ............................................................................................... 12 (3)雙模板選擇 ........................................................................................... 12 (4)課程封面 ............................................................................................... 12 (5)課程編輯 ............................................................................................... 12 2.2 課程教學 ......................................................................................................... 13 (1)多模式教學 ........................................................................................... 13 (2)學習過程管理 ....................................................................................... 14 (3)線上作業 ............................................................................................... 15 (4)在線測試 ............................................................................................... 15 2.3 教學信息統計 ................................................................................................. 16

1 (1)教師端 ................................................................................................... 16 (2)學生端 ................................................................................................... 16 2.4 教學互動 ......................................................................................................... 16 (1)學生問題討論 ....................................................................................... 16 (2)教師在線答疑 ....................................................................................... 17 3. 移動學習空間 ........................................................................................................... 17 3.1 PC終端 ............................................................................................................ 17 3.2 移動APP .......................................................................................................... 17 (1)移動教案 ............................................................................................... 17 (2)課堂簽到 ............................................................................................... 18 (3)隨機提問與調查 ................................................................................... 18 (4)學習監控 ............................................................................................... 18 (5)闖關學習 ............................................................................................... 18 (6)作業 ....................................................................................................... 19 (7)在線互動 ............................................................................................... 19 (8)在線考試 ............................................................................................... 19 (9)課程顯示 ............................................................................................... 19 4. 教師發展中心 ........................................................................................................... 19 4.1 文本顯示模塊 ................................................................................................. 19 (1)中心簡介 ............................................................................................... 19 (2)政策文件 ............................................................................................... 20 (3)名師風采 ............................................................................................... 20 (4)教師培訓 ............................................................................................... 20 (5)教學督導 ............................................................................................... 20 (6)教學論壇 ............................................................................................... 20 4.2 視頻展示模塊 ................................................................................................. 20 (1)視頻展示 ............................................................................................... 20 (2)資源下載 ............................................................................................... 20 5. 教學管理中心 ........................................................................................................... 21 5.1 在線評審 ......................................................................................................... 21 5.2 通知公告 ......................................................................................................... 21 5.3 教學組織和專業設置 ..................................................................................... 21 5.4 大數據平臺統計匯總 ..................................................................................... 21 6. 教學質量工程 ........................................................................................................... 21 (1)課程建設 ............................................................................................... 22 (2)專業建設 ............................................................................................... 22 (3)教學團隊建設 ....................................................................................... 22 (4)教材建設 ............................................................................................... 22 (5)教學名師 ............................................................................................... 22 7. 備課資源庫(備選項) ........................................................................................... 22

2

xxx學院大數據教學平臺建設規劃

一、建設背景

自2012年起,美國各頂尖大學陸續開設了以慕課(MOOC-大型開放式網絡課程)為主的網絡學習平臺,在網上提供免費課程。Coursera、Udacity、edX三大課程提供商的興起,給更多學生提供了系統性學習的可能。美國哈佛大學、麻省理工、加州理工等高校前后累計投入近2.4億美元,用于開發網絡化課程。加之以微課、翻轉課堂等為代表的新的教學方式不斷創新突破,使得課程網絡化重新定義了學校,重新定義了教師,甚至也重新定義了學生,提供了一種全新的知識傳播模式和學習方式,必將引發全球高等教育的一場重大變革。

當前國內、省內高校在課程網絡化建設方面均取得了一定成績。其中,西安交通大學建立了較為完備的網絡公開課學習平臺,涵蓋工學、理學、管理學等七大學科,具備線上學習、考試、互動等功能;周口師范學院則建立了較為詳細的大數據分析系統,能夠實現對學生出勤、就餐、圖書閱讀等方面的大數據分析。但是,上述高校在課程網絡化建設方面還存在著以下不足:

第一,重通識輕專業。國內高校,特別是985高校較為重視自身網絡資源共享課的建設(即慕課),建設水平相對較高;省內高校,則是通過引進智慧樹、爾雅等通識教育課程,構建通識教育網絡平臺。

1 但是,各高校專業核心課程網絡化建設普遍較為薄弱,即使是建設較好的西安交通大學,也僅是將部分專業核心課程用于跨專業通識教育,并沒有依托優勢專業,構建基于網絡的專業核心課程體系,供在校學生學習使用。

第二,重整體輕細節。北京大學、清華大學、鄭州大學的課程建設整體情況較好,多數課程都擁有較為系統的教學大綱、講義、PPT和試題庫。但是,上述學校在線課程時長均為45分鐘左右,系按照傳統課堂要求錄制的一整節教學內容,學生網絡學習與在課堂聽課效果一樣,缺乏基于微課、微視頻等工具對課程進行細化講解,無法突出重要知識點。

第三,重講授輕反饋。各高校建成的網絡教學平臺中,均設有互動模塊用于教師與學生進行線上交流。但是,由于缺少有效的監督和激勵機制,多數互動平臺處于零活動狀態,既沒有學生提問,也沒有教師解疑答惑,學生網絡學習質量只能簡單依靠在線習題進行驗證。

第四,重建設輕管理。在被調查院校中,除西安交通大學、浙江大學上線的網絡課程能夠順利訪問外,其他學校均存在視頻打不開、課程內容不完整,甚至網頁不能正常訪問等情況,說明課程網絡化建設后期管理存在較大漏洞,不能完全保證學生隨時學習、隨地學習的要求。

第五,重成績輕運用。各高校在課程網絡化建設方面投入較大,知名高校均聘請上市網絡企業進行頁面設計和功能設計,建設效果較好。但是,除兄弟師范學院外,各高校均沒有以大數據為基礎,形成

2 建設效果總結報告和發展規劃,且兄弟師范學院在形成報告后,也沒有完全將該報告中反饋的問題應用于實際教學。

有鑒于此,我校在課程網絡化建設過程中,既要發揮慕課線上教育的優勢,又要結合微課成果簡化、多樣傳播的特點,同時兼具翻轉課堂將學習決定權讓渡給學生的原則,采取兼容并包、取長補短的方式,以大數據為基礎,加快推進課程網絡化建設,顯著提升我校教學水平和教學質量。

二、建設目標

根據當前高等教育發展趨勢,以及慕課、微課、翻轉課堂等新方法、新工具的發展方向,結合我校轉型升級發展具體需求,對我校本科課程網絡化建設提出以下建設目標:

第一,以專業核心課程為重點,加快推動教學方式改革。通過3年建設,基本建成以三級知識點分類為依托,以課堂講授、網絡課堂、微課、微視頻、課程試題庫為基礎的“課堂學習+網絡學習”的專業核心課程教學新體系,并逐步向全校所有課程延伸。

第二,以通識教育在線課程為引導,不斷提升自建網絡課程質量。按照引進與自建相結合原則,建設一批涵蓋“科學素養、人文素養、藝術素養”三大模塊,擁有自主知識產權和版權的通識教育在線課程,使部分課程達到網易公開課、MOOC學院和中國大學MOOC等國內知名網絡平臺上線要求。

第三,以網絡自選(拓展)課程為輔助,有效促進學生專業綜合

3 能力提升。采用自愿、自主原則,鼓勵各學院在學生完成專業基礎課程學習后,通過建設一批能夠拓展學生專業知識面、調動學生自學積極性的自選(拓展)課程,進一步提升學生專業綜合能力和素養。

第四,以大數據分析為基礎,全面提升我校教育教學質量。針對當前傳統教育方式一門課程講到老、一本教材用到老等種種弊端,運用大數據分析工具,大膽探索、小心求證,逐步形成課程任課教師專業教研室、教學院系和教務處四級評價分析體系,從課程改革入手向專業改革延伸,全面提升我校教育教學質量,以適應轉型升級發展新形勢、新要求。

三、建設內容

(一)專業核心課程 1.專業核心課程范圍

專業核心課程主要包括教育部專業指導目錄中所規定的完成本專業學習的必修課程。

2.建設周期和建設數量

第一階段:2017年,從24個轉型試點專業和應用型專業群中選擇50門課程進行建設;

第二階段:2018年,完成轉型試點專業全覆蓋,同時從非試點專業中選擇40門課程進行建設;

4 第三階段:2019年,從全校所有專業中(已建成的不再重復建設)選擇60門進行建設,完成應用型專業群全覆蓋;

第四階段:2020年以后,逐步完成全校所有專業核心課程網絡化建設。

(二)通識教育在線課程

通識教育在線課程是第一課堂在課下的延伸和拓展,既是提升學生綜合素質的渠道,也是進行開放式和探究式學習的重要平臺。在前期引進爾雅通識課程的基礎上,我校將采取引進與自建相結合的方法,以“科學素養、人文素養、藝術素養”三大模塊為主,每年遴選5門左右深入開展通識教育在線課程建設。

通識教育在線課程在供本校學生學習的同時,鼓勵任課教師或課程教學組向校外提供課程資源共享服務。任課教師或課程教學組通過向校外共享課程資源所獲收益,歸任課教師或課程教學組所有。

(三)網絡自選(拓展)課程

網絡自選(拓展)課程是在專業課程基礎上,對學生綜合能力和素養的進一步提升。我校將按照自愿、自主的原則,鼓勵和支持網絡自選(拓展)課程建設。

1.建設方式

各學院以基層專業教研室為單位,根據自身專業特點,在學生完成專業基礎課程學習后,通過自建(建設標準參照通識教育在線課程)

5 或引進相結合,建設3-5門與本專業學習有關的網絡自選(拓展)課程,上傳至大數據教學平臺,進一步強化學生專業能力。

2.學習方式

學生根據各專業提供的網絡自選(拓展)課程資源,在大數據教學平臺上(或手機APP)根據學習要求自主完成學習。

3.學分置換

學生完成網絡自選(拓展)課程后,由各學院教學辦公室統一認定,確定可置換的學分數量和課程,經學院教學負責人簽字確認后報送教務處備案。

(四)原精品資源共享課、網絡共享課等

2013-2016年獲準立項建設的省、校級精品資源共享課、網絡視頻公開課、精品課程等在建項目,均可按照專業核心課程、通識教育在線課程和網絡自選(拓展)課程的建設要求和建設標準進行后續建設。教務處將對建設質量較好、建設效果明顯的項目進行后期資助,并優先推薦國家級、省級課程建設項目。

四、建設方案

以下建設方案均采用本地部署模式。

6

(一)大數據教學平臺功能簡介

我校大數據教學平臺以學生為中心,基于“線上+線下”、“平臺+課程”的教學新理念,通過課堂講授、輔助學習和自主學習相結合,逐步實現傳統課堂教學與現代網絡技術的融通運用,構建混合式教學新模式。

通過大數據教學平臺實現教學互動功能、資源共享功能、移動學習功能、教學門戶的建設,達到教師能夠進行課程建設、教學監控、資源共享、學生能夠自主學習的目的,并實現所有數據的整合,最終建設成一個理念領先、技術先進、國際化特色突出的網絡教學中心。

(二)六大功能模塊 1.網絡教學門戶網站

該網站能夠實現教學新聞公告動態顯示,有具校園代表性的大圖片展示區,具備信息發布和頁面自定義、訪問統計分析、統一檢索等功能;具備鏈接進入大數據教學平臺各功能模塊的功能;具備多種資源排行展示,如精品課程排行、課程網站排行、課程資料排行等功能;并且支持對本校課程進行檢索。

2.課程中心

課程中心包括專業核心課程、通識教育在線課程、網絡自選(拓展)課程和原精品資源共享課、網絡共享課4大課程子系統;能夠提供課程建設工具,實現與Microsoft Office和WPS的無縫對接。

7 2.1 專業核心課程

能夠兼容包括Camtasia Studio等在內的微課編輯工具,支持按照課程三級知識點在線創建、編輯、修改各種類型的微課;實現按照課程知識點編輯排序講義、PPT、微課。

2.2通識教育在線課程

能夠兼容學校已購進的爾雅通識教育課程和自建通識教育課程。 2.3網絡自選(拓展)課程

實現按照各二級學院或學科專業為單位的網絡自選(拓展)課程分類、排序。

2.4 原精品資源共享課、網絡共享課

能夠將前期已有的精品資源共享課、網絡共享課上線。 以上4大課程子系統均應包括“教-學互動平臺”:該平臺能夠提供全面的網絡教學功能,包括作業、考試、通知、互動課堂、PBL教學、資料、統計等。同時,在教學過程中,能夠直接無縫對接各種在線資源,實現名師課程視頻、教材教參、文獻資料等的輕松調用,為教與學隨時隨地提供資源支持。師生可以在互動課堂模塊通過音視頻、文字互動,實現遠程授課、輔導。在4大課程子系統中均支持輔助教學、闖關式網絡教學、混合式翻轉課堂教學等多種教學模式。課程建設過程中可插入作業、視頻、圖書作為任務點,通過任務點是否完成

8 來對學生行為進行監控。詳盡的學習統計能夠統計出每個學生的學習進度、學習行為軌跡、作業分數、視頻觀看情況、圖書閱覽情況、參與討論次數等。教師可以為每個班級制定學習計劃。將課程章節定時開放給學生,也可以設置闖關式學習,學生必須將章節中全部人物點完成才能進入下一節,控制學生的學習流程,監控學習結果。

3. 移動學習空間

可以通過電腦、手機、平板等終端設備,為每個學生打造個性化主頁,記錄學習歷程。同時,可以滿足學生與學生之間、學生與老師之間的學習互動交流。同時考慮到學校其他平臺較多,學習空間應支持外部平臺接入,方便學生與老師使用。

4. 教師發展中心

以教學研究和教學改革為中心,能夠提供培訓服務、課程評估、資源共享等功能。主要內容應包括中心簡介,政策文件,通知公告,名師風采,教師培訓,教學督導,學院風采,教學論壇,資源下載等功能模塊。

5. 教學管理中心 5.1 教學評估

能夠統計教學過程中所產生的數據,可以對老師的教學情況、學生的學習情況、課程的訪問情況等進行全面的、可視化的統計分析,

9 以幫助學校和老師更好的進行教學評估管理。

5.2 教學資源管理

能夠對學校教師和院系手中的各種教學資源進行系統的歸類和整理,并將文件加以統一的管理和存儲,實現教務處對于這部分教學資產真實、有效的管理和控制;提供統計和分析系統,使教務處能夠準確掌握校內各種教學資源的分布狀態,并以此為依據,對未來的教學資源建設進行合理的規劃。

5.3 OA系統

文件發布:實現教務文件在線發布、在線閱讀,教務處能夠對文件閱覽情況進行實時監控;項目評審:實現教學研究項目、教學團隊、精品課程等項目的在線申報、在線評審。

6. 教學質量工程

能夠協助學校進一步提高教學質量工程項目生命周期管理。主要包括政策文件發布,在線項目管理,項目統計分析和項目成果展示等,全面滿足學校質量工程的項目管理需求。同時,平臺還提供附件文檔的在線閱讀、項目公文模板自定義等特色功能,讓質量工程更方便、更靈活。

7.備課資源庫(備選項)

能夠實現與圖書館、外部網絡資源的對接,供教師教學和備課使

10 用。(此項功能為備選功能)

(三)各功能模塊要求

總體要求:大數據教學平臺面向30000名師生同時在線開放,在系統的兼容性、穩定性、安全性、可靠性等方面有嚴格的要求:

7×24小時不間斷運行; 頁面響應不高于3秒; 檢索響應不高于3秒; 視頻點播響應不高于10秒。 1. 網絡教學門戶網站

實現新聞公告動態顯示,熱門教學視頻動態顯示,有校園具代表性的大圖片展示區,生動記錄教師學生們的學習和生活。

除常規門戶網站所包含內容外,還應包括教學成果展示板塊,具備多種資源排行展示,如精品課程排行、課程網站排行、課程資料排行、及熱門專業排行,包含學校特色的人才培養方案、教學組織運行的功能。

2. 課程中心 2.1課程創建

在課程中心模塊中,應支持在線創建課程、設置課程的學分考核機制、設置課程展示模板等,以及學生在線聽課、在線閱讀、在線提

11 問、在線作業、在線考試、在線互動討論、學分審核、獲得學分等。

(1)課程共建

支持多位老師共建一門課程,使課程內容更加豐富,同時減輕了教師工作負擔。

(2)助教功能

支持添加助教功能,老師可以選擇合適人選來擔當本門課程助教,協助批改作業、考試閱卷等教學活動。

(3)雙模板選擇

支持基于章節和知識點兩種模板創建課程,三步完成課程創建:.....選擇模板、編輯課程信息、編輯章節或知識點內容。要求實現Microsoft Office和WPS文檔、PPT直接上傳,同時支持常見視頻格式上傳。

(4)課程封面

內容包括課程名稱(中英文)、課程封面、課程相關信息、課程介紹、教學資源等內容,要求編輯界面簡潔明了、操作簡單,原位編輯、靈活方便。

(5)課程編輯

在課程內容編輯中,要求與Microsoft Office和WPS的無縫對接,支持直接粘貼、復制,并具備與Microsoft Office和WPS相一致的在

12 線編輯功能。在編輯過程中,可以根據課程內容添加圖片、文檔、音頻,視頻,網頁,作業;可以對插入的微課、微視頻等資源設置任務點,防拖拽,防窗口切換等,使學生在觀看視頻的過程中不能進行其他操作;在視頻的播放過程中,可以插入與視頻相關的圖片、PPT,可以在視頻中添加相關的測驗,學生只有在正確回答相關問題后才能進行后續視頻內容的學習。

上述內容要求能夠實現原位編輯,不需進入后臺,即可在網頁原位進行編輯操作。

2.2 課程教學 (1)多模式教學

平臺應支持網絡輔助教學(專業核心課程)、網絡教學(通識教育在線課程、網絡自選(拓展)課程和原精品資源共享課、網絡共享課),翻轉課堂、PBL(問題式學習)等多種現代化教學模式。

其中,網絡輔助教學,指的是教師運用平臺上傳教學所需的資料(如PPT、講義、教案、教學大綱、課程習題庫等文本文件,以及微課(5-10分鐘)、微視頻(20分鐘左右)等網絡資源),在線布置作業(可設置闖關模式)、批改作業,與學生進行討論答疑等活動。

網絡教學,指的是教師通過平臺上傳完整的課程講座視頻(涵蓋所有教學內容,每講45分鐘),學生可以在校內通過無線網絡(校園WIFI)和有線網絡自主學習,可以突破傳統課堂人數限制。

翻轉課堂,指的是將課程學習的過程由線下實體課堂反轉到線上

13 網上教學。首先由學生在線上進行自主的課程學習,在實體課堂中老師主要進行討論與答疑等活動。

PBL教學,指的是將學習與具體任務或問題掛鉤,使學生能夠在平臺上自主預習任務問題,教師能夠實時監控學生預習進度,并及時進行解疑答惑。

在該平臺下,教師可以根據各自實際需求和學校對課程建設的具體要求,靈活選擇教學模式。同時,還應具備學分管理系統,能夠監控學生學習過程,設置各項學習指標權重,統計學習成績,并在學生學習結束后能夠給出相應的學分。

(2)學習過程管理

該平臺以學習過程管理為核心,開展作業、考試、答疑、討論、評價等教學活動。

學生在登錄平臺后,可以直接查看自己四年全部課程總體學習進度和某一門課程的單科學習進度。(如果教師在課程中設置了闖關模式,則學生必須完成相應的任務后才能夠進行后續學習)。

教師在登錄平臺后,可以直接查看本學期承擔課程中每個學生的學習進度和總體學習進度。其中,單個學生學習進度,應包括視頻觀看進度、學生點擊情況(含點擊時間、時長、點擊者信息等內容)、講義、PPT觀看、下載情況、作業完成情況等;總體學習進度,應包括全部學生總體學習情況、作業整體完成率、學生網絡學習排名等。上述內容均要求采用Excel形式,并能夠快捷導出。

14 (3)線上作業

即從作業發布、接收到批閱,全部流程都在網上完成,學生可以在線接收作業、做作業、關注作業的反饋情況,隨時查看教師的評語及成績。學生可以對任意作業進行收藏,將自己認為重要的知識點集中到一起當作之后學習的要點。

如果教師在作業中設置了闖關模式,則學生必須完成指定作業內容后,方能進入下一步作業。

(4)在線測試

教師可通過題庫進行選題或者在線編輯試題,然后設置各類題型的數量和分值創建試卷,試卷創建好以后,教師根據測驗的時間,參加測驗的對象,發起測驗。學生就可以接收到該試卷進行測驗。支持從題庫中選題進行組卷的功能,教師可以對試卷中的試題進行添加、修改、刪除、任意排序、預覽等功能,還可以對試題進行分值分配;試卷包括客觀題、主觀題、復合題等;題的屬性包括類別、難度系數、適用層級等,同時,系統能根據題的使用頻率和學生回答的正確率進行自適應的調整難度系數,力求難度系數符合真實情況,提高參考價值。

15 2.3 教學信息統計 (1)教師端

教師端信息包括兩個方面:

工作量統計,主要包括教師發作業、批量作業、試卷、試題、討論答疑、學生對教師授課的滿意度、教授的學生的成績等數據匯總,同時,系統支持原始數據導出。

學生學習統計,主要包括完成的作業、參加的考試與考試得分、提出的問題、參加過的討論、讀過的書、看過的視頻等數據匯總,按匯總的數據對學生進行排名,并能夠精確顯示學生學生行為軌跡。在作業統計中,能夠根據教師設置的每份作業的權重,統計出學生網絡學習總成績。同時,系統支持原始數據導出。

(2)學生端

學生端信息,主要包括學生各門課程學習進度和大學四年總體學習進度。

2.4 教學互動 (1)學生問題討論

平臺為學生提供在線提問功能。根據學生輸入的問題題目內容,自動為學生推薦與該問題相似的問題,同時推送與問題相關的學習資料(如視頻、圖書、文檔文獻等),輔助學生自主解決問題。為了提高

16 解答的質量,學生在提問的過程中,可以選擇解答范圍,包括允許所有人解答、允許某位教師解答。師生可以就課程學習進行討論,答疑,增強師生的互動,加深學生對知識的理解。

(2)教師在線答疑

教師在線回答學生提出的問題,可通過系統消息或手機、郵件等及時反饋給學生。當有新的問題時,系統會在教師平臺頁面自動提醒,或者通過手機、郵件等形式提醒教師,方便教師與學生之間的即時溝通。教師可以對答疑庫中的問題進行管理,如建立精品答疑庫,將問題分類,便于系統自動為學生精準地推送問題,提高疑問的解決效率。

3. 移動學習空間

移動學習空間包括PC終端和移動APP兩種模式。 3.1 PC終端

PC終端主要集中于課程中心,在此不再贅述。 3.2 移動APP 移動APP包括IOS和Android兩種類型,兩種類型操作界面、操作流程應基本一致,且均能夠支持平板操作。

(1)移動教案

按照教學計劃,教師可提前在移動端上組織教學內容,有序安排

17 資料推送、簽到、問答、搶答、投票等教學活動,方便課堂發放并易于復用;教材、作業、考試、通知、學生管理等移動教學功能,支持教師進行移動教學。

(2)課堂簽到

教師在移動端發布課堂簽到,學生直接用手機通過掃描教師課前打印好的二維碼進行簽到,簽到結果可同步保存在課堂教學教師APP端和PC端。

(3)隨機提問與調查

教師發布隨機選人,系統會自動在已經簽到的學生中隨機選擇學生回答問題,并可以進行結果投射;教師可以在課堂上實時發布調查問卷,學生通過移動端進行投票,教師端可以立即統計投票結果。

(4)學習監控

對于學生在線觀看微課、微視頻具備監控功能,如視頻防拖曳、防快進等。

(5)闖關學習

學生通過PC或APP進行網絡學習時,能夠自動記錄學習軌跡和學習行為,在完成學習任務后能夠自動保持PC端與APP端同步。

18 (6)作業

學生可以通過PC或APP查詢作業列表,完成作業并能夠展示已完成、已批改的作業,并能夠查看每次作業成績和總成績。

(7)在線互動

學生可以通過PC和APP查看老師、管理員發給自己的通知、調查問卷、問答、討論話題等消息信息,且所有消息都支持有是否閱讀標示。

(8)在線考試

教師可以在課程中發布考試試卷和查看考試分項統計結果,學生同樣可以通過客戶端進行在線考試和查看考試信息。

(9)課程顯示

在PC或APP教師端,能夠顯示本學期教師所承擔的課程信息;在學生端,能夠顯示本學期所修的課程信息。

4. 教師發展中心 4.1文本顯示模塊 (1)中心簡介

對教師發展中心進行簡單介紹

19 (2)政策文件

能夠發布教師發展中心的各項文件、通知。 (3)名師風采

對學校名師進行展示(含照片和簡歷)。 (4)教師培訓

主要分為崗前培訓,專題活動,名師講壇,網絡培訓,實踐教學等功能。

(5)教學督導

主要發布相關的督導動態,督導制度等內容。 (6)教學論壇

支持教師在教學論壇交流自己的教學方法與教學心得。 4.2視頻展示模塊 (1)視頻展示

展示與教學相關的優秀培訓視頻。 (2)資源下載

教師可以在資源中心下載到教師教學發展的相關培訓資料。

20 5. 教學管理中心 5.1 在線評審

教務處收到申報的項目,將進行分級評審,級別分為:院、系或職能部門初審,評審辦公室初審,專家在線評審,評審委員會集體評議。泛雅提供了完整的在線評審流程及簡單易操作的后臺管理體系,評審人只需按步操作即可。評審項目。

5.2 通知公告

該平臺能夠發布教學方面的各類文件、通知,并能夠向各二級教學單位進行推送和點擊打開情況查詢。

5.3 教學組織和專業設置

該平臺能夠顯示各二級教學單位的網站鏈接和全校專業設置情況。

5.4 大數據平臺統計匯總

能夠實現按二級學院和專業分類顯示在線課程各項信息統計。 6. 教學質量工程

教學質量工程項目,指的是教學團隊、精品課程、專業綜合改革試點等項目。該平臺的建設宗旨是打造教學質量與教學改革工程綜合支撐平臺及項目申報評審及管理平臺。

21 質量工程項目的建設主要包括政策文件的傳達,課程、專業、教材與教學團隊建設的線上管理??蓪崿F教研項目網上申報、評審、立項與成果展示。

(1)課程建設

課程建設包括校級、省級、國家級的精品課程及優秀課程展示。 (2)專業建設

包括特色專業展示及專業改革試點的公布,人才培養示范專業、各類各級教學實驗班展示。

(3)教學團隊建設

包括校級、省級優秀教學團隊建設的展示。 (4)教材建設

包括省級、國家級重點教材及校園精品教材的展示。 (5)教學名師

包括校級省級教學名師的展示。 7. 備課資源庫(備選項)

22

第三篇:探索時空大數據的社會管理創新平臺建設論文

加強和創新社會管理是我國社會主義現代化總體布局的核心任務之一。2011 年,黨中央做出關于加強和創新社會管理的重要決定,明確要求“加強社會管理信息化建設,提高社會管理效能和服務質量”。十八屆三中全會決定也要求創新社會治理體制,以網格化管理、社會化服務為方向,健全基層綜合服務管理平臺,及時反映和協調人民群眾各方面各層次利益訴求。武漢市委、市政府高度重視社會管理創新工作,把智慧社會管理工作擺在突出位置,要求建立全市統一的社會管理與服務平臺。

經過5 a 的建設,在智慧武漢的總體框架下,武漢市社會管理創新以服務人為主線,提出了“一主、兩新、五全”的管理理念,以智慧武漢時空信息云平臺為基礎,依托時空大數據、云計算、物聯網等科技手段,建立了武漢市社會服務與管理信息系統,實現了人、地、事、物、情各類社會管理要素的空間化集成調用和綜合展現,形成了市、區、街、社區、網格5 級聯動機制,推進了信息資源共享,整合了社會管理資源,完善了社會管理機制,構建了一個全方位、寬領域、全覆蓋、無縫銜接的社會管理與服務體系。

1 建設目標與內容

1.1 總體目標按照網格化管理的思想,運用時空大數據管理的分布式數據集、流式空間索引、MapRuduce 技術等前沿技術方法,以實有人口實有房屋信息共享為基礎,進一步整合公安、計生、民政、人社、衛生等部門的人口、法人和社會經濟等信息,將各類資源納入全市統一平臺,創新社會管理體制,優化再造管理流程,以信息為先導來整合、引導和分配社會管理資源,建立全口徑的城市社會管理與服務平臺,為完善社會管理領導體制、建立健全社會矛盾調節機制、抓好社會防控體系建設提供新的技術手段,為武漢中心城市、和諧城市、幸福城市的建設提供一體化的信息支撐。

1.2 建設內容武漢市社會服務與管理信息系統建設以“整合資源、統一規劃,市區共建、以區為主,規范運作、分級管理”為原則,以數字武漢地理空間框架為支撐,依托智慧武漢時空信息云平臺,充分利用現有系統數據和基礎進行改造、升級、整合,建立市、區、街道、社區、網格5 級聯動的社會服務與管理信息系統,為網格化管理與服務提供信息支撐。

2平臺實現及應用效果

2.1 制度確立,納入智慧城市總體框架2012 年,按照中央和湖北省有關部署要求,武漢市委、市政府把智慧社會管理作為智慧武漢的基礎和核心內容,啟動了武漢市社會管理與服務網格化建設工作。在統一思想、充分調研的基礎上,市委市政府先后出臺了《關于加快推進社會綜合管理與服務網格化建設工作的意見》等系列文件,加強網格化工作頂層設計,要求全市在整合人力資源、信息資源、地理信息資源、網絡資源等核心資源的基礎上,開展武漢市的網格化管理建設工作,做到“一網打盡”。

2015 年武漢市委市政府又出臺了《關于進一步創新社會治理加強基層建設的意見》等“1+10”系列文件,進一步從制度上為武漢市社會管理與服務信息系統的建設提供了保障。3.2 標準先行,建立健全相關機制標準具體包括《武漢市社會綜合管理與服務網格劃分規則與編碼規范》《武漢市社會綜合管理與服務基礎信息采集表》《武漢市社會綜合管理與服務專業信息共享內容》《武漢市社會綜合管理與服務事項分類標準》《武漢市社會綜合管理與服務信息系統服務接口規范》和《武漢市社會綜合管理與服務區級平臺建設要求》等6 大規范,形成了網格劃分、數據共享、信息采集、平臺管理的標準規定。

對市、區、街、社區和相關部門、不同崗位操作人員分別設置信息使用權限,分層級、分部門、分崗位授權;建立了工作考核機制,每日對全市各區、街道、網格員及各相關職能部門進行考核;通過平臺強化事件全程辦理和全程監督功能,通過對事件接件、流轉、辦理等流程的實時監控,實現即將到期預警、超期報警;建立了信息采集、比對、更新和共享機制。

3 結 語

當前,武漢市正在開展“智慧城市”和“互聯網 +”行動計劃,社會管理創新平臺建設被列為智慧武漢建設應用之首,同時也被列入“互聯網+”行動計劃。將以此為契機,進一步加強研究,持續推進智慧社會管理建設與應用,形成社會管理的“智慧感知、智慧融合、智慧管理、智慧服務和智慧決策”。

第四篇:(新甘肅)建檔立卡和大數據平臺建設有關問題答復 Word 文檔

關于扶貧開發建檔立卡及大數據系統

平臺建設有關問題答復

一、大數據

1.大數據平臺建設能否做成15個不同的模塊,由行業部門去填? 答:不可以。這次大數據平臺信息錄入是以2015年100萬預脫貧人口數為基數,是以戶為單位填寫,行業部門的信息都在這一戶中體現。填表問題,由縣扶貧開發領導小組組織相關行業部門填寫。

2.國家建檔立卡數據系統和大數據系統平臺能否對接?

答:可以對接,需要請示國務院扶貧辦允許后才能實現。 3.大數據系統中入戶調查表格復雜,能否簡化? 答:下一步我們將進一步與行業部門協商,簡化表格。 4.2015年預脫貧100萬名單,能否調整?建議把2015年的預脫貧人口100萬,不能關死,要能進能出。

答:2015年100萬實名制,總規模不變,不少于100萬人,具體名單按照實事求是的原則可以進行調整。

5.省辦能否專門成立部門,具體協調精準扶貧工作,設定政策解釋人,公布其電話,各縣區有問題可以隨時進行咨詢?

答:我們向扶貧領導小組匯報,建議由相關行業部門盡快確定聯絡人,負責解答。

二、建檔立卡

1.貧困縣、村、人口的脫貧標準、如何驗收不明確。 答:目前國家還未制定明確標準,我省正在制定過程中。 2.符合條件的低保戶和五保戶納入建檔立卡貧困戶中,符合條件這概念不明確;金昌市低保戶實行城鄉一體化,低保的標準提高了,低保戶是否可以不全部納入。五保戶、低保戶中一二類是否絕對從系統中剔除。審核脫貧指標2800元,而一二類低保收入超過了2800元,有一定的沖突,建檔立卡工作怎么處理?如果三四類低保進入建檔立卡,人數就會超,這些人數省上認可嗎?敦煌市民政上下達了9800人低保人數,但沒有等級區分,而我們扶貧口下達的貧困人數是2800人,這個數字懸殊比較大。怎么解決?民政上下達五保戶和低保戶人數比我們貧困人數還多,現在又說要控制規模,為落實進多少出多少的制度,就會出現五保戶和低保人數把我們貧困人數頂出現象,怎么處理?納入建檔立卡范圍的

一、二類低保戶享受政策后,實現了政策性脫貧,但這部分農戶仍然屬于鄉村內最貧困的群體。是否可以按照返貧處理?

答:建檔立卡農戶的納入不分一般貧困戶、五保戶、低保戶、低保貧困戶屬性,只要在這個村中是最貧困的群體,由民主評議選出納入;系統中的低保戶、五保戶的人均純收入按實際情況錄入。實現政策性脫貧的五保戶、低保戶可以退出建檔立卡系統,戶中有16歲以下的未成年人特殊情況,暫不退出;但不能搞“一刀切”全部進入或全部退出,因為我們系統中大部分貧困戶的人均純收入是人為壓縮到2736元以下的。所以貧困戶的退出、農戶的返貧不要管是何屬性,嚴格按照文件要求,一切權力交給本村的群眾去評議選出。

3.國務院扶貧辦的系統能否24 小時開放?

答:根據階段性任務的需要,省辦與國務院扶貧辦協調開放, 數據不能隨意調整,系統不能隨意開放。

4.扶貧戶和貧困戶在政策上概念的如何區分? 答:貧困戶的定義國家還無任何解釋。目前,建檔立卡中貧困戶包括一般貧困戶、五保戶、低保戶、低保貧困戶。扶貧開發對象是指《農村扶貧開發綱要》的概念:“國家扶貧標準以下的,有勞動能力的有發展意愿的農村人口”。

5.返貧人口的重新識別與統計如何調整?

答:請認真參閱甘扶領辦發〔2015〕19號文件中關于返貧的具體要求。

6.國家統計局下發的脫貧數據與我們掌握的實際脫貧數據不一致,造成這個被脫貧的局面怎么辦?2014國家統計局給敦煌下的扶貧計劃比我們的2013年多出了3000人,國家統計局下的這個人數與我們的計劃人數接不上,我們工作下一步怎么延續,這個問題怎么解決?

答:以2014年國家統計局甘肅調查總隊核定的數字為準 。

第五篇:車聯網大數據平臺架構設計

車聯網大數據平臺架構設計-軟硬件選型

1.軟件選型建議 1.1 數據傳輸

處理并發鏈接的傳統方式為:為每個鏈接創建一個線程并由該線程負責所有的數據處理業務邏輯。這種方式的好處在于代碼簡單明了,邏輯清晰。而由于操作系統的限制,每臺服務器可以處理的線程數是有限的,因為線程對CPU的處理器的競爭將使系統整體性能下降。隨著線程數變大,系統處理延時逐漸變大。此外,當某鏈接中沒有數據傳輸時,線程不會被釋放,浪費系統資源。為解決上述問題,可使用基于NIO的技術。 1.1.1 Netty

Netty是當下最為流行的Java NIO框架。 Netty框架中使用了兩組線程:selectors與workers。其中Selectors專門負責client端(列車車載設備)鏈接的建立并輪詢監聽哪個鏈接有數據傳輸的請求。針對某鏈接的數據傳輸請求,相關selector會任意挑選一個閑置的worker線程處理該請求。處理結束后,worker自動將狀態置回‘空閑’以便再次被調用。兩組線程的最大線程數均需根據服務器CPU處理器核數進行配置。另外,netty內置了大量worker功能可以協助程序員輕松解決TCP粘包,二進制轉消息等復雜問題。 1.1.2 IBM MessageSight

MessageSight是IBM的一款軟硬一體的商業產品。其極限處理能力可達百萬client并發,每秒可進行千萬次消息處理。

1.2 數據預處理 1.2.1 流式數據處理

對于流式數據的處理不能用傳統的方式先持久化存儲再讀取分析,因為大量的磁盤IO操作將使數據處理時效性大打折扣。流式數據處理工具的基本原理為將數據切割成定長的窗口并對窗口內的數據在內存中快速完成處理。值得注意的是,數據分析的結論也可以被應用于流式數據處理的過程中,即可完成模式預判等功能還可以對數據分析的結論進行驗證。 1.2.1.1 Storm

Storm是被應用最為廣泛的開源產品中,其允許用戶自定義數據處理的工作流(Storm術語為Topology),并部署在Hadoop集群之上使之具備批量、交互式以及實時數據處理的能力。用戶可使用任意變成語言定義工作流。

1.2.1.2 IBM Streams

IBM的Streams產品是目前市面上性能最可靠的流式數據處理工具。不同于其他基于Java的開源項目,Streams是用C++開發的,性能也遠遠高于其他流式數據處理的工具。另外IBM還提供了各種數據處理算法插件,包括:曲線擬合、傅立葉變換、GPS距離等。 1.2.2 數據推送

為了實現推送技術,傳統的技術是采用‘請求-響應式’輪詢策略。輪詢是在特定的的時間間隔(如每1秒),由瀏覽器對服務器發出請求,然后由服務器返回最新的數據給客戶端的瀏覽器。這種傳統的模式帶來很明顯的缺點,即瀏覽器需要不斷的向服務器發出請求,然而HTTP request 的header是非常長的,里面包含的數據可能只是一個很小的值,這樣會占用很多的帶寬和服務器資源。

面對這種狀況,HTML5定義了WebSockets協議,能更好的節省服務器資源和帶寬并達到實時通訊。應用Websockets技術,服務器可以通過一個雙工通道主動推送數據至客戶端瀏覽器。 1.3 數據存儲 1.3.1 車載終端數據

自2006年以來,基于Google提出的MapReduce編程模型以及分布式文件系統的開源項目Hadoop,得到了分布式計算領域的廣泛關注,近年來更是幾乎成為了大數據行業的標準框架。眾多國際互聯網公司如Yahoo!、Twitter、Facebook、Google、阿里巴巴等均開源發布了大量基于Hadoop框架的軟件,從而使得此框架擁有其他大數據工具所不具備的軟件生態圈。

2013年底,Hadoop 2 發布,新一代的計算框架YARN在兼容MapReduce之外,使得其他第三方計算工具可以更便捷的與HDFS整合。同時HDFS也增加了HA(高可用)等新功能。

Cloudera是一家美國的Hadoop軟件發行商,其CDH提供了企業級的服務支持,超過50%的Hadoop開源項目貢獻來自于Cloudera的工程師。恒潤科技目前使用的是Cloudera的CDH5。

數據存入HDFS中時,Hadoop會自動將數據切分為block并均勻分布的存儲在集群的各個數據節點。讀取數據時,往往通過Map Reduce的方式將數據匯總并提取。這種方式非常適用于對海量數據(eg. 100GB+)進行檢索或分析的場景。這是因為,首先海量數據很難用單機進行處理,因為大量數據需要先加載至內存;其次因為MapReduce(或基于YARN的其他計算方式)可以充分利用整個集群中的計算資源,任務的執行效率遠遠快于單機。

而對于交互應答及時性要求較高的應用場景,比如查看某列車某一時段的車速變化曲線(涉及數據量相對較小)。用戶往往期望指定檢索條件后可得到秒級的響應。但如果采用上述方式直接從HDFS取數據,整體集群任務派發與資源協調所需的時間將遠大于數據處理與展示的時間。用戶體驗將會大幅下降,這種情況下一般會采用非結構型Nosql數據庫。HBase是Hadoop生態圈中非結構型數據庫的代表,其架構參考了Google的bigTable設計。旨在為客戶提供基于HDFS,支持快速寫入與讀取的數據庫。

HBase的一個典型應用場景便是車載終端數據存儲,車載終端數據的特點包括: 數據類型多樣、數據具有時序性、車載終端有移動性以及數據粒度小。車載數據也符合上述特征,因此HBase相對于HDFS是一個更加合適的選擇。然而,HBase表的設計對數據檢索效率的影響可謂巨大,因此必須緊密結合應用場景、數據結構以及數據的元數據才能確保HBase的性能滿足應用需求。 1.3.2 應用數據

應用數據一般則采用關系型數據庫進行存儲。常見的關系型數據庫包括:Mysql,SqlServer,Oracle等。 1.4 數據分析 1.4.1 基礎運算功能

大數據平臺需根據數據類型的相應特點封裝基礎運算功能。例如,對于布爾量,需提供某段時間區間內,0、1變化的次數統計,0、1所占比例分布等功能;對遞增量如列車里程,應提供某段時間區間內該信號的變化率。而這些功能在分布式環境下主要是通過MapReduce的思想實現。

MapReduce是Hadoop的核心組件之一。 所有計算任務都被分解為兩個過程:Map與Reduce。其中Map過程的核心思想為‘移動計算優于移動數據’,即將計算任務Mapper分發至數據所在計算節點。計算節點對本地數據進行計算并將計算結果記錄在本地HDFS。Reduce過程,則由reducer去各個計算節點收集mapper的中間計算結果再整理成最終結果。這一過程適合的場景是大批量數據運算,而針對交互性較強的應用,因整個計算過程涉及大量磁盤IO操作,很難做到及時響應。為此Hadoop軟件生態圈對MapReduce過程進行了大量優化,而Spark的出現則進一步顛覆了MapReduce的實現方式。 1.4.2 Apache Spark

Spark將數據源封裝為RDD(一種可伸縮的分布式數據結構)。針對RDD的Mapreduce過程,將所有中間結果都保存在內存,而不需讀寫HDFS,從而提高計算任務的整體效率。除MapReduce外,Spark還提供許多其他數據操作。自2014年起,spark已經成為Apache開源社區中最活躍的開源項目。 1.4.3 SQL on Hadoop

在傳統關系型數據庫中進行數據分析往往是依靠SQL語言。對于不熟悉分布式編程的數據分析人員,SQL on Hadoop的出現無疑為他們提供了一種便捷而強大數據分析工具。為Hbase提供SQL操作的工具包括Hive,Impala與Pheonix。其中Hive與Impala都是為HDFS而設計同時提供了對Hbase的接口;Pheonix則是專門為Hbase設計的,底層實現完全依賴Hbase 的原生接口。 1.4.4 機器學習算法

數據挖掘中常用的許多機器學習算法都是迭代式的,當數據分布在集群中,傳統的單機算法實現將難以生效。Apache Mahout提供了多種機器學習算法基于MapReduce的實現,包括聚類、擬合、協同過濾等。Spark也提供了Mlib組件并以Spark的方式對上述算法進行了實現。 1.4.5 BI

傳統的的BI工具近年來也開始提供基于Hadoop的數據計算接口,如Matlab提供了MapReduce的接口(http:///discovery/matlab-mapreduce-hadoop.html)。而SPSS更是宣布除與Hadoop集成之外,還將于2015年完成與Spark的集成。值得注意的是,這些集成僅是底層實現的集成,即仍然要求數據分析人員具備MapReduce的編程思想并學習這些工具關于Mapreduce的客戶端接口。 1.4.6 工作流

Oozie是Hadoop生態圈中第一款關于計算流程規劃的工具。通過這款工具,開發人員可以將上述數據分析工具進行整合,以完成非常復雜的數據統計任務。然而Oozie缺乏可視化的工具對工作流進行設計,且調試十分不便。

Azkaban是由LinkedIn貢獻的一款類似的開源工具并提供了用戶友好的可視化界面。

1.4.7 數據可視化

由于前段的框架采用的是基于瀏覽器的B/S架構,因此數據的可視化可以依托于大量開源的javascript工具庫,例如D3(https://github.com/mbostock/d3/wiki/Gallery)、Highcharts(http:///demo)以及Baidu Echarts(http://echarts.baidu.com/doc/example.html)。

以Echarts為例,其提供的工具包括:折線(面積)圖、 柱狀(條形)圖、 散點(氣泡)圖、 K線圖、 餅(圓環)圖、 雷達(面積)圖、 和弦圖、 力導向布局圖、 地圖、 儀表盤、 漏斗圖。具體demo請參考上述鏈接。 2 硬件選型建議 2.1 服務器選型 2.1.1 配置

Hadoop集群中DateNode的推薦配置為: • 12~24 塊1~4TB 硬盤

• 2 ~8核 CPU, 頻率2~2.5GHz • 64-512GB 內存 • 10~100G以太網網口 NameNode的推薦配置為:

• 4~6 塊1TB 硬盤 (操作系統1塊, 文件系統2塊,Zookeeper1塊) • 2 ~8核 CPU, 頻率2~2.5GHz • 64-128GB 內存 • 10~100G以太網網口 2.1.2 規模

車載終端數據進入Hbase后,以Hfile的形式存于HDFS。這意味著所有數據在整體集群中將會至少保存3個備份。規劃集群規模時需考慮下列幾個參數: •

車載終端數量(車載數據采集設備)sensors •

采集端口數量ports •

采集頻率 frequency •

采集時間period •

端口大小 size •

備份數量 redundancy

由于Hadoop集群支持動態擴展,因此策劃時可先按最小需求搭建物理集群。

本文來自 99學術網(www.gaojutz.com),轉載請保留網址和出處

上一篇:低段數學教研組總結下一篇:土地估價師07知識真題

91尤物免费视频-97这里有精品视频-99久久婷婷国产综合亚洲-国产91精品老熟女泄火