㈠ 企業應該如何應對大數據時代
進入新的歷史時期以來,收集更加豐富的數據是擺在各個企業面前的主要任務,一旦企業不能收集范圍更廣的信息,那麼企業管理決策則極易出現更多的失誤。企業要重視內部數據信息管理工作,保證當前數據管理與大數據時代特點相一致。第一,進入大數據時代以來,由於涌現出數不勝數的數據信息,因此如果傳統數據信息管理技術不能及時改變則極有可能影響大數據的應用,所以要求當前企業必須及時引進先進的軟體與硬體,才能推動大數據的普遍應用。第二,由於數據信息的海量出現,因此企業還需不斷提高數據信息的管理能力,要保證及時處理與加工得到的各種數據信息,要及時掌握當前最新數據。很多企業已經意識到信息數據的重要性,但因為不擁有先進的技術措施,各種數據信息還不能發揮應有的作用。第三,在企業管理決策過程中,雖然大數據發揮著不可替代的作用,但同時也需重視數據碎片的作用,一個企業要想取得成功則必須重視二種數據的應用,才能使二種數據相互協調,保證數據分析具有更高的科學性,進一步簡化分析過程,減輕工作人員的勞動強度。企業還需及時創新內部知識管理,要盡快引入新型知識管理模式。在實際運行中,知識管理其實就是數據的管理。企業在做出管理決策時,知識提取是一個不可缺少的過程,只有大力應用各種知識才能制訂最為合理的決策。當前由於大數據技術的影響,人們日益意識到知識的重要性,很多企業當前將建設現代化的知識管理模式放在重要位置,高度重視知識管理工作。同時企業也不能過分依賴大數據的應用,而忽略了主觀決策的重要性,要保證二者相互協調、相互促進,才能幫助企業做出正確決策。
㈡ 大數據時代如何做好數據治理
企業數據分析系統的數據來源是各個業務系統或手工數據,這些數據的格式、內容等都有可能不同。如果不進行數據治理,數據的價值難以發揮。只有對數據標准進行規范,管理元數據、數據監控等,才能得到高質量的數據。得到規范的數據後,才可在此基礎上進行主題化的數據建模、數據挖掘、數據分析等。
2013年被眾多的IT人定義為中國的大數據元年,這一年國內的大數據項目開始在交通、電信、金融部門被廣泛推動。各大銀行對Hadoop的規劃、POC尤其風生水起,帶動了一波大數據應用的熱潮,這個熱潮和當初數據倉庫進入中國時的2000年左右很相似:應用還沒有想好,先歸集一下數據,提供一些查詢和報表,以技術建設為主,業務推動為輔。這就導致了這股Hadoop熱潮起來的時候,傳統企業都是以數據歸集為主的,而BAT這樣的企業則天生以數據為生,早早進入了數據驅動技術和業務創新的階段。
隨著Hadoop技術的提升,數據如何進來,如何整合,開展什麼樣的應用都已經有了成熟的案例,可是,同傳統數倉時代一樣,垃圾進垃圾出,如何破?相比傳統數倉時代,進入Hadoop集群的數據更加的多樣、更加的復雜、量更足,這個數倉時代都沒有處理好的事情,如何能夠在大數據時代處理好,這是所有大數據應用者最最期盼的改變,也是大數據平台建設者最有挑戰的難題:數據治理難的不是技術,而是流程,是協同,是管理。 睿治數據治理平台平台架構
元數據:採集匯總企業系統數據屬性的信息,幫助各行各業用戶獲得更好的數據洞察力,通過元數據之間的關系和影響挖掘隱藏在資源中的價值。
數據標准:對分散在各系統中的數據提供一套統一的數據命名、數據定義、數據類型、賦值規則等的定義基準,並通過標准評估確保數據在復雜數據環境中維持企業數據模型的一致性、規范性,從源頭確保數據的正確性及質量,並可以提升開發和數據管理的一貫性和效率性。
數據質量:有效識別各類數據質量問題,建立數據監管,形成數據質量管理體系,監控並揭示數據質量問題,提供問題明細查詢和質量改進建議,全面提升數據的完整性、准確性、及時性,一致性以及合法性,降低數據管理成本,減少因數據不可靠導致的決策偏差和損失。
數據集成:可對數據進行清洗、轉換、整合、模型管理等處理工作。既可以用於問題數據的修正,也可以用於為數據應用提供可靠的數據模型。
主數據:幫助企業創建並維護內部共享數據的單一視圖,從而提高數據質量,統一商業實體定義,簡化改進商業流程並提高業務的響應速度。
數據資產:匯集企業所有能夠產生價值的數據資源,為用戶提供資產視圖,快速了解企業資產,發現不良資產,為管理員提供決策依據,提升數據資產的價值。
數據交換:用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享,提高信息資源的利用率,保證了分布在異構系統之間的信息的互聯互通,完成數據的收集、集中、處理、分發、載入、傳輸,構造統一的數據及文件的傳輸交換。
生命周期:管理數據生老病死,建立數據自動歸檔和銷毀,全面監控展現數據的生命過程。
數據安全:提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略,確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施。
建立完整的、科學的、安全的、高質量的數據管控技術體系,是首要的任務。作為數據管控的基石,為了更好支撐後續工作的開展,技術體系必須一步到位,是功能完備、高質量、高擴展性的,而不是僅實現部分功能,或者功能不完善的「半成品」。
疊加更多業務數據、細化數據業務屬性與管理屬性、優化與調整數據管控流程,尤其是適應未來的現代企業數據管控制度的建立完善,是逐步積累推廣、不斷磨合改進的長期過程。這些工作應及早啟動,並成為後續大數據平台建設工作的重點。
談大數據時代的數據治理 當前要做的是功能框架的完善,而完善的著力點則是「數據資產目錄」:用資產化的視角來管理一個企業的數據,只有把數據作為資產來認識和管理,大數據項目才能達成預期,也能夠治理好。大數據時代帶來的價值,個人認為主要有兩個,一個是技術架構,主要是架構理念的進步,另外一個更重要的則是對數據的重視。大數據時代是數據的時代,IT向DT轉型,不單單是BAT,所有的IT公司,未來都在數據這兩個字上。
對於一個企業來說,把數據作為資產,才是建設大數據的最終目的,而不是僅僅是因為Hadoop架構帶來性價比和未來的擴展性。當一個企業把數據作為資產,他就像管理自己名下存摺、信用卡一樣,定期梳理,無時無刻不關心資產的變化情況,關注資產的質量。
而資產目錄就是管理資產的形式和手段,他像菜單一樣對企業的資產進行梳理、分門別類,提供給使用者;使用者通過菜單,點選自己需要的數據,認可菜單對應的後端處理價值,後廚通過適當的加工,推出相應的數據服務;這是一個標準的流程,而這些流程之上,附著一整套數據管理目標和流程。
大數據平台以數據資產目錄為核心,將元數據、數據標准、主數據、數據質量、數據生命周期、數據輪廓等信息在邏輯層面關聯起來,在管理層面上整合成統一的整體,構建起數據管理體系,全面的支持數據服務等具體應用。
大數據平台實現了數據存儲、清洗和應用。在數據匯入和匯出的過程中,需要對數據的元數據進行統一記錄和管理,以利於後續的數據應用和數據血緣分析。數據質量一直是數據集成系統的基礎工作,對數據的各個環節設置數據質量檢查點,對數據質量進行剖析、評估,以保證後續應用的可信度。
在數據收集的過程中,隨著數據維度、指標的聚集,如何找到所需的業務指標及屬性,並且評估相關屬性的業務及技術細節,需要對收集的所有數據進行業務屬性,並進行分類,建立完善的數據資產目錄。
數據資產目錄是整個大數據平台的數據管理基礎,而數據資產目錄由於數據的多樣性,在使用的過程中,必然涉及數據許可權的申請、審批管控流程,而管控流程的建立依賴於相應崗位的設立和對應職責的建立。
大數據平台的數據管理架構規劃,通過數據物理集中和數據邏輯整合,徹底擺脫企業「數據豎井」的困境。大數據平台數據管理架構分為功能架構、流向規劃和數據架構三個層面。
數據管理功能架構:借鑒DAMA數據管理和DMM數據成熟度理論,著眼於數據管理技術和數據管理流程融合,組織數據管理功能。
數據流向規劃架構:規劃整個大數據平台的數據流向,並在數據流入、數據整合、數據服務的具體環節實現精細化管理。
數據管理的數據架構:以數據資產目錄為核心,數據項為最小管理單元,將技術元數據(實體、屬性和關系)、業務元數據和管理元數據(數據標准、主數據、數據質量、數據安全)融合為彼此緊密聯系、密不可分的整體,共同構成精細化管理的數據基礎。
數據管理在整個大數據平台不僅僅是一個主要功能模塊,它還是整個企業層面數據治理的重要組成部分,它是技術和管理流程的融合,也需要合理管控流程框架下組織機構之前的協調合作。如何利用統一的數據管理模塊對企業所有進入到數據湖的數據進行有效管控,不單單取決於數據管理模塊本身,也取決於元數據的合理採集、維護,組織結構及制度的強力支持保證。
談大數據時代的數據治理 大數據平台數據管理參照了DAMA對於數據管理的九個管理目標,並進行裁剪,並對部分管理目標進行了合並,並參照了CMMI制定DMM數據成熟度目標,採用循序漸進,逐步完善的策略對管理目標進行分階段完成,制定完整的管控流程和數據治理規范,以便持續的對數據進行管理,遞進實現DMM定義的成熟度目標。
億信睿治數據治理管理平台和DAMA的對應關系如下:
談大數據時代的數據治理 大數據平台數據管理的核心內容是數據資產目錄,圍繞數據資產目錄的數據流入、數據整合、數據服務都是數據管理的核心。數據管理主要管理數據的流動,以及管理流動帶來的數據變化,並對數據底層的數據結構、數據定義、業務邏輯進行採集和管理,以利於當前和未來的數據使用。為了更好的對數據進行管理和使用,制度層面的建設、流程的設立必不可少,同時也兼顧到數據在流動過程中產生的安全風險和數據隱私風險。
因此數據管理介入到完整的數據流轉,並在每個節點都有相應的管理目標對應,整個數據流框架如下圖所示:
談大數據時代的數據治理 企業在建制大數據平台的同時,對進入數據湖的數據進行梳理,並按照數據資產目錄的形式對外發布。在發布數據資產之後,則對進出數據湖的數據進行嚴格的出入庫管理,保證數據可信度,並定期進行數據質量剖析檢查,確保數據資產完善、安全、可信,避免「不治理便破產」的讖言。
㈢ 大數據時代,數據安全如何把控
我們生活在信息的世界裡,也是生活在數據的世界裡。我們在生活中每一個動作都恨不得通過互聯網來獲得超便捷的體驗,與此同時也在這個過程中留下了數據的痕跡,最關鍵的是,現如今的技術完全可以記錄下每一個步驟,每一條信息,甚至通過推測你的需求來提供相應的消息,也就是常說的大數據技術。
大數據和隱私安全太近了,既要發展又要保護,那麼於法於情於理,大數據產業與消費者隱私如何達到平衡呢?作為消費者,如何在快速發展的行業中來明確主權,保護自己呢?
作為消費者應該如何來面對呢?首先是不隨便泄露個人信息,在受到騷擾時主動維權。同時,沒有必要因為大數據而拒絕新事物,該享受的服務和福利不用忌憚,這個時代技術的腳步是擋不住的。
作為企業應該如何來面對呢?應當是同理心+敬畏心+商業良心。然而這一點企業往往很難做到。曾有多家外媒同時報道稱,自2014年6月起劍橋學者Kogan就以心理學研究為名獲取、收集Facebook用戶數據。隨後,多達5000萬用戶的數據被Kogan轉交到政治咨詢機構劍橋分析手中,而後者又被指出曾受雇於美國總統特朗普的競選團隊和推動英國脫歐的「脫歐派」乃至多國政黨的競選團隊。
近些年來,關於數據泄露的報道屢見不鮮,可是不論用戶如何抵制、抗議,依然無法阻擋用戶數據源源不斷流向黑幕之後,用來達成各種各樣的目的。Facebook的數據泄漏事件讓監管者和業內人士認為,強化監管或許是必要的。德國司法部長卡塔琳娜·巴利(Katarina Barley)曾表示,Facebook處理私人數據的行為「不可容忍」,目前公司的承諾遠遠不夠,「未來我們不得不更嚴格地管理像Facebook這樣的公司。」