隨著大數(shù)據(jù)時代的到來,越來越多企業(yè)認(rèn)識到數(shù)據(jù)治理的價值。數(shù)據(jù)治理涉及到企業(yè)內(nèi)各種數(shù)據(jù)的收集、存儲、處理和分析,包含數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)安全、數(shù)據(jù)標(biāo)準(zhǔn)等各個環(huán)節(jié)。越來越多企業(yè)通過實施有效的數(shù)據(jù)治理策略,確保自身在激烈的市場競爭中取得優(yōu)勢。



本質(zhì)上來講數(shù)據(jù)治理的對象是企業(yè)重要的數(shù)據(jù)資源,是關(guān)乎企業(yè)重大商業(yè)利益的數(shù)據(jù)資源,這樣的數(shù)據(jù)資源可以稱其為“數(shù)據(jù)資產(chǎn)”。對于數(shù)據(jù)資源的有效治理能夠幫助企業(yè)獲得以下方面的價值:

降低運營成本

通過數(shù)據(jù)治理可以減少數(shù)據(jù)的冗余存儲,減少存儲的成本。通過提高數(shù)據(jù)質(zhì)量減少出錯的概率,從而降低企業(yè)各部門、各口徑的數(shù)據(jù)統(tǒng)計成本和數(shù)據(jù)差錯修正的成本。

提高工作效率

從查詢效率、查詢時間、時間成本等角度都可以作為治理收益。比如月度、季度合同及收款報表統(tǒng)計之前要用一個小時,現(xiàn)在用十五分鐘。比如召開季度生產(chǎn)經(jīng)營例會,之前需要各部門準(zhǔn)備會議資料至少2天,現(xiàn)在半天足矣。

賦能企業(yè)決策

能夠深入業(yè)務(wù)、串聯(lián)多部門,構(gòu)建多種數(shù)據(jù)分析模型、畫像、標(biāo)簽等方式直接帶來收益,直觀的監(jiān)測企業(yè)運營情況,并可以對異常關(guān)鍵指標(biāo)預(yù)警、挖掘分析。

提升數(shù)據(jù)質(zhì)量

通過數(shù)據(jù)故障率、數(shù)據(jù)及時率、數(shù)據(jù)完整率等指標(biāo)進(jìn)行監(jiān)控,把控數(shù)據(jù)質(zhì)量,出現(xiàn)問題及時修正。

提高數(shù)據(jù)安全性

通過數(shù)據(jù)治理過程,明確核心數(shù)據(jù)的管理責(zé)任主體、數(shù)據(jù)使用主體、數(shù)據(jù)管理標(biāo)準(zhǔn)和制度等內(nèi)容,確保企業(yè)數(shù)據(jù)資產(chǎn)的安全。


數(shù)據(jù)治理的主要方式


結(jié)合行業(yè)、企業(yè)特性及現(xiàn)狀來看,目前企業(yè)面對的數(shù)據(jù)主要來自于已有的軟件系統(tǒng),例如OA、HR、經(jīng)營、工程管理、財務(wù)管理、CADCAEBIM及各類專業(yè)軟件,主要都是企業(yè)內(nèi)部日常產(chǎn)生的數(shù)據(jù),并且多以結(jié)構(gòu)化數(shù)據(jù)為主,這部分?jǐn)?shù)據(jù)可以稱之為:企業(yè)內(nèi)部數(shù)據(jù)。


而在大數(shù)據(jù)時代,得益于大數(shù)據(jù)技術(shù)的突破,大量的結(jié)構(gòu)化、非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存、處理、計算和分析,提升了我們從海量數(shù)據(jù)中獲取知識和洞見的能力,例如外部招采信息、設(shè)備材料最新報價、市場動態(tài)和熱點等。這部分?jǐn)?shù)據(jù)來自企業(yè)外部,并且數(shù)據(jù)量會很大,因此稱之為:企業(yè)外部大數(shù)據(jù)。

企業(yè)內(nèi)部數(shù)據(jù)治理的方式

企業(yè)內(nèi)部數(shù)據(jù)治理的核心是“唯一數(shù)據(jù)源、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)”,而要達(dá)到這一目標(biāo)需要從數(shù)據(jù)的源頭抓起,并且需要大量的人為干預(yù) + 一定程度的自動化處理,比如:數(shù)據(jù)標(biāo)準(zhǔn)的制定和落實、源頭業(yè)務(wù)系統(tǒng)錄入的規(guī)范化處理、已有數(shù)據(jù)質(zhì)量的清洗、數(shù)據(jù)使用的申請審批、數(shù)據(jù)的分發(fā)和共享等。企業(yè)內(nèi)部數(shù)據(jù)治理追求的是:標(biāo)準(zhǔn)化、精確化、高效化。

企業(yè)外部大數(shù)據(jù)治理的方式

對于大數(shù)據(jù),傳統(tǒng)的一味追求精確的思維受到了挑戰(zhàn)。而對于大數(shù)據(jù)的治理,允許一定程度上的容錯,反而可以在宏觀層面擁有更好的知識和洞察力。對于大數(shù)據(jù)的治理更多的是采用AI技術(shù),例如:知識圖譜、語音識別等,對大數(shù)據(jù)的采集、處理、使用過程加以控制,使其能夠合規(guī)使用。


數(shù)據(jù)治理的主要過程

詳細(xì)需求及現(xiàn)狀調(diào)研,摸清數(shù)據(jù)家底

與其他軟件項目一樣,詳細(xì)需求調(diào)研是開展數(shù)據(jù)治理工作第一階段的重要工作。本階段主要是理解企業(yè)的戰(zhàn)略,并按照從上而下的策略進(jìn)行開展企業(yè)數(shù)據(jù)管理的現(xiàn)狀調(diào)研,摸清楚企業(yè)數(shù)據(jù)資產(chǎn)的分布、數(shù)據(jù)的質(zhì)量、數(shù)據(jù)的管理現(xiàn)狀、數(shù)據(jù)應(yīng)用需求等情況。該階段的工作目標(biāo)是確定數(shù)據(jù)治理項目的目標(biāo)和范圍,評估數(shù)據(jù)治理成熟度,確定改進(jìn)內(nèi)容和方向并與客戶達(dá)成共識。

梳理數(shù)據(jù)資產(chǎn),建立數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)

按照業(yè)務(wù)主題進(jìn)行數(shù)據(jù)資產(chǎn)的梳理,并制定數(shù)據(jù)資產(chǎn)的標(biāo)準(zhǔn)。首先,定義數(shù)據(jù)資產(chǎn)的數(shù)據(jù)含義、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則、數(shù)據(jù)來源、存儲路徑、管理部門、管理人等,即數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)模型,定義好數(shù)據(jù)模型是數(shù)據(jù)治理成功落地的重要前提。


其次,重點對企業(yè)的核心數(shù)據(jù)資產(chǎn)——主數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,包括:主數(shù)據(jù)標(biāo)準(zhǔn)化定義、參照字典的標(biāo)準(zhǔn)化、數(shù)據(jù)清洗、數(shù)據(jù)服務(wù)共享等。

優(yōu)化數(shù)據(jù)管理和使用流程,形成制度

對于企業(yè)而言,數(shù)據(jù)來源于很多方面,內(nèi)部數(shù)據(jù)如財務(wù)、人力、OA、項目、市場等;外部數(shù)據(jù)如政治、經(jīng)濟、社會、科技、行業(yè)、市場、競爭對手等。雖然數(shù)據(jù)來源廣、數(shù)據(jù)量大是優(yōu)點,但如果不加以整理和關(guān)聯(lián),雜亂無章的數(shù)據(jù)不僅不利于分析應(yīng)用,還將帶來不必要的人財物的消耗。

所以,非常有必要對數(shù)據(jù)產(chǎn)生、采集、處理、加工、使用等過程進(jìn)行規(guī)范。通過統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),制定合理的數(shù)據(jù)管理流程和制度,規(guī)范數(shù)據(jù)生產(chǎn)和使用的過程。

搭建數(shù)據(jù)管理平臺,接入數(shù)據(jù)

數(shù)據(jù)管理平臺的搭建要根據(jù)不同的客戶需求搭建不同模塊,數(shù)據(jù)管理平臺主要涵蓋功能模塊有:數(shù)據(jù)源管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、ETL工具等。


數(shù)據(jù)接入是將各種來源、各種類型的數(shù)據(jù),通過數(shù)據(jù)集成工具將這些零散的數(shù)據(jù)整合在一起,納入統(tǒng)一的大數(shù)據(jù)平平臺或數(shù)據(jù)倉庫中,這一過程需要符合數(shù)據(jù)管理平臺定義各種數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量規(guī)則、安全指標(biāo)。


所以,我們說數(shù)據(jù)治理不是為了治理數(shù)據(jù)而建設(shè)的,而是配合數(shù)據(jù)管理平臺、數(shù)據(jù)倉庫、數(shù)據(jù)分析等項目,通過提升數(shù)據(jù)質(zhì)量、控制數(shù)據(jù)安全,讓數(shù)據(jù)發(fā)揮出最大的效益。

建立數(shù)據(jù)質(zhì)量評估指標(biāo),提升數(shù)據(jù)質(zhì)量

提升數(shù)據(jù)質(zhì)量是企業(yè)數(shù)據(jù)治理的重要目標(biāo),也是企業(yè)進(jìn)行數(shù)據(jù)分析挖掘、業(yè)務(wù)管理和決策的重要基礎(chǔ),只有建立完整的數(shù)據(jù)質(zhì)量體系,才能有效提升企業(yè)數(shù)據(jù)整體質(zhì)量,從而更好的為業(yè)務(wù)服務(wù)。從技術(shù)層面講,定義完整全面的數(shù)據(jù)質(zhì)量的評估維度,包括完整性、時效性等,并按照已定義的維度,在系統(tǒng)建設(shè)的各個階段都應(yīng)該根據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測和規(guī)范,及時進(jìn)行治理,避免事后的清洗工作。

“一把手”推動,提供組織及人員保障

數(shù)據(jù)治理涉及范圍廣,參與人員多,需要一定的組織和制度的保障才可能獲得成功。首先,依據(jù)行業(yè)經(jīng)驗來看,“一把手”工程是數(shù)據(jù)治理組織建設(shè)的最佳實踐。其次,數(shù)據(jù)治理組織的建立并不是組建一個非臨時團隊,而是要能夠支撐企業(yè)數(shù)據(jù)化業(yè)務(wù)的一個完整體系,包括:組織體系、管理體系、執(zhí)行體系、技術(shù)體系等。再次,數(shù)據(jù)治理組織的人員選拔和人才培養(yǎng),建立數(shù)據(jù)治理組織從企業(yè)內(nèi)部進(jìn)行選拔相應(yīng)的技術(shù)專家、業(yè)務(wù)專家更為合適,或者從外部尋找具有同行業(yè)實施經(jīng)驗比較豐富的外部供應(yīng)商協(xié)同進(jìn)行。