什么是數(shù)據(jù)治理？怎么做數(shù)據(jù)治理？作者結(jié)合業(yè)界先進(jìn)經(jīng)驗(yàn)及個(gè)人實(shí)踐經(jīng)歷，進(jìn)行了介紹分析。

隨著企業(yè)數(shù)據(jù)爆炸式增長(zhǎng)，企業(yè)在用數(shù)時(shí)，會(huì)存在數(shù)據(jù)孤島問(wèn)題、數(shù)據(jù)建設(shè)不規(guī)范、指標(biāo)口徑不統(tǒng)一、數(shù)據(jù)查詢計(jì)算不穩(wěn)定、數(shù)據(jù)安全等問(wèn)題。因而各個(gè)公司也開(kāi)始了數(shù)據(jù)治理，推動(dòng)數(shù)據(jù)規(guī)范建設(shè)及使用。

接下來(lái)草帽小子將開(kāi)啟數(shù)據(jù)治理的系列篇，結(jié)合借鑒業(yè)界先進(jìn)的數(shù)據(jù)治理經(jīng)驗(yàn)及個(gè)人工作實(shí)踐經(jīng)歷，幫助大家系統(tǒng)化地了解數(shù)據(jù)治理。

一、數(shù)據(jù)治理是干什么的

按照國(guó)際數(shù)據(jù)管理協(xié)會(huì)（DAMA）的定義，數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)的管理活動(dòng)形式權(quán)利和控制的活動(dòng)集合（規(guī)劃、監(jiān)控和執(zhí)行）。

按IBM的定義，數(shù)據(jù)治理是企業(yè)通過(guò)不同的策略和標(biāo)準(zhǔn)，提高組織數(shù)據(jù)的可用性、質(zhì)量和安全性的一整套制度與管理活動(dòng)，數(shù)據(jù)治理的目標(biāo)是維護(hù)安全且易于訪問(wèn)的高質(zhì)量數(shù)據(jù)，以獲取更深入的業(yè)務(wù)洞察。

名詞解釋：

1. 元數(shù)據(jù)：描述數(shù)據(jù)的數(shù)據(jù)，例如記錄數(shù)據(jù)的存儲(chǔ)位置、模型定義、血緣關(guān)系等信息，類似畫像
2. 主數(shù)據(jù)：描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，例如客戶、產(chǎn)品、賬戶等，主數(shù)據(jù)具有較高的業(yè)務(wù)價(jià)值，可在企業(yè)內(nèi)跨各個(gè)業(yè)務(wù)部門被重復(fù)使用

數(shù)據(jù)治理要點(diǎn)是數(shù)據(jù)穩(wěn)定、規(guī)范、安全，就像蓋樓盤一樣，需要設(shè)計(jì)好樓盤架構(gòu)，打好地基，制定建設(shè)規(guī)范，并推動(dòng)各團(tuán)隊(duì)人員進(jìn)行搭建。

二、為什么要做數(shù)據(jù)治理

1. 從發(fā)展階段，看數(shù)據(jù)治理的發(fā)展原因

①第一階段：2005-2009年

2005年左右，早期的數(shù)據(jù)倉(cāng)庫(kù)在中國(guó)興起，一開(kāi)始主要由商業(yè)銀行、通信運(yùn)營(yíng)商主導(dǎo)，隨后能源等行業(yè)企業(yè)加入。商業(yè)銀行通過(guò)與埃森哲、IBM等國(guó)外IT咨詢公司合作，最早將數(shù)據(jù)治理的概念在中國(guó)予以實(shí)踐。

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)涉及從不同來(lái)源的平臺(tái)中抽取數(shù)據(jù)并進(jìn)行整合，在這一過(guò)程中，需要確保數(shù)據(jù)質(zhì)量，包括數(shù)據(jù)口徑、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型統(tǒng)一等。通過(guò)數(shù)據(jù)治理，建立起數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型等管理體系，能夠提升數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)倉(cāng)庫(kù)建設(shè)順利推進(jìn)，進(jìn)而能夠更好地支撐起B(yǎng)I等數(shù)據(jù)分析型應(yīng)用。

草帽小子：數(shù)據(jù)治理的發(fā)展階段與大數(shù)據(jù)的發(fā)展息息相關(guān)，只要涉及大數(shù)據(jù)建設(shè)，就勢(shì)必有數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等問(wèn)題。

②第二階段：2010-2014年

這一階段的數(shù)據(jù)治理需求主要集中于銀行業(yè)，主要由監(jiān)管政策驅(qū)動(dòng)。為了推動(dòng)中國(guó)銀行參加到國(guó)際清算體系中，2011年中國(guó)推出《銀行監(jiān)管統(tǒng)計(jì)數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)》，該標(biāo)準(zhǔn)從組織機(jī)構(gòu)及人員、制度建設(shè)、系統(tǒng)保障和數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量的監(jiān)控、檢查與評(píng)價(jià)、應(yīng)用和存儲(chǔ)等方面對(duì)銀行數(shù)據(jù)治理提出要求。

草帽小子：銀行等金融機(jī)構(gòu)，對(duì)底層數(shù)據(jù)質(zhì)量的要求更高，并面臨著一定的監(jiān)管壓力，勢(shì)必需要數(shù)據(jù)治理

③第三階段：2015-2018年

2015年左右，企業(yè)興起了大數(shù)據(jù)平臺(tái)的建設(shè)，并且到2018年，數(shù)據(jù)中臺(tái)概念流行，數(shù)據(jù)中臺(tái)中包含統(tǒng)一資產(chǎn)管理、統(tǒng)一數(shù)據(jù)元管理等與數(shù)據(jù)治理相關(guān)的內(nèi)容。在這個(gè)階段，越來(lái)越多的企業(yè)開(kāi)始搭建數(shù)據(jù)治理的專職團(tuán)隊(duì)。

2018年，中國(guó)銀保監(jiān)會(huì)發(fā)布《銀行業(yè)金融機(jī)構(gòu)數(shù)據(jù)治理指引》，包含數(shù)據(jù)治理架構(gòu)、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)價(jià)值實(shí)現(xiàn)。

④第四階段：2019年-至今

2019年以來(lái)，企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入快車道，在這一階段，數(shù)據(jù)治理已內(nèi)化成為企業(yè)機(jī)制建設(shè)的一部分。

如2020年9月，國(guó)資委發(fā)布的《關(guān)于加快推進(jìn)國(guó)有企業(yè)數(shù)字化轉(zhuǎn)型工作的通知》，針對(duì)央企數(shù)字化轉(zhuǎn)型工作，明確提出構(gòu)建數(shù)據(jù)治理體系的要求。包含明確數(shù)據(jù)治理歸口管理部門，加強(qiáng)數(shù)據(jù)標(biāo)準(zhǔn)化、元數(shù)據(jù)和主數(shù)據(jù)管理工作，定期評(píng)估數(shù)據(jù)治理能力成熟度。加強(qiáng)生產(chǎn)現(xiàn)場(chǎng)、服務(wù)過(guò)程等動(dòng)態(tài)數(shù)據(jù)采集，建立覆蓋全業(yè)務(wù)鏈條的數(shù)據(jù)采集、傳輸和匯聚體系。

做交互设计10年，我为何转岗到产品经理？

真正转岗之后，我发现很多工作还是超出了自己的想象。产品经理的工作确实比较杂。理论上，产品经理的工作包括了产品的方方面面，从市场研究、用户调研、数据分析...

查看详情 >

草帽小子：國(guó)家層面推動(dòng)國(guó)有企業(yè)數(shù)據(jù)化，國(guó)有企業(yè)會(huì)逐步建設(shè)數(shù)據(jù)平臺(tái)并進(jìn)行數(shù)據(jù)治理，企業(yè)對(duì)數(shù)據(jù)人才的需求仍會(huì)不斷增多。

在包括金融、通信、能源、制造等數(shù)據(jù)治理開(kāi)展相對(duì)成熟的行業(yè)，較多企業(yè)都已設(shè)置數(shù)據(jù)治理的專職部門和崗位，而且越是數(shù)據(jù)治理成熟的企業(yè)，專職部門越是靠近業(yè)務(wù)側(cè)，且專職部門級(jí)別越高。

2021年工信部發(fā)布的《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》，以釋放數(shù)據(jù)要素價(jià)值為導(dǎo)向，加強(qiáng)數(shù)據(jù)高質(zhì)量治理。

2. 從現(xiàn)狀問(wèn)題看數(shù)據(jù)治理對(duì)企業(yè)的價(jià)值

我們來(lái)看阿里云dataworks團(tuán)隊(duì)，在數(shù)據(jù)建設(shè)推進(jìn)與應(yīng)用中遇到的階段性問(wèn)題。

①起步階段：數(shù)據(jù)量與穩(wěn)定性的矛盾

隨著數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)穩(wěn)定性不足，任務(wù)調(diào)度隨著規(guī)模增大經(jīng)常掛掉，集群計(jì)算資源不足，問(wèn)題處理時(shí)間長(zhǎng)。

②應(yīng)用階段：數(shù)據(jù)普惠與使用效率的矛盾

在數(shù)據(jù)應(yīng)用時(shí)，使用數(shù)據(jù)的人增多，數(shù)倉(cāng)人員疲于取數(shù)，數(shù)據(jù)團(tuán)隊(duì)壓力增大，數(shù)倉(cāng)建設(shè)會(huì)逐步變得混亂，反而會(huì)阻礙后續(xù)使用數(shù)據(jù)效率。

③規(guī)模階段：靈活便捷與風(fēng)險(xiǎn)管控

數(shù)據(jù)出口多，人為泄露行為管控難，安全保障有待提高，各類數(shù)據(jù)安全的管理動(dòng)作，往往會(huì)與效率背道而馳，數(shù)據(jù)分類分級(jí)難度高。

④成熟階段：業(yè)務(wù)變化與成本治理的矛盾

數(shù)據(jù)成本壓力大，不知道數(shù)據(jù)成本在哪，數(shù)據(jù)不敢刪、任務(wù)不敢下。

草帽小子：國(guó)有企業(yè)在政策的指引下，逐漸推動(dòng)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)治理；私營(yíng)企業(yè)在業(yè)務(wù)數(shù)據(jù)不斷增長(zhǎng)的驅(qū)動(dòng)下，逐漸推動(dòng)數(shù)據(jù)治理。

3. 不同類型企業(yè)如何做數(shù)據(jù)治理

傳統(tǒng)企業(yè)的數(shù)據(jù)治理跟數(shù)字化轉(zhuǎn)型息息相關(guān)，數(shù)據(jù)治理動(dòng)作往往融入了數(shù)據(jù)化建設(shè)的每個(gè)環(huán)節(jié)中。

（1）互聯(lián)網(wǎng)

以阿里為例，阿里建設(shè)社dataworks大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)，建設(shè)的能力包括指標(biāo)數(shù)倉(cāng)規(guī)范設(shè)計(jì)、數(shù)據(jù)分析、元數(shù)據(jù)管理、數(shù)據(jù)安全管理等能力。

（2）能源

包含煤炭、電力、光伏、電站等，如國(guó)家電網(wǎng)、中石化等。

能源行業(yè)如電力的數(shù)據(jù)治理，不能單純以數(shù)據(jù)質(zhì)量、血緣分析、元數(shù)據(jù)管理等傳統(tǒng)IT技術(shù)為主，需要在數(shù)據(jù)治理中緊密結(jié)合業(yè)務(wù)，與各個(gè)業(yè)務(wù)環(huán)節(jié)緊密配合。

例如：設(shè)備檢修：電網(wǎng)公司通過(guò)對(duì)設(shè)備運(yùn)行的海量數(shù)據(jù)挖掘，開(kāi)展預(yù)測(cè)性檢修的研究，以較高的準(zhǔn)確率預(yù)測(cè)出設(shè)備運(yùn)行的未來(lái)狀態(tài)，預(yù)判設(shè)備發(fā)生故障的可能性，從而達(dá)到基于設(shè)備狀態(tài)來(lái)指導(dǎo)檢修的目的。

常見(jiàn)的挑戰(zhàn)，包含：

• 數(shù)據(jù)類型多：電力行業(yè)廣泛部署的物聯(lián)網(wǎng)設(shè)備，產(chǎn)生了格式不同、頻率不同、定義不同的多源異構(gòu)數(shù)據(jù)
• 海量數(shù)據(jù)，時(shí)效性強(qiáng)：電力的產(chǎn)生、傳輸與消費(fèi)情況瞬息萬(wàn)變，片刻間便能產(chǎn)生海量的數(shù)據(jù)資源，如何及時(shí)獲取、可靠存儲(chǔ)、快速計(jì)算？
• 數(shù)據(jù)鏈路長(zhǎng)：能源價(jià)值鏈整合的參與者眾多，價(jià)值活動(dòng)之間存在緊密聯(lián)系，各方數(shù)據(jù)交互標(biāo)準(zhǔn)、質(zhì)量、規(guī)范如何有效把握？

關(guān)鍵治理方式，包含：

• 自動(dòng)采集各類數(shù)據(jù)資產(chǎn)信息：根據(jù)不同的數(shù)據(jù)源，開(kāi)發(fā)不同的采集適配器，實(shí)現(xiàn)不同種類的數(shù)據(jù)自動(dòng)化采集
• 全面管理企業(yè)數(shù)據(jù)資產(chǎn)：在實(shí)現(xiàn)企業(yè)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、模型元數(shù)據(jù)的全面采集后，企業(yè)做好整體數(shù)據(jù)資產(chǎn)的梳理、數(shù)據(jù)質(zhì)量的管理
• 數(shù)據(jù)資產(chǎn)服務(wù)化：提供自助查詢服務(wù)、自動(dòng)獲取數(shù)據(jù)服務(wù)

（3）金融

金融數(shù)據(jù)治理是金融行業(yè)數(shù)字化轉(zhuǎn)型的重要切入點(diǎn)，也是推動(dòng)金融業(yè)從高速增長(zhǎng)向高質(zhì)量發(fā)展轉(zhuǎn)變的關(guān)鍵點(diǎn)。銀保監(jiān)會(huì)發(fā)布的《銀行金融機(jī)構(gòu)數(shù)據(jù)治理指引》，從數(shù)據(jù)治理團(tuán)隊(duì)、數(shù)據(jù)管理的標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)價(jià)值實(shí)現(xiàn)等方面展開(kāi)。

金融數(shù)據(jù)治理的常見(jiàn)的挑戰(zhàn)，包含：

• 數(shù)據(jù)價(jià)值發(fā)現(xiàn)和數(shù)據(jù)信息保護(hù)的矛盾：《數(shù)據(jù)安全法》、《個(gè)人信息保護(hù)法》陸續(xù)實(shí)施，要求金融從業(yè)機(jī)構(gòu)將個(gè)人客戶信息安全、隱私保護(hù)，貫穿在數(shù)據(jù)采集與應(yīng)用的全過(guò)程。
• 金融如銀行機(jī)構(gòu)，存在各地分行多，經(jīng)營(yíng)數(shù)據(jù)割裂，數(shù)據(jù)流通困難等問(wèn)題

關(guān)鍵治理方式：

• 治理服務(wù)化：管理理念轉(zhuǎn)為服務(wù)理念，通過(guò)提供便利的工具或服務(wù)，全面為業(yè)務(wù)提供服務(wù)。
• 治理流程化：結(jié)合開(kāi)發(fā)流程，將數(shù)據(jù)模型、數(shù)據(jù)字典管理流程化，從數(shù)據(jù)源頭落實(shí)數(shù)據(jù)標(biāo)準(zhǔn)。
• 治理場(chǎng)景化：與監(jiān)管報(bào)送相結(jié)合，全流程監(jiān)控報(bào)送質(zhì)量。
• 標(biāo)準(zhǔn)開(kāi)放化：構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)運(yùn)營(yíng)體系，探索更多開(kāi)放共享場(chǎng)景，應(yīng)用數(shù)據(jù)治理成果。
• 資產(chǎn)智能化：構(gòu)建智能數(shù)據(jù)資產(chǎn)管理，結(jié)合先進(jìn)技術(shù)，全面釋放數(shù)據(jù)價(jià)值。

4. 數(shù)據(jù)人才的機(jī)會(huì)

在國(guó)家推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的趨勢(shì)下，不僅僅是互聯(lián)網(wǎng)企業(yè)需要進(jìn)行數(shù)據(jù)人才，較多傳統(tǒng)企業(yè)包括能源、通信、金融、制造等也需數(shù)據(jù)人才。

企業(yè)信息化、數(shù)據(jù)化的程度不同，所面臨的問(wèn)題也不同，所需數(shù)據(jù)人才的能力側(cè)重點(diǎn)也會(huì)有所差異。但在整體數(shù)字化推進(jìn)時(shí)，也會(huì)需要一定的通用能力，如數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)計(jì)算、數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用等。

因而，個(gè)人在工作實(shí)踐上，可不斷增長(zhǎng)對(duì)大數(shù)據(jù)平臺(tái)，各個(gè)模塊的實(shí)踐與了解，盡可能掌握整個(gè)大數(shù)據(jù)體系；同時(shí)可放眼外界，多對(duì)比了解不同行業(yè)的數(shù)字化建設(shè)差異。