數(shù)據(jù)治理(一):動手前的建設思考
數(shù)據(jù)治理環(huán)節(jié)的存在可以幫助企業(yè)解決數(shù)據(jù)不準、或者數(shù)據(jù)全生命周期的相關問題,那么企業(yè)該如何進入數(shù)據(jù)治理環(huán)節(jié)、并搭建相應策略?可能在開始之前,企業(yè)需要先做好內部調研和思考。本篇文章里,作者便針對數(shù)據(jù)治理建設發(fā)表了他的見解,一起來看一下。
前言
數(shù)據(jù)治理這一概念最近越來越受到企業(yè)的關注,筆者也在兩家公司完成數(shù)據(jù)治理從0-1的建設,從數(shù)據(jù)集成、數(shù)據(jù)質量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)安全、數(shù)據(jù)交換各個環(huán)節(jié)。數(shù)據(jù)治理是個大話題,包含的環(huán)節(jié)也非常多,所以拆開了多期內容與大家共同討論。
一、定義
數(shù)據(jù)治理基本上有兩種定義。第一類【數(shù)據(jù)】治理,主要解決指標標準、數(shù)據(jù)不準的問題,解法相對于聚焦一些,應用工具指標管理平臺、數(shù)據(jù)質量平臺,甚至直接由研發(fā)“人肉智能”就能夠見效。第二類數(shù)據(jù)【治理】,主要解決數(shù)據(jù)全生命周期的問題,從數(shù)據(jù)采集、數(shù)據(jù)質量、數(shù)據(jù)應用、數(shù)據(jù)安全、數(shù)據(jù)分享各個環(huán)節(jié)。
二、思考
數(shù)據(jù)治理是一個系統(tǒng)化且長周期的工程,雖然治理的路數(shù)和思路基本上大同小異,基本上三大抓手“組織架構、治理工具、運營監(jiān)控”,但是因為下面幾個問題,所以在各企業(yè)落地的方式和形態(tài)都不太一致。
1. 角色
數(shù)據(jù)治理絕大部分都是由內向外,在企業(yè)內部形成閉環(huán),那我們所在部門在公司的角色是重中之重,這影響到可以獲得的支持、調動的資源、協(xié)調的部門、取得的收益。
第一類國企,那看數(shù)據(jù)治理這份工作是什么視角,是軟件部門所在的治理還是以監(jiān)察審計出發(fā),可以參考成熟的數(shù)據(jù)治理成熟度模型-DCMM去建設治理體系,不會犯錯,看當前有多少預算,多少資源選擇性去做(下圖有些刪減,僅供參考)。
第二類私企,一般業(yè)務部門的數(shù)據(jù)團隊進行【數(shù)據(jù)】治理,保障數(shù)據(jù)的準確性的一致性即可。而在數(shù)據(jù)中臺則考慮的更全面、更體系,筆者現(xiàn)在是數(shù)據(jù)中臺,所以后續(xù)內容站在中臺視角講的多些,下面先簡單講講數(shù)據(jù)中臺。
數(shù)據(jù)中臺是圍繞數(shù)據(jù)從生產(chǎn)、存儲、質量、使用、傳輸、共享、冷存儲到毀滅的全生命周期,是滿足數(shù)倉研發(fā)工程師、數(shù)據(jù)科學專家、產(chǎn)品經(jīng)理、分析師、決策管理者等不同角色對數(shù)據(jù)的應用需求,具備海量多源異構數(shù)據(jù)整合、實時數(shù)據(jù)計算與發(fā)布、統(tǒng)一通道數(shù)據(jù)調用與分析能力,支持高可復用、高可靠、高效的且開放型數(shù)據(jù)治理能力的數(shù)據(jù)應用平臺。
2. 階段
從數(shù)據(jù)的價值角度來看,總結有兩個階段「業(yè)務數(shù)據(jù)化和數(shù)據(jù)業(yè)務化」,企業(yè)處于不同的階段,我們所實施的治理的步驟順序也有一定重心調整。
業(yè)務數(shù)據(jù)化實際上就是業(yè)務發(fā)生的過程形成數(shù)據(jù),比如教培行業(yè)的課中學習數(shù)據(jù)、老師授課數(shù)據(jù)、廣告投放數(shù)據(jù)等等。那這一部分治理的重心就在于數(shù)據(jù)埋點、數(shù)據(jù)入庫、數(shù)據(jù)存儲、數(shù)據(jù)標準、數(shù)據(jù)質量、數(shù)據(jù)指標,保證數(shù)據(jù)及時、完整、一致,為數(shù)據(jù)分析做好有效有效支持。
數(shù)據(jù)業(yè)務化實際上就是數(shù)據(jù)加工后,從中找出規(guī)劃后反哺業(yè)務。比如音樂平臺,根據(jù)用戶之前的聽歌記錄,通過算法判斷用戶的喜好,推送歌單給用戶,提升用戶的粘性和留存。亦如電商平臺根據(jù)客戶的歷史購買記錄,給客戶推薦商品。這個階段重點治理數(shù)據(jù)倉庫、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)分析、數(shù)據(jù)安全、數(shù)據(jù)應用等,釋放數(shù)據(jù)價值。
三、價值
如何評估數(shù)據(jù)治理的價值呢?這往往也是令我們最頭疼的,本質上來講數(shù)據(jù)治理的價值就是降本增效、控質提安、賦能決策,治理的收益有很多,但是要知道的是上面想拿哪些收益,這也是影響治理的重要性和執(zhí)行力度的關鍵。
1. 降本
成本一般由四部分構成,分別是采集、計算、存儲、應用。
降本是這里面收益最直觀、見效最快、最好衡量,畢竟和Money掛鉤,這四部分收益最快的存儲>計算>應用>采集。
存儲可以直接采用下服務、刪除冗余數(shù)據(jù)等手段,衡量的指標可以直接用“存儲節(jié)約TB/元”。
計算可以在有限的資源里去合理的分配,或者使用監(jiān)控手段,比如一條計算大約多少錢,當然這一部分有明確的業(yè)務預算和高層的支持。
應用和采集是相對不好拿收益,采集是大數(shù)據(jù)的源頭,理論來講其實是越多越好,而應用是最終服務的呈現(xiàn),治理的話牽一發(fā)動全身,還需慎重。
2. 增效
增效的角度可以從查詢效率、查詢時間、時間成本都可以作為治理收益。比如我查詢數(shù)據(jù)之前要用一個小時,現(xiàn)在用十五分鐘。
3. 控質
從數(shù)據(jù)質量角度出發(fā),數(shù)據(jù)故障率、數(shù)據(jù)及時率、數(shù)據(jù)完整率等指標進行監(jiān)控。
4. 提安
安主要是講數(shù)據(jù)的安全,數(shù)據(jù)安全可以從風險項、數(shù)據(jù)安全覆蓋率、數(shù)據(jù)脫敏等角度出發(fā)。
“安全無小事,責任終于山”,安全這個方向要么不出事要么就是出大事,所以數(shù)據(jù)一定要監(jiān)控留痕,以防事后追責。最近行業(yè)內安全事故層出不窮,各個企業(yè)也都越來越重視。
5. 賦能決策
這個方向比較長效,串聯(lián)部門也多,更需要深入業(yè)務,比如數(shù)據(jù)模型、畫像標簽直接帶來的收益,還有一種思路比如說不同數(shù)據(jù)源它的業(yè)務產(chǎn)生的價值區(qū)別。
四、策略
對內有的時候治理規(guī)則太多,不能落地,導致大而全,沒辦法集中資源,拿不到有效的收益。對外有的時候治理規(guī)則太多,不能落地,畢竟需要很多團隊參與,效率協(xié)同也很重要。
1. 體系
所有數(shù)據(jù)治理體系已經(jīng)很成熟了,阿里云的dataworks、華為云的DataArts Studio等,但是如果采用自建數(shù)據(jù)體系,一定不能因為治理而治理,要從實際出發(fā),找到企業(yè)自身痛點,確定優(yōu)先級。
2. 組織
首先,在做數(shù)據(jù)治理前重中之重一定要有高層的支持,自上而下的去推動,否則只是停留在口號階段。其次,數(shù)據(jù)治理誰負責?誰執(zhí)行?從筆者公司的數(shù)據(jù)中臺角度來說,建立數(shù)據(jù)體系,平臺工具,最終由業(yè)務數(shù)據(jù)團隊協(xié)同配合和使用。
數(shù)據(jù)委員會的建立,一般是有企業(yè)的高級管理者組成,負責數(shù)據(jù)戰(zhàn)略創(chuàng)建和批準,負責項目、政策、授權的制定和協(xié)同。
數(shù)據(jù)治理小組一般是負責人角色,負責整理體系的方案構建、平臺落地、評估規(guī)劃。
業(yè)務治理團隊一般是執(zhí)行者角色,使用平臺工具按照標準規(guī)范生產(chǎn)加工數(shù)據(jù),根據(jù)評估體系來治理數(shù)據(jù)所存在的問題。
協(xié)同團隊一般財務、hr團隊,給予數(shù)據(jù)治理資源的協(xié)調和支持。
3. 運營
數(shù)據(jù)治理不是一個 “階段性項目”,而是一個“可持續(xù)的運營項目”。針對企業(yè)存儲、規(guī)范、質量、資源、安全、價值等六個方面形成數(shù)據(jù)治理評估體系,可以采用健康分的形式,以現(xiàn)存的問題為驅動的理念,覆蓋事前、事中、事后的全鏈路主動式數(shù)據(jù)治理和治理評估。
五、總結
數(shù)據(jù)治理是一個大工程,所以在動手之前要做好充足的思考和調研,所以也就有了此篇文章,后續(xù)數(shù)據(jù)治理章節(jié)會以平臺工具為話題去安排,按照體系中的架構圖,包含指標管理平臺、數(shù)據(jù)質量監(jiān)控平臺、數(shù)據(jù)地圖、數(shù)據(jù)安全中心等。
本文由 @芥末先生 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發(fā)揮!