搭建數(shù)據(jù)資產(chǎn)管理平臺(tái)之實(shí)施流程
對(duì)于已經(jīng)建設(shè)好數(shù)據(jù)倉庫且有充足資源的企業(yè),或許可以考慮搭建數(shù)據(jù)資產(chǎn)管理平臺(tái),以更好地服務(wù)企業(yè)內(nèi)部用戶。那么,怎么搭建好數(shù)據(jù)資產(chǎn)管理平臺(tái)呢?這篇文章里,作者總結(jié)了相應(yīng)的關(guān)鍵階段與實(shí)施流程,一起來看一下。
一、數(shù)據(jù)資產(chǎn)管理平臺(tái)如何搭建?
該篇文章簡述數(shù)據(jù)資產(chǎn)管理平臺(tái)搭建的內(nèi)容、流程和注意事項(xiàng)。
自研or采購
實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理平臺(tái)可以分為兩種方式,自研或采購,這兩者之間的區(qū)別也是非常明顯。
先說采購,采購一般是商業(yè)化的數(shù)據(jù)治理套件,其中的數(shù)據(jù)資產(chǎn)管理相關(guān)的數(shù)據(jù)目錄、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量等內(nèi)容很難單獨(dú)購買。
一般都是,為了買一個(gè)工具,要買一整套的數(shù)據(jù)治理服務(wù)。這意味著要付出多余的成本。
但是對(duì)于剛剛步入大數(shù)據(jù)業(yè)務(wù)范疇的公司,尤其是傳統(tǒng)企業(yè),對(duì)數(shù)據(jù)倉庫,數(shù)據(jù)資產(chǎn),數(shù)據(jù)治理認(rèn)知不足的情況下,更適合通過直接采購成熟的數(shù)據(jù)開發(fā)、治理套件去使用。
可以提高數(shù)據(jù)團(tuán)隊(duì)的認(rèn)知,規(guī)范數(shù)據(jù)團(tuán)隊(duì)的開發(fā)流程。
其次是自研數(shù)據(jù)資產(chǎn)管理平臺(tái),適合已經(jīng)建設(shè)完成數(shù)據(jù)倉庫且有足夠資源的企業(yè),自研能夠更好的服務(wù)企業(yè)內(nèi)部用戶,提供定制化的產(chǎn)品能力。
項(xiàng)目實(shí)施流程:需求識(shí)別–可行性分析–需求規(guī)格確定–項(xiàng)目規(guī)劃–系統(tǒng)開發(fā)–項(xiàng)目實(shí)施–項(xiàng)目驗(yàn)收幾個(gè)關(guān)鍵階段。
二、需求識(shí)別
想要啟動(dòng)數(shù)據(jù)資產(chǎn)管理平臺(tái)項(xiàng)目,首先要明確企業(yè)的當(dāng)前階段是否需要該產(chǎn)品,是否必須通過上線該產(chǎn)品來解決某些問題,達(dá)到企業(yè)目標(biāo)。
數(shù)據(jù)資產(chǎn)管理就是對(duì)元數(shù)據(jù)進(jìn)行管理,是數(shù)據(jù)治理的基礎(chǔ)。不只是數(shù)據(jù)的增刪改查,而是和維度建模、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量息息相關(guān)的。
比如在數(shù)倉不同層級(jí)表元模型各不相同,不同實(shí)體的元模型各不相同。
比如在元數(shù)據(jù)管理過程中,部分元數(shù)據(jù)枚舉值的來源已制定的數(shù)據(jù)標(biāo)準(zhǔn)。
比如上下游表之間數(shù)據(jù)的安全等級(jí)關(guān)系。
比如對(duì)于各個(gè)實(shí)體而言, 數(shù)據(jù)質(zhì)量檢測結(jié)果也是元數(shù)據(jù)的一種。
所以在實(shí)施數(shù)據(jù)資產(chǎn)管理前,甚至是需求收集前,不妨先了解當(dāng)前的數(shù)據(jù)建設(shè)情況,組織流程是否完善,數(shù)據(jù)規(guī)范/數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)是否完善,線下文件是否有合理管理方法,并了解當(dāng)前管理的方法還存在哪些問題。
其次考慮當(dāng)前階段是否需要考慮數(shù)據(jù)安全,數(shù)據(jù)質(zhì)量等內(nèi)容。
最終確定當(dāng)前階段開發(fā)數(shù)據(jù)資產(chǎn)管理平臺(tái)的必要性,平臺(tái)的能力范圍。
可以詢問以下幾個(gè)問題:
- 在開發(fā)平臺(tái)之前,是如何管理元數(shù)據(jù)的?
- 當(dāng)前數(shù)據(jù)管理的組織,流程,規(guī)范,標(biāo)準(zhǔn)建設(shè)階段是怎么樣的?
- 出現(xiàn)的數(shù)據(jù)管理問題是流程問題,規(guī)范問題,模型問題,還是資源問題?
- 當(dāng)前有多少條業(yè)務(wù)線在生產(chǎn)數(shù)據(jù),生產(chǎn)的量級(jí)大概是多少?(業(yè)務(wù)線多代表管理難度大)
三、可行性分析
現(xiàn)狀分析:主要包括數(shù)據(jù)建設(shè)現(xiàn)狀分析、數(shù)據(jù)應(yīng)用情況、數(shù)據(jù)集成情況。
建設(shè)邊界:哪些系統(tǒng)需要數(shù)據(jù)資產(chǎn)管理平臺(tái)的支持,比如除了數(shù)據(jù)倉庫的元數(shù)據(jù)采集,還可以鏈接BI工具/數(shù)據(jù)服務(wù)的元數(shù)據(jù)及血緣關(guān)系。
建設(shè)質(zhì)量:主要是看企業(yè)當(dāng)前數(shù)據(jù)倉庫,數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)安全的建設(shè)情況;當(dāng)前的元數(shù)據(jù)管理方式,存儲(chǔ)方式,通過什么方式可以保證線上管理的準(zhǔn)確性和及時(shí)性。這關(guān)系著系統(tǒng)上線后的易用性,以及元數(shù)據(jù)的質(zhì)量。
建設(shè)成本:采購成本/自研成本。
項(xiàng)目目標(biāo):描述本項(xiàng)業(yè)務(wù)達(dá)成目標(biāo),如發(fā)揮的作用、解決的問題、對(duì)基層的支撐、體現(xiàn)的價(jià)值,原則上需要有可量化、可評(píng)估目標(biāo)。
四、需求規(guī)格確定
1. 元數(shù)據(jù)采集
確定元數(shù)據(jù)的采集范圍,元數(shù)據(jù)模型,包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)等;確定采集方式、采集頻率、存儲(chǔ)方式。
注意采集邊界,哪些元數(shù)據(jù)可直接采到,哪些元數(shù)據(jù)需要手動(dòng)維護(hù),哪些自動(dòng)采集配合手動(dòng)維護(hù)。
手動(dòng)維護(hù)元數(shù)據(jù)是一項(xiàng)長期,工作量較大的工作,所以不能自動(dòng)采集的元數(shù)據(jù),通過什么方式可以自動(dòng)采集也是未來需要考慮的地方。
2. 數(shù)據(jù)目錄
為了快速的查看數(shù)據(jù)資產(chǎn)情況,需要對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行盤點(diǎn),可以從主題域、數(shù)倉分層、數(shù)據(jù)來源,或自定義目錄等角度盤點(diǎn)數(shù)據(jù)資產(chǎn)的數(shù)量。
支持?jǐn)?shù)據(jù)資產(chǎn)查詢,數(shù)據(jù)資產(chǎn)詳情,元數(shù)據(jù)管理等功能。
3. 數(shù)據(jù)血緣
數(shù)據(jù)血緣也是元數(shù)據(jù)的一種展現(xiàn)形式,主要運(yùn)用于影響分析、問題歸因、數(shù)據(jù)價(jià)值評(píng)估、數(shù)據(jù)安全分析等。
4. 數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量監(jiān)控DQC模塊,是處于被動(dòng)式數(shù)據(jù)治理階段,即對(duì)運(yùn)行結(jié)果的監(jiān)測,按照數(shù)據(jù)資產(chǎn)等級(jí)劃分-檢測任務(wù)配置-運(yùn)行結(jié)果預(yù)警/通知的流程,保障數(shù)據(jù)完整性、一致性、準(zhǔn)確性等。
五、項(xiàng)目規(guī)劃
建設(shè)規(guī)劃:數(shù)據(jù)資產(chǎn)管理平臺(tái),并非一次性可以建設(shè)完成。
大致可分為基礎(chǔ)元數(shù)據(jù)展示階段、提高元數(shù)據(jù)管理能力階段,促進(jìn)數(shù)據(jù)應(yīng)用與共享三個(gè)階段進(jìn)行系統(tǒng)開發(fā)實(shí)施。
項(xiàng)目開始前制定每個(gè)階段的產(chǎn)品目標(biāo),每個(gè)階段要做成什么樣,基于這樣的方向,列出非常詳細(xì)的計(jì)劃,包括資源的規(guī)劃,每個(gè)里程碑的時(shí)間節(jié)點(diǎn),輸出物,成果的評(píng)價(jià)方式等。
本文由 @清小墨 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒評(píng)論,等你發(fā)揮!