“任務(wù)規(guī)范性治理，保障平臺(tái)高效運(yùn)行?！?在數(shù)據(jù)管理領(lǐng)域，任務(wù)治理至關(guān)重要。規(guī)范性治理究竟涵蓋哪些內(nèi)容？又如何有效實(shí)施？

在本篇開(kāi)始的時(shí)候，提到任務(wù)治理可以從兩個(gè)方面來(lái)做，一個(gè)是通過(guò)端到端的任務(wù)血緣鏈路來(lái)了解平臺(tái)任務(wù)，從而進(jìn)行治理。另一個(gè)就是建立一些規(guī)范性的任務(wù)，來(lái)進(jìn)行主動(dòng)治理。這里就介紹一下主動(dòng)的任務(wù)治理。

這里的規(guī)范性治理治理的內(nèi)容都是些什么那？這個(gè)產(chǎn)品功能僅僅提供一些思路，設(shè)計(jì)的過(guò)程中，也并無(wú)覺(jué)得特別的通順。好多地方也感覺(jué)并不是特別好的形式，但是有沒(méi)有思路想出更好的形式。

在主動(dòng)治理時(shí)，治理的對(duì)象是：任務(wù)、表、數(shù)據(jù)服務(wù)API?？梢源蟾欧殖伤念?lèi)：存儲(chǔ)治理、計(jì)算治理、規(guī)范性治理、數(shù)據(jù)服務(wù)API治理。

一、存儲(chǔ)治理

存儲(chǔ)治理的對(duì)象主要針對(duì)表，通過(guò)治理的規(guī)則，識(shí)別出來(lái)可以被下線的表，從而將表的進(jìn)行下線。來(lái)節(jié)省存儲(chǔ)空間。

在進(jìn)行治理的時(shí)候，主要是通過(guò)治理的規(guī)則，來(lái)對(duì)具體的空間，建立治理任務(wù)，從而識(shí)別出來(lái)需要治理的任務(wù)。

治理規(guī)則有哪些，舉例說(shuō)幾個(gè)：近180天讀取次數(shù)為0、近180天無(wú)更新表、表創(chuàng)建180天仍為空，等等。這里面的數(shù)值都是用戶(hù)可配置的，通過(guò)一個(gè)規(guī)則模版，來(lái)配置自己需要的規(guī)則。通過(guò)這些規(guī)則創(chuàng)建的任務(wù)，周期性運(yùn)行之后來(lái)識(shí)別出來(lái)可以被下線的表，從而實(shí)現(xiàn)表的主動(dòng)治理。

二、計(jì)算治理

計(jì)算治理的邏輯也是相同的，他的治理對(duì)象是任務(wù)，通過(guò)計(jì)算治理規(guī)則來(lái)創(chuàng)建治理任務(wù)，從而識(shí)別出來(lái)需要被下線的任務(wù)，將任務(wù)下線。從而實(shí)現(xiàn)任務(wù)的主動(dòng)治理。

計(jì)算治理的規(guī)則都有哪些，這里也舉些例子：無(wú)下游依賴(lài)、近90天無(wú)運(yùn)行、產(chǎn)出目標(biāo)表為空、近七日資源消耗TOP30、近七日運(yùn)行耗時(shí)TOP30。

通過(guò)諸如此類(lèi)的規(guī)則，來(lái)創(chuàng)建規(guī)則任務(wù)，從而實(shí)現(xiàn)任務(wù)的主動(dòng)治理。

三、規(guī)范治理

規(guī)范治理針對(duì)的對(duì)象仍舊是表，只不過(guò)相較于存儲(chǔ)治理監(jiān)控的表里面的內(nèi)容，這里更多的是對(duì)表的建表規(guī)范做監(jiān)控。

舉些例子來(lái)看一下：

單一事實(shí)表建模

建模的時(shí)候只使用了一張上游表，這個(gè)時(shí)候是不是需要考慮建模的合理性。如果多張包的使用同一個(gè)單一表上游，是不是這多張下游表數(shù)據(jù)是重復(fù)的。這個(gè)規(guī)則從模型層面，來(lái)進(jìn)行一個(gè)任務(wù)治理。

表描述或表中文名缺失、表層級(jí)信息缺失、表負(fù)責(zé)人缺失

這些均是一些表的屬性信息缺失，能夠明確將信息缺失的表給掃描出來(lái)，然后進(jìn)行治理。從而完全表的描述。

臨時(shí)表名稱(chēng)、命名不符合規(guī)范

這個(gè)事從表命名規(guī)范上來(lái)進(jìn)行規(guī)范治理，確定這些臨時(shí)表名稱(chēng)位置是否合理，正式的表是不是符合了表的命名規(guī)范。

跨層級(jí)取數(shù)、反向依賴(lài)、環(huán)狀鏈路

這些主要是從數(shù)據(jù)流向的角度進(jìn)行的規(guī)范化，當(dāng)然，這種數(shù)據(jù)的流向可能并不一定能夠這個(gè)明顯的發(fā)現(xiàn)，比如環(huán)狀鏈路，幾個(gè)節(jié)點(diǎn)形成環(huán)，才算環(huán)狀。這些在具體實(shí)現(xiàn)的時(shí)候都需要依據(jù)技術(shù)的實(shí)現(xiàn)程度來(lái)進(jìn)行具體分析了。

四、數(shù)據(jù)服務(wù)API治理

數(shù)據(jù)服務(wù)的規(guī)則，相對(duì)簡(jiǎn)單，目前只想到一個(gè)，就是通過(guò)常時(shí)間沒(méi)有調(diào)用的來(lái)找到可以下線的數(shù)據(jù)服務(wù)API。

近90天調(diào)用次數(shù)為0

90天了API仍舊沒(méi)有人調(diào)用，是不是需要統(tǒng)計(jì)出來(lái)進(jìn)行下線了。

五、發(fā)現(xiàn)待治理任務(wù)之后更加復(fù)雜

上面說(shuō)的通過(guò)這種類(lèi)型的規(guī)則，來(lái)發(fā)現(xiàn)待治理或者待規(guī)范化的表、任務(wù)，這個(gè)過(guò)程可能不復(fù)雜。復(fù)雜的是，發(fā)現(xiàn)了之后怎么辦？

如果某張表下線之后，下游影響了誰(shuí)，不會(huì)造成大范圍的問(wèn)題？誰(shuí)依賴(lài)了將下線的任務(wù)，真的下線是否會(huì)影響第二天任務(wù)運(yùn)行？

對(duì)于雖然識(shí)別出來(lái)了，但是明確表示仍然被使用，不需要下線的，是否需要有白名單功能，來(lái)讓下次掃描時(shí)，不進(jìn)行掃描？如果有了白名單如何避免，一加白名單了之的粗暴操作？

是不是需要一個(gè)暫時(shí)下線能力，如果第二天發(fā)現(xiàn)影響其他任務(wù)，再立即恢復(fù)？

搜描之后為了敦促開(kāi)發(fā)人員進(jìn)行治理操作，是不是需要有一個(gè)報(bào)表能力，定期進(jìn)行排名、打分，推進(jìn)治理的落地。

所以說(shuō)，發(fā)現(xiàn)了待治理任務(wù)之后更加復(fù)雜，這一部分如何能夠流暢的操作，是需要好好考慮設(shè)計(jì)下的。

而且，在這個(gè)過(guò)程中也需要端到端的任務(wù)血緣鏈路，來(lái)更好的進(jìn)行全局的了解。為下線操作提供依據(jù)。

六、在什么階段做

在規(guī)則中的90天、30天等等數(shù)量都是可配置的，可以根據(jù)具體的條件，設(shè)置為180天、365天等等。但是不管多少天，都是系統(tǒng)已經(jīng)運(yùn)行了一段時(shí)間，已經(jīng)有大量的表、大量的任務(wù)，需要進(jìn)行優(yōu)化，提升平臺(tái)資源利用率的時(shí)候了。所以這個(gè)模塊可以在平臺(tái)運(yùn)行一段時(shí)間之后再進(jìn)行啟動(dòng)。

七、和數(shù)據(jù)質(zhì)量間的關(guān)系

似乎提交表的治理，很容易讓人想到數(shù)據(jù)質(zhì)量，是不是在功能上和數(shù)據(jù)質(zhì)量重疊了那。

其實(shí)，細(xì)分一下來(lái)看這里的表的治理是對(duì)于表本身的，表的名稱(chēng)、備注，表是不是被使用，加工過(guò)程是不是符合數(shù)據(jù)正向流向。但是數(shù)據(jù)質(zhì)量治理是針對(duì)的表里面數(shù)據(jù)內(nèi)容本身。這樣細(xì)品起來(lái)，是不是就能發(fā)現(xiàn)這是兩個(gè)層面的了。當(dāng)然，如果真要柔和在一起，也是沒(méi)問(wèn)題的。這些產(chǎn)品本身不是目標(biāo)，能夠解決數(shù)據(jù)問(wèn)題，是一個(gè)目標(biāo)。而且產(chǎn)品也是分久必合，合久必分的。慢慢進(jìn)化。

八、總結(jié)

主動(dòng)的任務(wù)規(guī)范性治理，在一個(gè)平臺(tái)后期階段是必要的，防止不斷膨脹的平臺(tái)表、任務(wù)對(duì)于資源的浪費(fèi)是一方面，另一方面，一個(gè)干凈清爽的表、任務(wù)資產(chǎn)，也是開(kāi)發(fā)能夠基于此，進(jìn)行很好迭代升級(jí)的基礎(chǔ)。