“指標(biāo)”是指對于數(shù)據(jù)的統(tǒng)計(jì)值，建立指標(biāo)體系是為了在報(bào)表、Dashboard等工具中快速靈活體現(xiàn)公司數(shù)據(jù)。

一、指標(biāo)系統(tǒng)介紹

從直觀上來理解，報(bào)表系統(tǒng)中的每張報(bào)表是通過一些SQL語句計(jì)算出來的，系統(tǒng)只要每天按照每張報(bào)表的SQL定時(shí)去跑數(shù)據(jù)就可以了。

但是隨著時(shí)間的推移，報(bào)表數(shù)量越來越多，每天的定時(shí)SQL任務(wù)跑不動(dòng)了。但是會發(fā)現(xiàn)其實(shí)很多報(bào)表用到了類似的指標(biāo)，可能維度不同或者可能完全相同。

這時(shí)候就需要升華一下方案，將報(bào)表的計(jì)算，細(xì)化到指標(biāo)的計(jì)算上。

上述問題的解決需要通過一套完善的指標(biāo)管理服務(wù)來實(shí)現(xiàn)，指標(biāo)服務(wù)相當(dāng)于存儲了某個(gè)指標(biāo)各種維度下的SQL查詢結(jié)果。如下圖所示，對于指標(biāo)1，指標(biāo)服務(wù)需要存儲其在維度1和維度2等維度下的所有拆分值，即存儲的是“維度1-維度2-指標(biāo)1的值”這樣的索引結(jié)構(gòu)。

有些數(shù)據(jù)團(tuán)隊(duì)會把這些指標(biāo)值存儲為數(shù)據(jù)倉庫中的一個(gè)層級，相當(dāng)于是對DW層明細(xì)數(shù)據(jù)的統(tǒng)計(jì)值計(jì)算，但是在實(shí)際應(yīng)用中，對指標(biāo)值的調(diào)用需要滿足很強(qiáng)的即時(shí)性，存在數(shù)據(jù)倉庫中可能達(dá)不到這樣的性能要求，于是改為存儲在HBase這種Key-Value存儲方式的數(shù)據(jù)庫中。

按照這樣的存儲方式好處是什么呢？

當(dāng)你想要看指標(biāo)1在“維度1=A&維度2=a”等各種組合條件下的值的時(shí)候，可以方便取出來，如果指標(biāo)1是可以簡單加和的，那么你還可以查看各種維度組合加和的數(shù)據(jù)。比如：不選擇維度1和維度2的條件，直接看指標(biāo)1的總計(jì)值，也是可以通過加和做到的。

這樣的處理方式還為用戶自助創(chuàng)建報(bào)表提供了可能，用戶可以選擇想看的指標(biāo)在任意維度下的數(shù)據(jù)，還可以任意拼接指標(biāo)形成自己的專屬報(bào)表。

而且，這樣做，一個(gè)指標(biāo)不管被多少個(gè)報(bào)表用到，只用計(jì)算一遍數(shù)據(jù)即可。具體報(bào)表呈現(xiàn)的時(shí)候，實(shí)際只是將各種統(tǒng)計(jì)值進(jìn)行組合，不需要運(yùn)行SQL實(shí)時(shí)拉取計(jì)算數(shù)據(jù)，效率也就提高了很多。

二、指標(biāo)系統(tǒng)的SQL實(shí)現(xiàn)

指標(biāo)系統(tǒng)實(shí)際就是寫一個(gè)稍微復(fù)雜的包含多個(gè)group by的SQL，其實(shí)看到上面的圖，大家也可以聯(lián)想到，其實(shí)就是自己在運(yùn)行SQL的時(shí)候得到的一個(gè)包含多個(gè)索引的group by結(jié)果。

思路即使將指標(biāo)拆分到最小粒度，再在報(bào)表中根據(jù)需要組合各個(gè)維度下的值。

三、指標(biāo)系統(tǒng)的優(yōu)缺點(diǎn)

上面解決方案聽起來很完美，實(shí)際操作中還是有不少問題存在的。

• 對于計(jì)算時(shí)需要去重的指標(biāo)（比如：一個(gè)用戶多個(gè)訂單這種事實(shí)表，要計(jì)算用戶的數(shù)量），你得到的只是在當(dāng)前維度組合下的指標(biāo)。并不能簡單實(shí)現(xiàn)只取部分指標(biāo)的場景，或不選擇維度的場景，大家可以自己思考下為什么。
• 因?yàn)橹笜?biāo)系統(tǒng)拆為了盡可能增大指標(biāo)的可重復(fù)使用性，拆分了盡可能多的維度，有時(shí)候甚至維度的組合行數(shù)已經(jīng)達(dá)到了10萬+的級別。這就造成在報(bào)表系統(tǒng)中組合不同維度的數(shù)據(jù)有時(shí)候，實(shí)時(shí)處理壓力很大。當(dāng)然也是有辦法進(jìn)行優(yōu)化的，這里就不深入介紹了。
• 因?yàn)橹笜?biāo)是一層數(shù)據(jù)抽象，當(dāng)指標(biāo)數(shù)據(jù)出現(xiàn)問題的時(shí)候，排查問題就相當(dāng)于多了一層。類似的，修復(fù)數(shù)據(jù)也要多修復(fù)一層。
• 另外，如果要給現(xiàn)有指標(biāo)體系增加維度，舊數(shù)據(jù)的處理也是一件比較麻煩的事情，因?yàn)樾枰嘏苤暗臍v史數(shù)據(jù)。

四、業(yè)務(wù)的指標(biāo)體系建立

指標(biāo)的原理講完了，那么在實(shí)際操作中，我們需要做哪些指標(biāo)出來呢？

其實(shí)指標(biāo)需求主要來自業(yè)務(wù)方運(yùn)營人員等，但是不同運(yùn)營部門可能關(guān)心的側(cè)重點(diǎn)不同，而且會有遺漏情況。

首先我們要把不同部門的需求收集完，然后根據(jù)需求指標(biāo)類型進(jìn)行分類。在分類中要cover到大家的需求，還要盡可能窮舉其他可能的指標(biāo)。這部分也是依賴自己對于業(yè)務(wù)系統(tǒng)的了解及數(shù)據(jù)庫的了解，其實(shí)跟數(shù)據(jù)倉庫的搭建是一體的事情。

相關(guān)閱讀

白話數(shù)據(jù)產(chǎn)品（一）：數(shù)據(jù)倉庫

白話數(shù)據(jù)產(chǎn)品（二）：SQL 5分鐘入門

作者：小九，一枚互金數(shù)據(jù)產(chǎn)品

本文由 @小九 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議