OLAP聯(lián)機(jī)分析:數(shù)據(jù)產(chǎn)品經(jīng)理必備技能

OLAP聯(lián)機(jī)分析常用來(lái)搭建業(yè)務(wù)數(shù)據(jù)分析平臺(tái),通過(guò)本文你會(huì)發(fā)現(xiàn)OLAP聯(lián)機(jī)分析并沒(méi)有想象的那么復(fù)雜。
說(shuō)到數(shù)據(jù)分析,OLAP大概是最常見(jiàn)的選擇。因此,作為一名數(shù)據(jù)產(chǎn)品經(jīng)理,要想搭建一個(gè)業(yè)務(wù)的數(shù)據(jù)分析平臺(tái),OLAP是你不得不掌握的必備技能。
OLAP(OnLine Analysis Processing ,聯(lián)機(jī)分析處理 ) 是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用,支持復(fù)雜的分析操作,側(cè)重決策支持,并且提供直觀易懂的查詢結(jié)果。在實(shí)際的商業(yè)分析中,OLAP聯(lián)機(jī)分析更多的是指對(duì)數(shù)據(jù)分析的一種解決方案。
OLAP聯(lián)機(jī)分析首先是把數(shù)據(jù)預(yù)處理成數(shù)據(jù)立方(Cube),并把有可能的匯總都預(yù)先算出來(lái)(即預(yù)聚合處理),然后在用戶選擇多維度匯總時(shí),在預(yù)先的計(jì)算出來(lái)的數(shù)據(jù)基礎(chǔ)上很快地計(jì)算出用戶想要的結(jié)果,從而可以更好更快地支持極大數(shù)據(jù)量的及時(shí)分析。
OLAP聯(lián)機(jī)分析最基本的工作就是對(duì)數(shù)據(jù)方(Cube)的操作,因此,首先讓我們了解數(shù)據(jù)方(Cube)的維度層次劃分和基本操作,并在此基礎(chǔ)上,掌握應(yīng)該從哪些方面考慮數(shù)據(jù)并構(gòu)建出業(yè)務(wù)模型。為了方便大家的閱讀理解,下面所有的舉例分析都是基于圖一數(shù)據(jù)方(Cube)的基礎(chǔ)上進(jìn)行的。
圖一 ?數(shù)據(jù)方(Cube)
OLAP聯(lián)機(jī)分析是從多維信息、多層次信息的角度,針對(duì)特定問(wèn)題進(jìn)行數(shù)據(jù)的匯總分析。因此,站在數(shù)據(jù)面的角度考慮,數(shù)據(jù)源需要滿足如下層次劃分:
- 維度(Dimension):是用戶觀察數(shù)據(jù)的特定角度,是問(wèn)題的一類屬性,屬性集合構(gòu)成一個(gè)維度(時(shí)間維、地理維等)。舉個(gè)例子:圖一數(shù)據(jù)方(Cube)中的季度維度和城市維度。
- 維度的層次(Level):用戶觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維度)還可能存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維包括日期、月份、季度、年)。舉個(gè)例子:圖一數(shù)據(jù)方(Cube)中的季度維度還可以進(jìn)一步劃分為月份的維度,月度還可以在日期的細(xì)節(jié)粒度進(jìn)行描述。
- 維度的成員(Member):即維度的一個(gè)取值,是數(shù)據(jù)項(xiàng)在某個(gè)維度中位置的描述,如“某年某月某日”是在時(shí)間維度上的位置描述。舉個(gè)例子:2016年一季度是一個(gè)維度的成員。
- 度量(Measure):多維數(shù)組的取值。舉個(gè)例子:機(jī)票在2016年一季度上海市的出票量。
OLAP聯(lián)機(jī)分析是在基于數(shù)據(jù)方(Cube)的基礎(chǔ)上進(jìn)行操作的。因此,站在分析的角度上,數(shù)據(jù)源需提供支持鉆取(Drill-up和Drill-down)、切片(Slice)和切塊(Dice)以及旋轉(zhuǎn)(Pivot)等操作。
- 鉆?。?/strong>改變維的層次,變換分析的粒度。它包括向下鉆取(Drill-down)、向上鉆取(Drill-up)。
向上鉆取是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù),或者減少維數(shù)。舉個(gè)例子:將北京、上海、廣州等三個(gè)省市的機(jī)票出票量進(jìn)行匯總來(lái)查看北上廣一線城市的出票情況。
而向下鉆取則相反,從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新的維度。舉個(gè)例子:將2016第一季度的出票量進(jìn)行下鉆,查看具體1月、2月、3月三個(gè)月的每月的出票量。
- 切片和切塊:在一部分維上選定值后,關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個(gè),則是切片,如果有三個(gè)或以上,則是切塊。
切片是選定特定的值進(jìn)行分析,在立方體(Cube)上的感覺(jué)就是選定一個(gè)維度后進(jìn)行的平面切分,就像是一刀切。舉個(gè)例子:只選擇機(jī)票這個(gè)票種的銷售數(shù)據(jù),或者2016第一季度的數(shù)據(jù)。
切塊是選擇維度中特定區(qū)間的數(shù)據(jù),或者某批特定值進(jìn)行分析,在立方體(Cube)上的感覺(jué)就是揮幾刀切出一塊。舉個(gè)例子:2016第一季度到2016第二季度的銷售數(shù)據(jù)。
- 旋轉(zhuǎn):變換維的方向,即在表格中重新安排維的放置(如行列互換)。舉個(gè)例子:圖一數(shù)據(jù)方(Cube)中季度維度和城市維度的旋轉(zhuǎn)互換。
在實(shí)現(xiàn)數(shù)據(jù)方(Cube)的過(guò)程中,由于業(yè)務(wù)靈活多變,導(dǎo)致了構(gòu)建的業(yè)務(wù)模型隨之經(jīng)常發(fā)生變化,而業(yè)務(wù)維度和量度一旦發(fā)生變化,研發(fā)人員需要把整個(gè)Cube(多維立方體)重新定義并生成,數(shù)據(jù)產(chǎn)品經(jīng)理只能在此Cube上進(jìn)行多維分析,這樣就限制數(shù)據(jù)產(chǎn)品經(jīng)理快速改變問(wèn)題分析的角度,從而使數(shù)據(jù)分析平臺(tái)成為死板的日常報(bào)表系統(tǒng)。
為了避免這一情況,數(shù)據(jù)產(chǎn)品經(jīng)理在前期過(guò)程中,就需要理解數(shù)據(jù)并且構(gòu)建出符合業(yè)務(wù)的多維數(shù)據(jù)模型,包括:
源數(shù)據(jù)如何拆分到不同字段中?
例如如何把季度拆分到日期的格式,日期date拆分成yyyy-MM-dd這樣的字段格式進(jìn)行存儲(chǔ)。
哪些字段用于維度?
例如季度、城市、票種等都可以作為維度字段。
哪些字段用于統(tǒng)計(jì)指標(biāo)?
例如出票量、銷售額這些都可以作為指標(biāo)進(jìn)行分析統(tǒng)計(jì)使用。
使用什么樣的規(guī)則來(lái)對(duì)數(shù)據(jù)進(jìn)行聚合?
例如是進(jìn)行簡(jiǎn)單的匯總,還是要進(jìn)行一般的加減乘除,又或者更復(fù)雜的規(guī)則進(jìn)行聚合。
用戶經(jīng)常使用的組合查詢是?
例如經(jīng)常把季度和城市進(jìn)行組合查詢匯總,這些都需要提前考慮清楚。
排序規(guī)則?
例如經(jīng)常會(huì)按照出票量和時(shí)間等進(jìn)行排序。
掌握以上幾點(diǎn)以后,你會(huì)發(fā)現(xiàn)一旦多維數(shù)據(jù)模型建成后,OLAP聯(lián)機(jī)分析并沒(méi)有想象的那么復(fù)雜。大數(shù)據(jù)分析架構(gòu)在這個(gè)巨大Cube的支持下,直接把維度和度量的生成交給數(shù)據(jù)產(chǎn)品經(jīng)理 ,由數(shù)據(jù)產(chǎn)品經(jīng)理自己定義好維度和度量之后,Hadoop會(huì)將業(yè)務(wù)的維度和度量直接翻譯成MapReduce運(yùn)行,并最終生成業(yè)務(wù)報(bào)表。
本文由 @徐鵬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
專欄作家
一個(gè)數(shù)據(jù)人的自留地,公眾號(hào):一個(gè)數(shù)據(jù)人的自留地。人人都是產(chǎn)品經(jīng)理專欄作家,《數(shù)據(jù)產(chǎn)品經(jīng)理修煉手冊(cè)》作者。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
說(shuō)得好好!收藏!
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實(shí)戰(zhàn)訓(xùn)練營(yíng)》終于在起點(diǎn)學(xué)院(人人都是產(chǎn)品經(jīng)理旗下教育機(jī)構(gòu))上線啦!
本課程非常適合新手?jǐn)?shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運(yùn)營(yíng)等人群。
課程會(huì)從基礎(chǔ)概念,到核心技能,再通過(guò)典型數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn),幫助大家構(gòu)建完整的知識(shí)體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學(xué)完后你會(huì)掌握怎么建指標(biāo)體系、指標(biāo)字典,如何設(shè)計(jì)數(shù)據(jù)埋點(diǎn)、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺(tái)等實(shí)際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!
簡(jiǎn)潔易懂,干貨