數(shù)據(jù)產(chǎn)品經(jīng)理必備技能之BI建設(shè)

文章從BI平臺的版本迭代路線的四個階段展開,對BI系統(tǒng)的建設(shè)作了簡要的分析。希望對你有所幫助。
現(xiàn)在已經(jīng)進入了大數(shù)據(jù)時代,每個公司對數(shù)據(jù)的重視程度都提高到了前所未有的程度,只要是進入到一定規(guī)模的公司,不論是考慮到數(shù)據(jù)的安全性,還是數(shù)據(jù)的使用效率,都會搭建自己的BI平臺來管理查看數(shù)據(jù),因此,掌握搭建BI平臺的各種知識,也是數(shù)據(jù)產(chǎn)品經(jīng)理必備的一項技能。
下面,按照BI平臺的版本迭代路線,講一下BI建設(shè)的四個階段:實現(xiàn)可拓展的展示報表(1.0版本)、自助分析功能(2.0版本)、添加功能性分析工具(3.0版本)、實現(xiàn)業(yè)務(wù)場景模板(4.0版本) 。
1.實現(xiàn)可拓展的展示報表
BI平臺首先要完成的就是對指標的報表性展示,大家首先想到的解決方案無非是前端寫頁面,后端接口在數(shù)據(jù)庫查詢相應(yīng)字段,直接吐出數(shù)據(jù)??墒?,這種傳統(tǒng)的方式太依賴于前端,如果增加一個指標,前后端修改的成本都比較高。因此,為了以后BI平臺的可擴展性,可以通過前端配置json,并在API下一層添加了QueryAdapter來把Api的接口翻譯成相應(yīng)的Sql,然后通過Sql查詢數(shù)據(jù)庫的形式,來提高前端的擴展性和報表的靈活性,具體架構(gòu)如下圖所示:
圖1 可擴展的報表架構(gòu)
這里要講兩個概念,單圖(chart)與看板(dashboard),單圖主要是對指標進行某種樣式的展示,例如日活的折線圖、日活的表格、多平臺日活對比圖等,并可以對單圖進行多個維度的查詢操作,它提供了:
- 維度:可以選擇多個維度,向下進行鉆?。?/li>
- 時間:可以選擇昨天、過去7天、過去30天、過去90、過去180天、過去365天以及自定義天數(shù);
- 圖表樣式:目前支持折線圖、橫向柱圖、豎向柱圖、表格、地圖、餅圖等圖表。
看板(dashboard)能夠幫助將相互關(guān)聯(lián)的單圖集合在一起,兼顧全面性與單獨性,既能夠從多個圖表中發(fā)現(xiàn)關(guān)聯(lián),也可以對單個圖表進行深入分析,方便每天查看相應(yīng)的數(shù)據(jù)。 看板可以供不同的業(yè)務(wù)人員實現(xiàn)不同的使用場景:
- 產(chǎn)品經(jīng)理的看板可能是項目的核心指標;
- 市場人員的看板可能是監(jiān)控各個渠道來源指標;
- 銷售的看板可能是潛在客戶的活躍度…
對于支持自定義圖表的單圖(chart)而言,在前端配置的json格式中,需要明確以下幾個字段:
- dataSource:數(shù)據(jù)源,也就是單圖(chart)要查詢的數(shù)據(jù)庫、數(shù)據(jù)表,它包含了數(shù)據(jù)的地址、端口、數(shù)據(jù)庫格式、數(shù)據(jù)庫、數(shù)據(jù)表等,是數(shù)據(jù)展現(xiàn)的基礎(chǔ)。
- metrics:這是是要展示的指標,包括指標的計算類型、指標的id、指標名稱、指標別名等,
- dimensions:指標的維度,也就是相當于Sql中的group,也就是分析人員想按照什么樣的分組來查看數(shù)據(jù)。
- filter:這部分是用來設(shè)置過濾器,前端報表用來篩選查詢條件的,它要規(guī)定每個維度應(yīng)該以何種規(guī)則來過濾,是等于、不等于、大于、小于還是包含,還要規(guī)定維度的查詢字段和查詢值,簡單表示下就是下面這種格式,當然還有很多字段可以添加以便進一步擴展功能,具體filter的格式可以參考下圖。
圖2 filer格式
- orders:輸出結(jié)果應(yīng)該以哪一個指標進行排序。通常使用時間字段來進行排序設(shè)置。
除了以上幾個重要字段外,還可以設(shè)置time、limit等字段來擴展更多功能,這里就不一一詳述了。
看板(dashboard)的實現(xiàn)邏輯也與上面相似,不同的是還添加了看板中包含哪些單圖(即包含的每個chart的id),以及這些單圖在看板中的位置等信息。
有了上面的支持可拓展的json配置格式,就可以在BI平臺配置出符合自己需求的單圖(chart)與看板(dashboard)了。至此,已經(jīng)能滿足日常的報表展示需求,BI平臺也完成了V1版本的迭代。
2.自助分析功能
以上只是滿足固定數(shù)據(jù)的展示,可是,數(shù)據(jù)產(chǎn)品經(jīng)理經(jīng)常面對的情況是,業(yè)務(wù)人員的需求是多種多樣的,如果這些需求都讓負責(zé)BI平臺的產(chǎn)品經(jīng)理來配置的話,既增加工作量,又有很大的溝通成本,這時候,業(yè)務(wù)人員就需要一個能夠自己在平臺上快速方便搭建報表的方式。
自助分析功能這部分主要包含創(chuàng)建單圖(chart)和創(chuàng)建看板(dashboard)兩部分,這兩部分都是基于前期靈活可擴展的json圖表配置,并在此基礎(chǔ)上,能夠創(chuàng)建一些復(fù)雜的計算字段,例如,想計算平均停留時長這個指標,它是由總停留時長除以dau計算而成的,總停留時長和dau都是基礎(chǔ)指標,在數(shù)據(jù)表中是已經(jīng)存在的,那么就可以定一個計算字段,命名為平均停留時長,計算公式為sum(dwell/dau),如下圖3所示:
圖3 創(chuàng)建計算字段
自助分析功能的核心是創(chuàng)建單圖功能,使用人員可以選擇圖表樣式,現(xiàn)在常用的圖表類型有表格、折線圖、柱狀圖(橫向柱圖、豎向柱圖)、餅圖、漏斗圖、堆積圖等,然后選擇數(shù)據(jù)源里的數(shù)據(jù)表,把對應(yīng)的數(shù)據(jù)表中的字段拖拽到時間、維度、指標欄中,然后選擇查詢便可以在顯示區(qū)進行預(yù)覽,還可以設(shè)置過濾條件,進行一些維度的過濾,并可以設(shè)置是否在前后端顯示,具體功能見圖4。
圖4 創(chuàng)建單圖(chart)頁面
在基本功能的基礎(chǔ)上,還有一些細節(jié)功能需要去優(yōu)化,例如,有時候折線圖從0為Y軸為起點很難看出波動,這樣就可以設(shè)置指標顯示的范圍,讓它在一定范圍內(nèi)顯示,從而進一步縮小顯示區(qū)間,突出趨勢變化,另外,還可以支持一些實時數(shù)據(jù)的展示功能等。
完成創(chuàng)建單圖功能后,就可以基于已經(jīng)創(chuàng)建的單圖上,選擇已經(jīng)創(chuàng)建的單圖,動態(tài)拖拽到看板(dashboard)的合適位置,從而組成滿足自己分析需求相關(guān)的看板,形成日常性報表組合。
最后不得不提一下數(shù)據(jù)源管理功能,因為所有的單圖(chart)和看板(dashboard)都是基于數(shù)據(jù)源進行分析的,好的數(shù)據(jù)源管理可以提高數(shù)據(jù)源的利用率、降低重復(fù)創(chuàng)建數(shù)據(jù)源,進一步提高效率,并且還可以進一步拓展數(shù)據(jù)的存儲形式,除了支持Mysql存儲,還可以支持Druid、Phoenix等。另外,數(shù)據(jù)源管理要考慮業(yè)務(wù)的復(fù)雜性,能夠滿足復(fù)雜的多表join,支持自定義SQL查詢。最后,數(shù)據(jù)源管理也要注意對數(shù)據(jù)權(quán)限的控制,最好能夠做到對表中字段這種細粒度的權(quán)限管理,進一步提高數(shù)據(jù)的安全性。
3.功能性分析工具
一個完善的BI平臺,不僅僅是單純展示數(shù)據(jù)的,還要能夠能為數(shù)據(jù)分析師、業(yè)務(wù)人員提供一些常用的數(shù)據(jù)分析工具,例如用戶行為路徑、用戶分群與用戶詳情、系統(tǒng)監(jiān)控等工具,可以方便使用人員方便快捷的分析更精細的業(yè)務(wù)場景。
以用戶分群和用戶細查為例,日常中經(jīng)常需要把滿足某個或者某些條件的用戶區(qū)分出來,然后查看這批用戶的一些關(guān)鍵指標以及一些行為事件等,例如,想了解iOS平臺上,最近五天內(nèi)連續(xù)沉默的用戶,使用人員選擇這些條件組合后,就可以獲取一批userid的列表,讓后查看每個userid的用戶屬性、用戶行為軌跡、用戶活躍度趨勢、用戶閱讀文章列表等信息,由于不方便透露一些用戶信息,用戶細查頁面就以原型圖的形式給予示例,見圖5。當然獲取某些條件下的userid對集群來說是有一定的計算壓力的,要等一些時間計算完成后才能給用戶顯示。
圖5 用戶細查原型頁面
4.業(yè)務(wù)場景模板
BI數(shù)據(jù)系統(tǒng)是要更方便的服務(wù)于不同的業(yè)務(wù)場景進行數(shù)據(jù)分析的,每個業(yè)務(wù)場景總會沉淀下來一套固定的分析思路和分析架構(gòu),這套固定的分析架構(gòu)就可以放在BI平臺上來實現(xiàn),例如渠道分析、用戶留存分析、用戶活躍分析及日常的周月報等。通過分析模板,可以方便快速的查看數(shù)分析數(shù)據(jù),提高效率。
例如活躍用戶分析來說,根據(jù)平時的分析習(xí)慣,一般要將活躍用戶拆解為不同的活躍用戶群體,進一步查看活躍用戶的構(gòu)成及這部分用戶的變化情況,從而針對每部分的不同群體進行優(yōu)化和分析。例如可以按照下圖的分析框架創(chuàng)建一個看板(dashboard),由一下七個單圖(chart)組成一個日常的分析模板。
圖6 活躍用戶構(gòu)成分析模板
梳理好分析框架后,就可以在BI平臺上建立起固定的模板,很大的方便的滿足了日常的業(yè)務(wù)場景分析。
搭建一個完善的BI平臺,是需要不斷打磨優(yōu)化產(chǎn)品的,搭建平臺的目的無非就是提高工作效率,方便大家快捷高效的獲取數(shù)據(jù),以上只是我在搭建BI平臺的一些經(jīng)驗心得,分享出來與大家一起交流。
作為一名數(shù)據(jù)產(chǎn)品經(jīng)理,還需要多了解業(yè)務(wù),多使用自己的產(chǎn)品,如果BI平臺自己使用都不方便,那么更何況數(shù)據(jù)分析師,乃至數(shù)據(jù)經(jīng)驗比較少的業(yè)務(wù)相關(guān)人員呢?另外,對于BI平臺,以上四個階段并不是適用于所有公司。不同的業(yè)務(wù)階段的需求都是不一樣的,初創(chuàng)公司沒有太多的人力和時間來搭建自己的平臺,可以引用市面上的第三方產(chǎn)品,例如友盟、BDP等,做的都已經(jīng)相當成熟,還是要針對每個公司的具體階段而定。
本文由 @徐鵬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自PEXELS,基于CC0協(xié)議
專欄作家
一個數(shù)據(jù)人的自留地,公眾號:一個數(shù)據(jù)人的自留地。人人都是產(chǎn)品經(jīng)理專欄作家,《數(shù)據(jù)產(chǎn)品經(jīng)理修煉手冊》作者。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實戰(zhàn)訓(xùn)練營》終于上線啦!
本課程非常適合新手數(shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運營等人群。
課程會從基礎(chǔ)概念,到核心技能,再通過典型數(shù)據(jù)分析平臺的實戰(zhàn),幫助大家構(gòu)建完整的知識體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學(xué)完后你會掌握怎么建指標體系、指標字典,如何設(shè)計數(shù)據(jù)埋點、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺等實際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!
樓主是怎么學(xué)習(xí)BI的,可以推薦書本或者課程嗎,萬分感謝!
我已經(jīng)把自己多年工作經(jīng)驗整理成書:《數(shù)據(jù)產(chǎn)品經(jīng)理修煉手冊:從零基礎(chǔ)到大數(shù)據(jù)產(chǎn)品實踐》
京東和當當都可以購買。
已經(jīng)購買,在看了,書中推薦的學(xué)習(xí)R個人覺得換成Python比較好,不知道是否正確呢
可以的話加下
xuanwu1
感覺講的非常不錯,冒昧問下能否有償使用您的原型?非常感謝!
你好,可以發(fā)一份原型和相關(guān)文檔到郵件嗎?跪求!360761890@qq.com
你們與其要原型圖,還不如根據(jù)自己理解畫一個,再去競品分析下主流的BI產(chǎn)品,tableau、powerBI、帆軟、quick BI 等等
不錯,對我很有幫助尤其是在業(yè)務(wù)報表那塊,講了一些開發(fā)性的知識,非常感謝~
整體的功能上還可以講的更大一些,你這個是一個非常傳統(tǒng)的通用性的BI,現(xiàn)在的BI產(chǎn)品可以做的更大,我理解的BI除了四大基本屬性:取數(shù)、分析、下發(fā)、可視化,還需要加入指標管理,用戶畫像、標簽的一部分能力,凡是涉及分析的、可視化展示、常規(guī)展示的都可以從BI調(diào)用數(shù)據(jù);
實時BI也是一種趨勢,傳統(tǒng)的BI產(chǎn)品都是展示T+1的數(shù)據(jù),實時數(shù)據(jù)也是BI需要考慮的問題,這個要實現(xiàn)就要求底層技術(shù)可以獲取到實時數(shù)據(jù),可以有很多方式實現(xiàn),流、Ogg等,不多說了~~~
是的,BI平臺中還會整合用戶分群、用戶細查、用戶行為路徑以及業(yè)務(wù)大腦等更貼合業(yè)務(wù)的可視化產(chǎn)品,BI在演進,數(shù)據(jù)產(chǎn)品在迭代,未來在業(yè)務(wù)中數(shù)據(jù)產(chǎn)品也會發(fā)揮越來越重要的作用。
您好,跪求一份原型和相關(guān)文檔到郵箱?郵箱847245324@qq.com
樓主能分享下相關(guān)原型和文檔嗎?目前正在搭建BI平臺,想找點參考!郵箱375859363@qq.com
圖4是一種自助選取數(shù)據(jù)分析的功能,這里面思考的邏輯和底層數(shù)據(jù)的處理邏輯是什么呢,跪求??! ??
為什么要自研BI 市面上有那么多的報表 BI的產(chǎn)品 求解
基于數(shù)據(jù)的安全性和保密性的角度出發(fā)
并且,定制化的功能還是自研的好
你好,可以發(fā)一份原型和相關(guān)文檔到郵件嗎?跪求!1014663908@vip.qq.com
求問作者 為什么網(wǎng)易有數(shù)和bdp 在做全局篩選器時不能對數(shù)值類型字段進行篩選?
數(shù)值型字段篩選只能篩選數(shù)值范圍,BDP提供了對參與指標計算字段的數(shù)值篩選
交流一下,你們公司的數(shù)據(jù)部門會做給各個業(yè)務(wù)部門提供報表服務(wù)么?報表之間的口徑是如何統(tǒng)一的?報表都是以需求的形式提上來的,而且時間緊任務(wù)重的。 ?
我們的業(yè)務(wù)部門的報表都放在我們的數(shù)據(jù)平臺上,這正是bi平臺的價值所在,是要服務(wù)業(yè)務(wù)的,報表的指標要明確好指標口徑,形成指標字典,才能進一步放在平臺上,不能讓指標有不同的理解偏差,容易誤導(dǎo)業(yè)務(wù)。指標字典是很重要的,一定要拉各相關(guān)業(yè)務(wù)部門提前對清楚并達成一致。
我明白您的意思,指標口徑的明確是報表的關(guān)鍵;但是在實際的場景中,我們這邊每個工程師負責(zé)一條業(yè)務(wù)線,業(yè)務(wù)部門的報表需求都是以工單的形式提過來,并且短時間要上線,這種場景下,很難做到統(tǒng)一,針對某一個業(yè)務(wù)線,涉及到的數(shù)據(jù)非常多,就比如某個售賣數(shù)據(jù)的計算,做了什么樣的過濾,加上業(yè)務(wù)邏輯復(fù)雜的情況,只有工程師才知道最詳細的口徑是什么,讓工程師去寫口徑,有幾個痛點,一是時間緊任務(wù)重,他們很難按照要求去寫;二是工程師的口徑描述業(yè)務(wù)人員看不懂;三是報表是不斷的迭代的,口徑會變。不知道您有什么好的建議呢?請賜教!
那可以開始就簡單粗暴的上業(yè)務(wù)所需報表,但是前期缺的步驟后期都要補上,包括整理指標字典、統(tǒng)一指標口徑、甚至數(shù)據(jù)倉庫重構(gòu)等,可能后期付出的比前期還要多,據(jù)我了解,國內(nèi)創(chuàng)業(yè)公司可能都會存在這種問題,前期簡單粗放鋪業(yè)務(wù),后期有技術(shù)實力和人力了再重新梳理。
您覺得數(shù)據(jù)產(chǎn)品的未來是什么?因為數(shù)據(jù)系統(tǒng)總有功能完善趨于自動化的一天,可能是我想的比較短淺,純交流
bi等數(shù)據(jù)系統(tǒng)只是數(shù)據(jù)展現(xiàn)分析的開始,數(shù)據(jù)產(chǎn)經(jīng)理品要做的不僅僅是這些,未來數(shù)據(jù)的價值會越來越大,那么就更需要有人去實現(xiàn)數(shù)據(jù)服務(wù)和數(shù)據(jù)變現(xiàn),去實現(xiàn)體現(xiàn)數(shù)據(jù)價值的產(chǎn)品。
嗯,這確實是一個方向,現(xiàn)在的數(shù)據(jù)變現(xiàn)大多都是商業(yè)變現(xiàn)的,廣告行業(yè)運用比較多,dmp,推薦系統(tǒng)等
寫的很好,對于想轉(zhuǎn)做數(shù)據(jù)產(chǎn)品經(jīng)理的人很有啟發(fā)作用,只是具體要怎么深入了解和學(xué)習(xí)各項技能還請大師指明一下方向,比如有哪些書籍和網(wǎng)站推薦。非常感謝!
多看一些相關(guān)數(shù)據(jù),例如數(shù)據(jù)化管理、決戰(zhàn)大數(shù)據(jù)、精益數(shù)據(jù)分析等,培養(yǎng)一下數(shù)據(jù)分析思路,然后多體驗tableau、bdp等相關(guān)bi產(chǎn)品,并能夠掌握一些數(shù)據(jù)倉庫相關(guān)知識,做數(shù)據(jù)產(chǎn)品就會比較輕松了。
非常感謝!
功能性的分析這種還是需要有數(shù)據(jù)經(jīng)驗的人來用,業(yè)務(wù)線的產(chǎn)品和運營大都不會代碼,涉及到表之間的join,就無法實現(xiàn)了,所以這也是我頭疼的一個地方,各種各樣的數(shù)據(jù)需求還是會放到我們數(shù)據(jù)部門。
恩,這部分確實是一個痛點,培養(yǎng)業(yè)務(wù)部分的數(shù)據(jù)意識和數(shù)據(jù)知識是一個比較持續(xù)的過程。
感謝BDP在BI方面一直做的努力和嘗試,很多產(chǎn)品功能的思想還是很值得借鑒的。
有點偏,平臺也好,工具也好,并不是大數(shù)據(jù)或者BI的精髓,談大數(shù)據(jù)的人多,但是懂數(shù)據(jù),能用好數(shù)據(jù)的不多,所以我的看法可能遭人討厭,自助分析反而是最雞肋的功能,因為超過90%的人(未經(jīng)過實證,也許是偽數(shù)據(jù))并不知道自己要看什么數(shù)據(jù),或者看到數(shù)據(jù)以后不知道該怎么辦。
確實有很多業(yè)務(wù)人員不知道自己想要什么,不知道如何分析利用數(shù)據(jù),這些都是我們數(shù)據(jù)產(chǎn)品經(jīng)理需要無論是用工具也好,培訓(xùn)也好,不斷給大家普及數(shù)據(jù)意識的,畢竟也是隨著移動端的興起我們才有了收集大數(shù)據(jù)的能力,數(shù)據(jù)意識是需要不斷培養(yǎng)的,而且如果沒有自助分析,很多報表需求都交給平臺方,會有很大的需求壓力。
其實從傳統(tǒng)商業(yè),到商業(yè)智能BI,目前的進程其實不是很令市場滿意,從傳統(tǒng)商業(yè)來說,本身就已經(jīng)有統(tǒng)計報表,缺乏的是分析思路,自助分析很好,千人千面,一萬個人看同一個數(shù)據(jù)可能會產(chǎn)生一萬零一個想法,但是入市太早,早期在還未培養(yǎng)出數(shù)據(jù)思路和興趣前,大興圖表其實并非好的做法,以股市為例,這么久了,日線圖,K線圖,很少很簡單的圖表支撐了龐大的股票市場,有專家,他們會定制私人的圖表,但是數(shù)據(jù)應(yīng)用集數(shù)太小,我覺得如果我們要做大數(shù)據(jù),就得沉下去,做廣大人群的大數(shù)據(jù),而非小眾人群的大數(shù)據(jù)
我本身也做過BI,我個人的感覺是千人千面是后期發(fā)展戰(zhàn)略,初期以某一行業(yè)為核心,打造方法論,除了圖標組合的儀表盤,善用記號筆、排序、重點數(shù)據(jù)提拉等方法,形成一個可落地,易具現(xiàn)的產(chǎn)品,多行業(yè)發(fā)展后,再聯(lián)動打通,不失為一個好方法
恩,認同你的想法,放在整個大數(shù)據(jù)行業(yè)來說,大家對數(shù)據(jù)的利用和重視程度還不夠,也沒有能夠挖掘出很有價值的點,還是沒有體現(xiàn)出數(shù)據(jù)就是下一代水煤電的價值,每個行業(yè)進行到各個階段都有應(yīng)該需要關(guān)注的重點,即使BI平臺,針對不同公司的業(yè)務(wù)階段,實現(xiàn)滿足自己的需求的功能就好。
咨詢樓主,圖4是原型還是某種工具?
是我們實現(xiàn)的BI系統(tǒng)的截圖
做得不錯