數據分析的坑,都在統(tǒng)計學里埋過

1 評論 31145 瀏覽 98 收藏 10 分鐘
🔗 技术知识、行业知识、业务知识等,都是B端产品经理需要了解和掌握的领域相关的知识,有助于进行产品方案设计和评估

為什么要了解統(tǒng)計學?對于普羅大眾來說,統(tǒng)計學應該會成為每人必備的常識,才能避免被越來越精致的數字陷阱欺騙。起碼當你看到各種百分比和收益率,能多出一份警覺,多思考些他們的來源和計算途徑。

對于互聯(lián)網工作者來說,統(tǒng)計知識投射在互聯(lián)網上,就是數據相關的方法論。舉例來講,現在盛行的 A/B Test 本質上就是控制變量法實驗中的一種。不同的是,互聯(lián)網獲取數據更簡單,進行對比實驗更方便。這將是一個統(tǒng)計學/數據分析的大事件。想象一下 Facebook 內部幾千個 A/B Gate,簡直稱得上一場史無前例的大規(guī)模人口社會實驗。

這也是為什么近些年來 Growth Hacker ,Data Scientist 越來越火的原因。數據量的極易獲取,計算存儲成本的降低和分析效率的提升,使得統(tǒng)計分析的成本更低,規(guī)模更大,從而輸出價值更高。

統(tǒng)計和分析的差別

個人理解上,統(tǒng)計分析應該是整個數據流程的不同部分。統(tǒng)計在于工具或手段,分析更偏重理念。比如回歸分析為什么叫分析不叫統(tǒng)計,就是因為其中已經包含了部分歸因的思想。再舉個栗子,決定對一批數據取平均數還是中位數,這是統(tǒng)計,該怎么利用,是分析。

如《赤裸裸的統(tǒng)計學》中指出來的一樣,統(tǒng)計分析是:

  • 總結大量的數據
  • 做出正確的決定
  • 回答重要的社會問題
  • 認識并改善我們日常的行為模型

坑一:統(tǒng)計指標各有利弊通過選擇合適的統(tǒng)計指標,來精準表達數據集的內容。同時也需要防止有人利用這些指標的優(yōu)缺點來誤導輿論,影響你的決策。

平均數,中位數,四分位數: 平均數對極值敏感而中位數不會。所以北京的同學們經常會感覺自己的薪資收入拖慢了集體的后腿….但如果看中位數和四分位數,可能情況就會大不相同。

絕對值,比率值:注冊數是絕對值,注冊率是比率值。比率值出現異常時,需要首先關注分子和分母的情況。比如說,某天發(fā)現網站 UV 周同比上漲了 500%,有可能是上周基數太低導致的。如果一上來就從維度進行細分,很容易跑偏。

百分比,百分差,百分率:百分比是個常見的數據表達形式,其中貓膩也比較多。此類數字往往需要注意分母和分子的差別。以下是兩個常見例子:1,一件貨品先降價15%再漲15%價格是否一樣?2,對于百分差和百分率,稅率從3%漲到5%,可以說上漲了2個百分點,也可以說上漲了67%,給人感覺效果大不一樣。

指數型數據:即通過各項數據計算得出來的指數,優(yōu)點在于將所有信息濃縮成一個數字,簡單易懂,但容易忽略其中成分數據的影響。美團外賣當初有個很復雜的考核城市用戶體驗的指標,就是個很好的例子。通過多項數據的整合,我們很好地把用戶體驗這種比較虛的東西落到了實處。不過需要注意的是,對它的過分依賴容易帶來誤導性的結論。

坑二:統(tǒng)計背景不夠明確首先要了解:精確和準確是有本質差別的。如在你內急的時候我告訴你公廁在你右邊直走134.12m處,這很精確。不過實際上,廁所在左邊。準確的要義是要能讓指標貼近所描述事物。

這需要在衡量事物的指標上達成統(tǒng)一。如在之前 20011 年時有爭論:美國制造業(yè)是否正在衰退?從總體產出上看,從 2000 年來看一直在增長,而制造業(yè)的就業(yè)數卻在下降。因此需要統(tǒng)一指標來表述制造業(yè)的繁榮情況。

數據

就像電商一樣,需要明確自己當前關注的唯一核心指標,如訂單數,交易額等。不同的關注會導致公司戰(zhàn)略上的不同。

第三確定指標后,需要確定描述主體。同樣是房價,政府說我們今年有60%的城市,房均價比去年低!你們買房有希望了!但實際上,40%的房子都漲價了,且都集中在核心城市。P 民們照樣買不起房子..

注意時代背景:《赤裸裸的統(tǒng)計學》中舉了個很有趣的例子:如何評價歷史上票房最高的電影。好萊塢在截止2011年時,給出的票房前 5 名是:阿凡達,泰坦尼克號,蝙蝠俠前傳二,星球大戰(zhàn)四和怪物史萊克二。但歷史階段上,通脹情況是不一樣的。把通脹因素考慮進來后,這個榜單應該更新為:亂世佳人,星球大戰(zhàn)四,音樂之聲,外星人 ET 和十誡。

利用統(tǒng)計學手段可以影響人們的解讀:截取有利時間段,混淆單位等。

坑三:統(tǒng)計指標也有偏見在選擇樣本和進行統(tǒng)計分析時,會存在各種各樣的偏見,導致結果失之毫厘,謬以千里。

選擇性偏見:選擇了錯誤的樣本,得到的分析結論自然是錯的。如在第三季硅谷里,Richard 對自己的開發(fā)者朋友們發(fā)布了 Beta 版,好評如潮。但因為其上手難度太高,普通用戶根本用不了,最后注冊用戶雖有百萬之巨,但活躍用戶卻寥寥無幾。同樣的,在對電商用戶習慣做分析時,一二線城市和三四線城市的消費水平和習慣肯定有所差異,選擇單獨一種都會有失偏頗。

發(fā)表性偏見:學術研究或新聞更樂于發(fā)表肯定性結論而非否定性。一個打游戲不會引發(fā)癌癥的研究,肯定不如證明當 PM 會導致壽命更短的實驗更受關注。

記憶性偏見:人們會因為結果修改自己的記憶,如很多成功人士會在失敗后將原因歸咎于某個因素,并將其放大成關鍵原因。但事實上可能并非如此。

幸存者偏見:通過挑選樣本來操控數據。簡而言之,對于那些下單成功的用戶數來講,他們的注冊成功率是 100%。在日常分析中,需要時刻警惕這種偏見的變異版本。

坑四:慎重選擇統(tǒng)計實驗在研究事物的相關性時,控制變量實驗是個比較科學的做法。在現實生活中,一些變量很難甚至無法控制,此時便需通過各種統(tǒng)計實驗來逼近這種效果。

隨機控制實驗:隨機抽取樣本,隨機分配實驗組和對照組。這便是最理想的 A/B Test,核心在分桶策略。

自然實驗:利用已有數據營造近似的隨機實驗,如在 O2O 城市運營中,很難長期控制城市去做實驗要求的推廣活動來對比哪種更有效。合適的方法是從已有的數據中,挑選情況類似活動不同的城市來進行對比分析。

差分類差分實驗:利用時間和空間上的對比來控制變量,如美國曾經在研究受教育年齡對壽命的影響實驗中,分析了田納西州在教育改革時間前后數據的變化,以及和相鄰州對比情況。

非連續(xù)分析實驗:選擇條件類似但結果不同的樣本,進行對比分析。如選擇一批犯罪情況類似的青少年,一組需要送去監(jiān)獄而另一組剛好免除牢獄之災,通過對這兩組人的分析來研究坐牢對青少年后續(xù)犯罪率的影響。

《赤裸裸的統(tǒng)計學》中,還有部分關于概率,期望值和回歸分析的部分,限于篇幅所限,在這里就不多闡述了。感興趣的同學推薦詳細閱讀此書。更老的一本還有《統(tǒng)計數字會撒謊》。希望這篇分享能給大家?guī)硪稽c收獲。

 

作者:陳新濤 ?美團外賣首任數據產品經理,如今在大數據公司 GrowingIO 任職。

本文來源于人人都是產品經理合作媒體@36大數據,作者@陳新濤

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. Good

    來自上海 回復
专题
12897人已学习14篇文章
在项目完结时,我们经常需要进行项目复盘。那么一个好的项目复盘是怎样的?
专题
11856人已学习12篇文章
增长这个话题,是互联网产品在成长过程中绕不过的问题。本专题的文章分享了产品增长指南。
专题
45352人已学习12篇文章
产品经理和运营都要懂一点的推荐算法基础和进阶知识
专题
15167人已学习12篇文章
用户故事在软件开发过程中被作为描述需求的一种表达形式,本专题的文章分享了如何讲好用户故事。
专题
12456人已学习13篇文章
发票是财务中必不可少的物品,那发票系统该如何设计呢?本专题的文章分享了发票系统设计指南。
专题
14362人已学习14篇文章
流量难获取,获取之后转化为付费用户更是困难。本专题的文章分享了如何提升付费转化率。