3. 實(shí)驗(yàn)樣本及實(shí)驗(yàn)時(shí)長(zhǎng)的確定

AB實(shí)驗(yàn)需要用到隨機(jī)抽樣，也就是隨機(jī)從產(chǎn)品的用戶中選擇一部分，那么要選取多少呢。

想象一下，某工廠剛生產(chǎn)了一萬(wàn)件零件，現(xiàn)在想要測(cè)試這批零件是否合格，那么要選擇多少樣本進(jìn)行檢測(cè)呢？一件、兩件還是一萬(wàn)件？

選擇的樣本太少，恐怕沒(méi)有說(shuō)服力；選擇的樣本太多，成本又太高。最好的方法其實(shí)是在滿足統(tǒng)計(jì)學(xué)意義后，樣本要盡量的少。

下面的公式給出了樣本數(shù)量的計(jì)算方式，如果你看不懂，可以直接略過(guò)，知道有方法計(jì)算就好。

為確定樣本數(shù)量，我們先要確定三個(gè)值，即顯著性水平或第一類錯(cuò)誤概率alpha一般取值為0.05或0.1，第二類錯(cuò)誤概率beta，一般取值為0.1或0.2，以及實(shí)際想要達(dá)到的效果，比如點(diǎn)擊率提升2%。

其中，

• Delta表示預(yù)期的提升，在這個(gè)例子中，我們期望提升2%；
• sigma表示樣本方差，在比率的情況下，sigma^2=p（1-p），p是樣本的某一比率，比如現(xiàn)在首頁(yè)產(chǎn)品的點(diǎn)擊率為67%；
• alpha第一類錯(cuò)誤概率，一般取值為5%或1%；
• beta第二類錯(cuò)誤概率，一般取值為0.1或0.2；
• z：正態(tài)分布累計(jì)概率為x時(shí)對(duì)應(yīng)的分位數(shù)。

假設(shè)過(guò)去兩周內(nèi)，平均每天有50000人打開(kāi)過(guò)我們的app，若分成了四組實(shí)驗(yàn)，每組實(shí)驗(yàn)的流量不一樣，要保證獲得流量最小的那組達(dá)到最小樣本所要求的數(shù)量。

比如，流量最小那組占總流量的20%，即50000*20%=10000，而最小樣本數(shù)量為26000，因此至少需要26000/10000=3天。由于周末會(huì)影響實(shí)驗(yàn)，所以一般會(huì)取整周時(shí)間；同時(shí)，要考慮節(jié)假日以及特殊的事件。

4. AA實(shí)驗(yàn)

AA實(shí)驗(yàn)：指的是實(shí)驗(yàn)組和對(duì)照組所執(zhí)行的策略是一樣的，用于判斷分組方式是否引起顯著的差異。如果A/A實(shí)驗(yàn)的結(jié)果也是顯著的，說(shuō)明實(shí)驗(yàn)方式本身會(huì)造成差異，因此A/B實(shí)驗(yàn)的結(jié)果應(yīng)當(dāng)結(jié)合A/A的結(jié)果做校正分析。如果A/A實(shí)驗(yàn)的結(jié)果不顯著，那么A/B實(shí)驗(yàn)的結(jié)果無(wú)須校正。

5. 實(shí)驗(yàn)上線

實(shí)驗(yàn)上線分為兩部分，第一部分是數(shù)據(jù)的獲取。如果現(xiàn)有的數(shù)據(jù)能滿足我們的實(shí)驗(yàn)需求，就不需要做什么；否則可能會(huì)增加數(shù)據(jù)埋點(diǎn)，以獲取所需數(shù)據(jù)；第二部分是流量控制，讓用戶在進(jìn)入首頁(yè)時(shí)，劃分到相應(yīng)的實(shí)驗(yàn)組和對(duì)照組，比如根據(jù)用戶ID的奇偶性分組。

6. 實(shí)驗(yàn)結(jié)果分析

在實(shí)驗(yàn)周期結(jié)束，拿到數(shù)據(jù)后，就需要進(jìn)行數(shù)據(jù)分析，主要是計(jì)算統(tǒng)計(jì)值，以判斷實(shí)驗(yàn)結(jié)果在統(tǒng)計(jì)學(xué)上是否具有顯著性，從而進(jìn)行決策。至此，一個(gè)完整的A/B實(shí)驗(yàn)流程結(jié)束。

二、后續(xù)：關(guān)于指標(biāo)的選擇

數(shù)據(jù)指標(biāo)從業(yè)務(wù)上可以分為用戶數(shù)據(jù)指標(biāo)（比如日新增用戶數(shù)、用戶活躍率，用戶留存率），用戶行為數(shù)據(jù)指標(biāo)（PV、UV、轉(zhuǎn)化率）以及產(chǎn)品數(shù)據(jù)指標(biāo)（GMV、客單價(jià)、復(fù)購(gòu)率）；

數(shù)據(jù)指標(biāo)從數(shù)學(xué)定義可以分為分布相關(guān)（平均數(shù)、中位數(shù)）、概率和比例（用戶點(diǎn)擊的概率）、比率（兩個(gè)數(shù)做除法）及求和計(jì)數(shù)等。

在選擇指標(biāo)時(shí)，要保證選擇的指標(biāo)是一個(gè)具有高靈敏度的指標(biāo)，這意味著這個(gè)指標(biāo)可以捕捉到你所關(guān)心的變化。

同時(shí)，當(dāng)你不感興趣的事情發(fā)生時(shí)，指標(biāo)不會(huì)發(fā)生很大的變化。

如果一個(gè)指標(biāo)太敏感，那么它就不夠穩(wěn)健，因此在這兩者之間有一個(gè)平衡點(diǎn)，你需要研究一下數(shù)據(jù)，找出要使用的指標(biāo)?？梢允褂肁A測(cè)試進(jìn)行檢驗(yàn)。

本文由 @Clarence 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash，基于CC0協(xié)議