選對(duì)AB實(shí)驗(yàn)指標(biāo)，可能是你實(shí)驗(yàn)成功與否的關(guān)鍵。本文將揭秘如何選擇合適的實(shí)驗(yàn)指標(biāo)，幫助你在實(shí)驗(yàn)中快速實(shí)現(xiàn)目標(biāo)。

實(shí)驗(yàn)設(shè)計(jì)主要有三個(gè)步驟：選擇實(shí)驗(yàn)指標(biāo)、確定實(shí)驗(yàn)受眾和設(shè)計(jì)實(shí)驗(yàn)版本。

其中，選擇正確的實(shí)驗(yàn)指標(biāo)至關(guān)重要。在設(shè)計(jì)實(shí)驗(yàn)時(shí)，真正嘗試過(guò)的同學(xué)都會(huì)意識(shí)到這里有很多坑。

很多時(shí)候?qū)嶒?yàn)上線了，但是指標(biāo)定義的不準(zhǔn)確，導(dǎo)致得不出結(jié)論，或者甚至得出了錯(cuò)誤的結(jié)論；有時(shí)候?qū)嶒?yàn)表面上看起來(lái)很成功，但對(duì)下游的某一個(gè)指標(biāo)有很大的影響，但是我們壓根不知道。

以上問(wèn)題，應(yīng)該如何避免？

一、選擇正確的實(shí)驗(yàn)指標(biāo)

1. 實(shí)驗(yàn)設(shè)計(jì)的三個(gè)步驟

（1）選擇實(shí)驗(yàn)指標(biāo)

選擇實(shí)驗(yàn)指標(biāo)是實(shí)驗(yàn)設(shè)計(jì)的第一步，我們要回答的最關(guān)鍵問(wèn)題是：哪些指標(biāo)能夠衡量實(shí)驗(yàn)的成功或失敗？這一步非常重要，就像做增長(zhǎng)要先找到北極星指標(biāo)一樣，做實(shí)驗(yàn)也要先找到正確的實(shí)驗(yàn)指標(biāo)。

（2）確定實(shí)驗(yàn)受眾

確定實(shí)驗(yàn)受眾是實(shí)驗(yàn)設(shè)計(jì)的第二步。我們需要清晰地定義出實(shí)驗(yàn)受眾，并估算出所需要的樣本量。這樣你就可以根據(jù)你具體的情況來(lái)做一些調(diào)整，比如說(shuō)減少一些實(shí)驗(yàn)的版本數(shù)，或者加大這個(gè)實(shí)驗(yàn)版本的改動(dòng)的程度。

（3）設(shè)計(jì)實(shí)驗(yàn)版本

設(shè)計(jì)實(shí)驗(yàn)版本是實(shí)驗(yàn)設(shè)計(jì)的第三步。如果采用第三方實(shí)驗(yàn)工具，整個(gè)流程相對(duì)簡(jiǎn)單；如果要自建實(shí)驗(yàn)系統(tǒng)進(jìn)行設(shè)計(jì)和開(kāi)發(fā)，流程會(huì)比較復(fù)雜。

本文主題聚焦于如何選擇核心指標(biāo)，未來(lái)再逐步分享如何確定實(shí)驗(yàn)受眾和設(shè)計(jì)實(shí)驗(yàn)版本。

2. 亞馬遜中國(guó)的實(shí)驗(yàn)指標(biāo)選擇

下面通過(guò)亞馬遜中國(guó)的案例，說(shuō)明為什么選擇正確實(shí)驗(yàn)指標(biāo)至關(guān)重要。

（1）亞馬遜中國(guó)購(gòu)物車(chē)AB測(cè)試第一次失敗

a. 第一次實(shí)驗(yàn)指標(biāo)選擇銷(xiāo)售額，新版本表現(xiàn)更差

亞馬遜中國(guó)想做一個(gè)購(gòu)物車(chē)的AB測(cè)試。中國(guó)用戶習(xí)慣把購(gòu)物車(chē)當(dāng)收藏夾用，部分選擇產(chǎn)品結(jié)賬，其余產(chǎn)品留在購(gòu)物車(chē)?yán)?。但亞馬遜全球的購(gòu)物車(chē)設(shè)計(jì)是全部結(jié)賬的模式。

亞馬遜中國(guó)的團(tuán)隊(duì)針對(duì)這樣的發(fā)現(xiàn)，就想設(shè)計(jì)一個(gè) AB 測(cè)試來(lái)測(cè)一下。如果把亞馬遜中國(guó)也改成可選擇部分商品結(jié)賬，這樣的這樣一種更受中國(guó)用戶習(xí)慣的方式，是不是效果會(huì)更好？

他們第一次選擇的實(shí)驗(yàn)指標(biāo)是銷(xiāo)售額，實(shí)驗(yàn)上線后，結(jié)果是跑了一個(gè)月的部分結(jié)賬版本輸給了全部結(jié)賬版本，銷(xiāo)售額更低，不得不進(jìn)行了回滾。

b. 進(jìn)一步分析發(fā)現(xiàn)新用戶不熟悉全部結(jié)賬，導(dǎo)致銷(xiāo)售額虛高但長(zhǎng)期滿意度下降

團(tuán)隊(duì)百思不得其解，為什么在中國(guó)其他電商網(wǎng)站上成功的版本，在亞馬遜中國(guó)不適用？進(jìn)一步分析后有三個(gè)發(fā)現(xiàn)：

①第一個(gè)發(fā)現(xiàn)是新用戶剛接觸全部結(jié)賬的版本（也就是老版本）還不夠熟悉，很多人都會(huì)出現(xiàn)一不小心買(mǎi)多了的情況，所以就會(huì)推高老版本的銷(xiāo)售額。這些一不小心買(mǎi)多了的用戶，只有部分會(huì)去退貨，因此銷(xiāo)售額還是比較高的。

②但是買(mǎi)多了的用戶長(zhǎng)期滿意度下降，因?yàn)樗麄冞^(guò)一段時(shí)間反應(yīng)過(guò)來(lái)了，發(fā)現(xiàn)自己不小心買(mǎi)多了。

③在部分結(jié)賬的版本里面，很多用戶其實(shí)會(huì)把購(gòu)物車(chē)?yán)锩姹Ａ舻漠a(chǎn)品過(guò)一段時(shí)間又買(mǎi)回來(lái)，所以這些產(chǎn)品其實(shí)是有潛在銷(xiāo)售的機(jī)會(huì)的，但是用戶的購(gòu)買(mǎi)時(shí)間存在延遲，因此在之前做實(shí)驗(yàn)的事后是顯示不出來(lái)的。

c. 亞馬遜中國(guó)首次實(shí)驗(yàn)指標(biāo)選擇小結(jié)

最后，亞馬遜中國(guó)團(tuán)隊(duì)得出結(jié)論：如果第一次實(shí)驗(yàn)就對(duì)比更多指標(biāo)，可能會(huì)發(fā)現(xiàn)全部結(jié)賬版本短期銷(xiāo)售額高，但退貨率高，長(zhǎng)期滿意度低；而部分結(jié)賬版本長(zhǎng)期復(fù)購(gòu)率和銷(xiāo)售額更高。但第一次實(shí)驗(yàn)只關(guān)注了短期銷(xiāo)售額，沒(méi)關(guān)注其他指標(biāo)，導(dǎo)致得出老版本更好的錯(cuò)誤結(jié)論。

（2）亞馬遜中國(guó)優(yōu)化實(shí)驗(yàn)指標(biāo)，二次實(shí)驗(yàn)成功

基于上述總結(jié)認(rèn)知，亞馬遜中國(guó)團(tuán)隊(duì)重新定義實(shí)驗(yàn)指標(biāo)，進(jìn)行二次實(shí)驗(yàn)。

核心指標(biāo)從第一版的短期銷(xiāo)售額，變成了綜合銷(xiāo)售額的概念，不僅包括短期直接銷(xiāo)售額，還包括對(duì)長(zhǎng)期銷(xiāo)售額的預(yù)期。

同時(shí)，也加入了一系列輔助指標(biāo)，如復(fù)購(gòu)率、下單頻次、結(jié)賬轉(zhuǎn)化率等。這些指標(biāo)雖然不足以直接說(shuō)明實(shí)驗(yàn)的成敗，但是可以從各個(gè)側(cè)面輔助我們做出決策。

最后，還加入了退貨率作為衡量負(fù)面結(jié)果大小的指標(biāo)。

通過(guò)全面觀察一系列實(shí)驗(yàn)指標(biāo)，部分結(jié)賬的新版本最終勝出。它不僅帶來(lái)了綜合銷(xiāo)售額的提升，還帶來(lái)了下單頻次的提升，終于成功上線。

亞馬遜中國(guó)團(tuán)隊(duì)并沒(méi)有改變實(shí)驗(yàn)版本的任何設(shè)計(jì)，只是選擇了更全面準(zhǔn)確的實(shí)驗(yàn)指標(biāo)，就從實(shí)驗(yàn)失敗變成了成功。

由此可見(jiàn)，AB實(shí)驗(yàn)成功的關(guān)鍵在于選擇正確指標(biāo)，包括核心指標(biāo)、輔助指標(biāo)和反向指標(biāo)，以全面、準(zhǔn)確地衡量實(shí)驗(yàn)成效。

二、準(zhǔn)確全面衡量實(shí)驗(yàn)成敗的三類(lèi)指標(biāo)

那么，想要準(zhǔn)確全面地衡量實(shí)驗(yàn)成敗，應(yīng)該如何選取指標(biāo)？建議大家考慮選擇核心指標(biāo)、輔助指標(biāo)和反向指標(biāo)這三類(lèi)實(shí)驗(yàn)指標(biāo)。

1. 核心指標(biāo)：決定實(shí)驗(yàn)成敗的關(guān)鍵指標(biāo)

（1）核心指標(biāo)代表實(shí)驗(yàn)的最終北極星指標(biāo)

核心指標(biāo)是決定實(shí)驗(yàn)成敗的關(guān)鍵指標(biāo)。對(duì)于做增長(zhǎng)實(shí)驗(yàn)來(lái)說(shuō)，我們要找到?jīng)Q定這個(gè)實(shí)驗(yàn)成敗的最關(guān)鍵指標(biāo)，它是我們后期進(jìn)行統(tǒng)計(jì)顯著性計(jì)算，決定新老版本哪個(gè)更好的指標(biāo)。

（2）案例：APP首頁(yè)新手引導(dǎo)板塊AB測(cè)試

某 APP 做了首頁(yè)新手引導(dǎo)板塊的改版，它的目標(biāo)是想讓新用戶了解產(chǎn)品功能，完成初始設(shè)置。

實(shí)驗(yàn)假設(shè)是通過(guò)讓用戶閱讀更多的新手介紹文章，告訴他們這個(gè)產(chǎn)品怎么用，可以幫助他們完成初始的設(shè)置。

A版本是新手文章呈卡片式排列，B版本是文章呈清單式排列。如果關(guān)注點(diǎn)擊率，就會(huì)發(fā)現(xiàn)B組清單版本表現(xiàn)更好；但如果關(guān)注新手設(shè)置完成率，就會(huì)發(fā)現(xiàn)A組卡片版本表現(xiàn)更好。

這種情況下，核心指標(biāo)應(yīng)該選新手設(shè)置完成率，而非文章標(biāo)題點(diǎn)擊率。和選擇增長(zhǎng)北極星指標(biāo)一樣，做實(shí)驗(yàn)時(shí)也要注意不要選擇虛榮指標(biāo)。

要以實(shí)驗(yàn)最終目標(biāo)為準(zhǔn)繩，選擇最能代表目標(biāo)的指標(biāo)作為核心指標(biāo)。雖然B組點(diǎn)擊率更高，但根據(jù)實(shí)驗(yàn)最終目標(biāo)，它的表現(xiàn)更差，最終勝出的是A組卡片版本。

2. 輔助指標(biāo)：全面了解實(shí)驗(yàn)結(jié)果

對(duì)于絕大多數(shù)簡(jiǎn)單實(shí)驗(yàn)，可能只有一個(gè)核心指標(biāo)就夠了。但對(duì)于比較復(fù)雜、涉及長(zhǎng)漏斗或?qū)ο掠沃笜?biāo)可能有影響的實(shí)驗(yàn)，我們還要選擇輔助指標(biāo)。

（1）影響整個(gè)用戶漏斗的各個(gè)步驟

衡量實(shí)驗(yàn)成敗的第二類(lèi)指標(biāo)是輔助指標(biāo)，它可以幫助我們?nèi)媪私鈱?shí)驗(yàn)結(jié)果，確保沒(méi)有誤傷到某些指標(biāo)。如果實(shí)驗(yàn)影響到整個(gè)用戶漏斗，我們不應(yīng)只看漏斗的最終步驟，還要監(jiān)測(cè)對(duì)整個(gè)漏斗所有步驟的影響。

（2）關(guān)注下游和其他用戶關(guān)鍵指標(biāo)

如果有一些重要的下游指標(biāo)，我們要全面觀測(cè)實(shí)驗(yàn)會(huì)不會(huì)對(duì)某個(gè)下游指標(biāo)產(chǎn)生影響，以及對(duì)其他用戶關(guān)鍵指標(biāo)的影響。

（3）案例：Airbnb采用關(guān)鍵指標(biāo)儀表盤(pán)全面評(píng)估實(shí)驗(yàn)影響

事實(shí)上，一些硅谷大規(guī)模進(jìn)行增長(zhǎng)實(shí)驗(yàn)的公司如Airbnb，他們采取的方式是做一個(gè)關(guān)鍵指標(biāo)儀表盤(pán)，任何一個(gè)增長(zhǎng)實(shí)驗(yàn)的結(jié)果都會(huì)放到這個(gè)儀表盤(pán)上，觀察對(duì)任何關(guān)鍵指標(biāo)有無(wú)影響。如果有影響都會(huì)顯示出來(lái)，這樣就可以避免一不小心誤傷到某些指標(biāo)的情況。

3. 反向指標(biāo)：提示實(shí)驗(yàn)可能的負(fù)面影響

（1）為什么需要反向指標(biāo)

反向指標(biāo)可以提示實(shí)驗(yàn)可能的負(fù)面影響。如果負(fù)面影響很小或沒(méi)有，我們就可以宣告實(shí)驗(yàn)成功；如果負(fù)面影響太高，就算核心指標(biāo)表現(xiàn)更好，我們也可能直接否決實(shí)驗(yàn)結(jié)果。一般來(lái)說(shuō)反向指標(biāo)選取1-2個(gè)即可。

（2）常見(jiàn)反向指標(biāo)

常見(jiàn)的反向指標(biāo)包括NPS、應(yīng)用刪除率、郵件退訂率、push退訂率以及頁(yè)面退出率等。

綜上，核心指標(biāo)衡量關(guān)鍵實(shí)驗(yàn)成果，輔助指標(biāo)全面理解實(shí)驗(yàn)作用，反向指標(biāo)防止忽視負(fù)面影響。

4.綜合案例：電商網(wǎng)站購(gòu)物車(chē)按鈕AB測(cè)試指標(biāo)選擇

舉例，如果一個(gè)電商網(wǎng)站想做加入購(gòu)物車(chē)按鈕的AB測(cè)試，測(cè)試各種購(gòu)物車(chē)按鈕哪個(gè)表現(xiàn)更好，應(yīng)該怎么選擇指標(biāo)？因?yàn)橘?gòu)物車(chē)按鈕在產(chǎn)品詳情頁(yè)上，我們可以把整個(gè)用戶購(gòu)物漏斗畫(huà)出來(lái)。

（1）核心指標(biāo)

此案例中，應(yīng)該選擇的核心指標(biāo)就是加入購(gòu)物車(chē)按鈕本身的點(diǎn)擊率，因?yàn)樗菍?shí)驗(yàn)想影響的主要的目標(biāo)。

（2）輔助指標(biāo)

在這個(gè)例子里面，雖然最終的目標(biāo)是提高銷(xiāo)售額，但是加入購(gòu)物車(chē)和提高銷(xiāo)售額之間有非常多的步驟，因此我們應(yīng)該把加入購(gòu)物車(chē)作為核心的指標(biāo)，而銷(xiāo)售額作為一個(gè)輔助的指標(biāo)。

其他的輔助指標(biāo)還包括加入購(gòu)物車(chē)按鈕的點(diǎn)擊次數(shù)，有多少人訪問(wèn)購(gòu)物車(chē)的頁(yè)面，或者在購(gòu)物車(chē)下單成功銷(xiāo)售額、復(fù)購(gòu)率等等。

（3）反向指標(biāo)

最終的反向指標(biāo)可能是退貨率。

通過(guò)選擇合適的三類(lèi)指標(biāo)，我們就可以全面衡量這個(gè)改動(dòng)對(duì)整個(gè)購(gòu)物漏斗的影響，不會(huì)只看到其中一方面而漏掉其他可能的影響。

以上就是如何通過(guò)三類(lèi)實(shí)驗(yàn)指標(biāo)準(zhǔn)確全面的衡量實(shí)驗(yàn)的結(jié)果，后續(xù)還會(huì)介紹如何通過(guò) AB 測(cè)試的系統(tǒng)和工具來(lái)確?？茖W(xué)分流和結(jié)果的可信性。

所以，不要害怕實(shí)驗(yàn)中的失敗和挑戰(zhàn)，而應(yīng)該更加聚焦于如何通過(guò)科學(xué)的方法——正確選擇指標(biāo)、深入了解受眾、科學(xué)流量劃分，來(lái)提升我們的實(shí)驗(yàn)設(shè)計(jì)能力。因?yàn)槊恳淮螌?shí)驗(yàn)，都是向成功邁進(jìn)的一步。