編輯導(dǎo)讀：A/B測(cè)試支撐著產(chǎn)品的高速迭代發(fā)展，同時(shí)也沉淀著海量的最佳實(shí)踐和方法論。本文作者從自身工作經(jīng)驗(yàn)出發(fā)，講述如何更專業(yè)地做A/B測(cè)試，如何拿到更加置信的數(shù)據(jù)結(jié)論，希望對(duì)你有幫助。

A/B測(cè)試支撐著產(chǎn)品的高速迭代發(fā)展，同時(shí)也沉淀著海量的最佳實(shí)踐和方法論。筆者在某頭條做C端產(chǎn)品時(shí)，做了大量的A/B實(shí)驗(yàn)，快捷測(cè)試驗(yàn)證新功能。其中在2020年8月份，1個(gè)月做了12個(gè)A/B實(shí)驗(yàn)，帶來(lái)明顯的OKR指標(biāo)提升，當(dāng)月獲得績(jī)效最高檔（蓋章可查詢）。給大家整理了一些A/B實(shí)驗(yàn)方法論，分享給需要的同學(xué)。

本文講述如何更專業(yè)的做A/B測(cè)試，如何拿到更加置信的數(shù)據(jù)結(jié)論。后續(xù)會(huì)陸續(xù)給大家分享如何思考設(shè)計(jì)新的功能，確保A/B實(shí)驗(yàn)的正向率，避免成為A/B實(shí)驗(yàn)的終結(jié)者（結(jié)論總是負(fù)向）。

一、什么情況下需要做A/B實(shí)驗(yàn)？

大多數(shù)A/B實(shí)驗(yàn)建立在：當(dāng)不確定哪種方案更有利于達(dá)成核心目標(biāo)，不確定新的方案會(huì)不會(huì)對(duì)核心指標(biāo)之外的其他指標(biāo)造成負(fù)向影響，我們通過(guò)做A/B實(shí)驗(yàn)來(lái)進(jìn)行測(cè)試。

關(guān)于A/B實(shí)驗(yàn)的功能場(chǎng)景，我們看個(gè)簡(jiǎn)單的例子：

場(chǎng)景還原：優(yōu)化前的商品詳情頁(yè)展示商品價(jià)格以及該商品可以用的優(yōu)惠券，如何提升商品的交易轉(zhuǎn)化率呢，產(chǎn)品經(jīng)理想：幫用戶把券后價(jià)直接展示出來(lái)是否能提升轉(zhuǎn)化率，能提升多少。

由于商品詳情頁(yè)是電商交易鏈路的核心頁(yè)面，直接全量上某個(gè)功能，萬(wàn)一效果不好則影響巨大。通過(guò)切一部分流量進(jìn)行A/B測(cè)試，密切觀察實(shí)驗(yàn)數(shù)據(jù)、灰度發(fā)布是最佳策略。

大家熟知的今日頭條、抖音、西瓜這些產(chǎn)品的名字，都不是產(chǎn)品經(jīng)理或者業(yè)務(wù)負(fù)責(zé)人拍腦袋經(jīng)驗(yàn)主義決策的結(jié)果，而是把不同名稱的應(yīng)用包上架到應(yīng)用市場(chǎng)，看哪個(gè)名字的下載率和分享率最高，就用哪個(gè)。本質(zhì)上通過(guò)A/B測(cè)試的思想，把產(chǎn)品決策權(quán)交給了用戶。

二、怎樣設(shè)計(jì)A/B試驗(yàn)？

A/B實(shí)驗(yàn)的整體流程：

2.1 確定實(shí)驗(yàn)?zāi)繕?biāo)

確定實(shí)驗(yàn)?zāi)繕?biāo)即以什么指標(biāo)衡量實(shí)驗(yàn)組的好壞。

提升頁(yè)面轉(zhuǎn)化率：例如電商行業(yè)中，提升列表頁(yè)到商詳頁(yè)的轉(zhuǎn)化率，商詳頁(yè)到訂單確認(rèn)頁(yè)的轉(zhuǎn)化率，訂單確認(rèn)頁(yè)到交易成功頁(yè)的轉(zhuǎn)化率。在家裝行業(yè)中，最常見(jiàn)的是提升留資頁(yè)面內(nèi)“預(yù)約裝修”提交按鈕的點(diǎn)擊轉(zhuǎn)化率。
提升用戶留存：提升用戶在平臺(tái)內(nèi)的次日、3日、7日等留存率

在觀察實(shí)驗(yàn)組數(shù)據(jù)指標(biāo)時(shí)，以一個(gè)核心指標(biāo)為主，同時(shí)需要觀注其他相關(guān)指標(biāo)，全面衡量，得出結(jié)論。

舉個(gè)栗子：筆者在愛(ài)奇藝任職期間，為了提升核心指標(biāo)“人均VV（人均播放次數(shù)）”，產(chǎn)品做了“自動(dòng)播放”功能。短期內(nèi)核心指標(biāo)顯著提升，但由于自動(dòng)播放功能造成用戶反感，用戶留存指標(biāo)受到了影響。為避免長(zhǎng)期造成用戶流失，該功能下線。

2.2 設(shè)計(jì)實(shí)驗(yàn)

2.2.1 設(shè)置實(shí)驗(yàn)組和對(duì)照組

• 唯一變量：實(shí)驗(yàn)組和對(duì)照組的設(shè)置采用控制變量法，實(shí)驗(yàn)組和對(duì)照組設(shè)置本次實(shí)驗(yàn)想要驗(yàn)證的唯一的變量，其他條件均不變。
• 同層實(shí)驗(yàn)：如果有多個(gè)實(shí)驗(yàn)在進(jìn)行，選擇同層實(shí)驗(yàn)，避免分層實(shí)驗(yàn)。因?yàn)橥瑢訉?shí)驗(yàn)互斥（用戶只會(huì)在一個(gè)實(shí)驗(yàn)組），而分層實(shí)驗(yàn)可以復(fù)用流量（一個(gè)用戶可以命中多個(gè)實(shí)驗(yàn)）

以上是基礎(chǔ)的流量分層設(shè)置，A/B實(shí)驗(yàn)成熟的情況下，還可以進(jìn)行獨(dú)占實(shí)驗(yàn)和長(zhǎng)期對(duì)照。

獨(dú)占實(shí)驗(yàn)：某些實(shí)驗(yàn)層專門為某些特定的實(shí)驗(yàn)準(zhǔn)備，其他實(shí)驗(yàn)不可使用。

長(zhǎng)期對(duì)照：設(shè)置一部分用戶做長(zhǎng)期對(duì)照，不參加任何實(shí)驗(yàn)，可以評(píng)估多種實(shí)驗(yàn)疊加后的效果。

例如筆者所在部門，有幾十個(gè)實(shí)驗(yàn)專項(xiàng)層，筆者獨(dú)占3個(gè)，專門用于做交易鏈路相關(guān)的A/B實(shí)驗(yàn)。

流量設(shè)置：給實(shí)驗(yàn)組和對(duì)照組分別設(shè)置一定的流量，這是做實(shí)驗(yàn)的必要準(zhǔn)備條件。

例如：如果實(shí)驗(yàn)分對(duì)照組和實(shí)驗(yàn)組2個(gè)組，選擇“層1”取40%的流量，每組20%。如果實(shí)驗(yàn)分3個(gè)組，對(duì)照組和實(shí)驗(yàn)組1、實(shí)驗(yàn)組2，那么在“層1”取60%的流量，每組20%。

另外，初期每組設(shè)置多少百分比的流量，這個(gè)要參考當(dāng)前頁(yè)面平均每天有多少UV，每組至少保證2000個(gè)以上UV，實(shí)驗(yàn)相對(duì)置信。

2.2.2 空轉(zhuǎn)實(shí)驗(yàn)

空轉(zhuǎn)即A/A實(shí)驗(yàn)，在成熟的實(shí)驗(yàn)平臺(tái)可自行設(shè)置。

例如：設(shè)置7-8組實(shí)驗(yàn)流量，空轉(zhuǎn)3天，監(jiān)控PV/UV、轉(zhuǎn)化、留存等核心指標(biāo)，看有無(wú)明顯差異。取2組最相近的用來(lái)做實(shí)驗(yàn)，其余的釋放掉。

空轉(zhuǎn)可以明顯地發(fā)現(xiàn)抽樣不均，去掉因?yàn)槌闃硬痪鶐?lái)的實(shí)驗(yàn)影響因素，提升實(shí)驗(yàn)置信度。

2.2.3 反轉(zhuǎn)實(shí)驗(yàn)

• 反轉(zhuǎn)的前提：A/B實(shí)驗(yàn)根據(jù)需求功能不同，實(shí)驗(yàn)進(jìn)行的周期不同，短則3-7天，長(zhǎng)則1個(gè)月。當(dāng)觀察實(shí)驗(yàn)結(jié)果正向的情況下，可對(duì)實(shí)驗(yàn)進(jìn)行反轉(zhuǎn)。
• 反轉(zhuǎn)操作：將實(shí)驗(yàn)組和對(duì)照組進(jìn)行對(duì)調(diào)，實(shí)驗(yàn)組變成對(duì)照組，對(duì)照組變成實(shí)驗(yàn)組，再次觀察實(shí)驗(yàn)結(jié)果。
• 反轉(zhuǎn)分析：如果反轉(zhuǎn)后的對(duì)照組和實(shí)驗(yàn)組相比是正向，那么實(shí)驗(yàn)成功，可全量。
• 不可反轉(zhuǎn)的情況：如果A/B實(shí)驗(yàn)觀察的結(jié)論為負(fù)向，切記不可進(jìn)行反轉(zhuǎn)實(shí)驗(yàn)，會(huì)損傷原對(duì)照組的用戶體驗(yàn)。

三、如何分析A/B試驗(yàn)

舉2個(gè)例子進(jìn)行說(shuō)明：

實(shí)驗(yàn)一：對(duì)最近7日流失新用戶進(jìn)行push召回，以提升新用戶留存。

由于目標(biāo)用戶群大多為白領(lǐng)，早上7點(diǎn)在吃飯或者通勤，很少有機(jī)會(huì)打開APP。而中午到下午有些許的休息時(shí)間，推送效果最好。

實(shí)驗(yàn)二：對(duì)秒殺商品列表頁(yè)價(jià)格樣式做優(yōu)化，以提升秒殺頻道轉(zhuǎn)化率。

通過(guò)優(yōu)化秒殺商品原價(jià)展示樣式，突出商品原價(jià)的展示，進(jìn)而強(qiáng)調(diào)秒殺頻道的商品的價(jià)格差，提升用戶購(gòu)買轉(zhuǎn)化率。

四、A/B測(cè)試的價(jià)值

數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新，數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)，A/B測(cè)試是其中核心的工具和引擎。字節(jié)跳動(dòng)的實(shí)驗(yàn)平臺(tái)，每天新開的實(shí)驗(yàn)有1500多個(gè)，同時(shí)運(yùn)行的實(shí)驗(yàn)有上萬(wàn)個(gè)。上到中高層管理人員，下到一線產(chǎn)品和運(yùn)營(yíng)人員，大家的普遍共識(shí)是：A/B測(cè)試是一切決策的前提和基礎(chǔ)，用數(shù)據(jù)說(shuō)話。

業(yè)務(wù)創(chuàng)新：通過(guò)持續(xù)的功能優(yōu)化打磨，累積創(chuàng)新效果，逐步形成迄今最優(yōu)的產(chǎn)品形態(tài)，同時(shí)可將優(yōu)秀的功能模塊抽象沉淀至通用化組件平臺(tái)。

筆者曾將驗(yàn)證過(guò)后最優(yōu)的產(chǎn)品功能，抽象為可配置通用組件，沉淀在樂(lè)高平臺(tái)（自助搭建h5頁(yè)面的平臺(tái)，類似京東的通天塔），供不同業(yè)務(wù)使用，從而將產(chǎn)品效應(yīng)發(fā)揮到最大。

收益提升：在電商/金融等交易相關(guān)產(chǎn)品中，通過(guò)優(yōu)化交易鏈路可直接帶來(lái)可觀的經(jīng)濟(jì)收益。

管理提效：通過(guò)A/B實(shí)驗(yàn)精準(zhǔn)衡量新功能產(chǎn)出，為管理層提供準(zhǔn)確的數(shù)據(jù)依據(jù)和科學(xué)度量。

五、寫在最后

A/B測(cè)試是一個(gè)非常有用的工具，它很強(qiáng)大，但它僅僅是一個(gè)工具。產(chǎn)品經(jīng)理在日常工作中，應(yīng)該是帶著想法、思考，然后再去運(yùn)用它來(lái)幫助驗(yàn)證。張一鳴在2019年字節(jié)成立7周年大會(huì)上說(shuō)過(guò)一句話：“同理心是地基，想象力是天空，中間是邏輯和工具” ，希望A/B測(cè)試這些理論的基石，能夠成為大家解鎖未來(lái)產(chǎn)品之門的一把鑰匙。

本文由 @王妍 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議