A/B測試的作用大家都知道，就不多說了，在這里寫寫我在平時(shí)工作中應(yīng)用心得。

在我的業(yè)務(wù)線平時(shí)應(yīng)用A/B的場景：A大多是已經(jīng)在線的一個(gè)產(chǎn)品，而B是一個(gè)我們將要上線的另一版本的產(chǎn)品（有可能是改進(jìn)也有可能是推倒重來的），因?yàn)橹苯油ㄟ^B去替換A可能用戶一下子接收不了，所以我們會(huì)切部分用戶出來用B版本，上線一段時(shí)間后，收集用戶的反饋，再去調(diào)整，逐步去替換使用A的用戶，這樣做能讓用戶更平滑的接收。別小看這個(gè)過程，其實(shí)有很多策略可講究了。說說我的真實(shí)經(jīng)歷。

之前做【AE賣家后臺(tái)首頁改版】的時(shí)候有兩種方案做A/B測試，第一種：直接切20%的流量體驗(yàn)新版后臺(tái)（根據(jù)帳號(hào)數(shù)隨機(jī)切20%的用戶登錄就跳轉(zhuǎn)到新版），不提供【返回舊版】入口，另一種切50%的流量讓用戶體驗(yàn)新版后臺(tái)，但是要提供【返回舊版】的入口。

第一種方案相對比較保守或者說慎重，因?yàn)橛脩舨荒芑氐皆瓉硎煜さ捻撁嬷腥ナ褂茫貏e是在后臺(tái)（執(zhí)行任務(wù)為主）一旦用戶有比較緊急和重要的任務(wù)要做（比如編輯產(chǎn)品、發(fā)貨、回復(fù)詢盤），會(huì)非常影響他的效率，從而直接帶來一些不理性的反饋。好處：如果產(chǎn)品的改版是方向性的（就是商業(yè)決策上一定要這樣去改了)，那通過這種方案一步步切流量，整個(gè)過程還需要和用戶溝通解釋，就能有個(gè)較平滑的過渡，比如網(wǎng)站首頁的改版、SKU項(xiàng)目。

第二種方案就比較開放，因?yàn)橛脩粲小痉祷嘏f版】的入口，用的不爽可以回去，而且被測試的用戶基數(shù)較大，這樣得到的反饋相對來說更有定量的價(jià)值，容易發(fā)現(xiàn)同類度比較多的問題，相對來說反饋內(nèi)容也比較理性充實(shí)，我在群里、網(wǎng)上、上門跟用戶聊的時(shí)候他們大多都說出對于不爽的很多細(xì)節(jié)。

當(dāng)然這兩種方案都基于一個(gè)很重要的前提，改版前做好功課：解決的問題和用戶期望匹配度要高，準(zhǔn)，而且第二種尤其。寫到這里大家應(yīng)該能看出我最終選擇了哪種方案做了【AE賣家后臺(tái)首頁改版】。

對了，第二種方案還能給我們一個(gè)很重要的結(jié)果指標(biāo)，就是用戶在A/B版本的存留人數(shù)，再來看個(gè)當(dāng)時(shí)【AE賣家后臺(tái)首頁改版】review數(shù)據(jù)圖。

此次使用A/Btest的進(jìn)行測試，新舊版各50%的用戶，在新舊版頭部布有切換按鈕，用戶在下次登錄ME時(shí)會(huì)自動(dòng)進(jìn)入上次退出地的ME版本中。

總的來說新版上線后，用戶隨著一個(gè)時(shí)間段的體驗(yàn)和適應(yīng)，新舊版的的存留上是五五開。

新版由于鏈接數(shù)上有所簡化，所以PV對比上會(huì)略低，而新版Session在近一周有所超越舊版的跡象。

通過存留比能很好的反映用戶最終的接受度，同時(shí)也是作為判斷產(chǎn)品是達(dá)到足夠替換舊版的一個(gè)重要指標(biāo)之一。

這里再提一下對于改版類的A/B測試還有一大利器就是熱點(diǎn)分布圖，基本能很直觀的表現(xiàn)出用戶的焦點(diǎn)功能能否在一屏內(nèi)看到，操作到，盡量少的需要滾動(dòng)。

當(dāng)然每個(gè)產(chǎn)品情況不同不一定是看類似的指標(biāo)數(shù)據(jù)，但在做A/B前梳理清楚上線后通過哪些數(shù)據(jù)來衡量是非常重要的，衡量哪些指標(biāo)，我們UED也最好能主動(dòng)和PD一起去討論，畢竟有些指標(biāo)數(shù)據(jù)能指導(dǎo)、影響我們的方案和看問題視角。

當(dāng)然A/B測試還有很多種用法和分步實(shí)施方案，測試出的結(jié)果也會(huì)有很多有意思的解讀，項(xiàng)目做的多了，思考的多，遇到的問題多了，都能感受的到，以上只是舉了個(gè)簡單的例子。

A/B測試和PD

寫到這個(gè)標(biāo)題，是我想到了很多時(shí)候UED在PD溝通方案出現(xiàn)分歧時(shí)，最終會(huì)提出做A/B測試，這本身沒錯(cuò)。但我在和PD們聊過這個(gè)問題時(shí)，他們有時(shí)候會(huì)有一種較負(fù)面的感覺：這么小的一個(gè)需求還要做A/B哪有資源和時(shí)間，感覺這成了阻礙他們項(xiàng)目進(jìn)度的一個(gè)絆腳石?？赡芪覀冎皇窍胱C明自己更對，并沒有那種意思，但如果對方有了這種感受其實(shí)很不利于以后的合作的。

我的一點(diǎn)點(diǎn)看法就是，如果項(xiàng)目是很重要和關(guān)鍵的改動(dòng)，我們盡早提出該項(xiàng)目需要做A/B測試（PD也會(huì)比較慎重的，最好你還能提出如何去做A/B測試的建議方案更nice），規(guī)劃到項(xiàng)目整體資源中去，而不是在項(xiàng)目KICKOFF后，大家都完成了評估開始執(zhí)行了再來提。如果是些小改動(dòng)影響不大，方案一直糾結(jié)不下，哪我建議我們大度點(diǎn)讓讓TA們吧，最后真的他們錯(cuò)了，補(bǔ)救的成本也不會(huì)太高的。這點(diǎn)是我們需要注意下的。

以上只是個(gè)人心得，雖不能適用大家的工作場景，但舉一反三，希望帶給大家一點(diǎn)點(diǎn)思考，就算沒浪費(fèi)大家讀到這里了。

來源：aliued