本文作者分享了自己從事產(chǎn)品經(jīng)理三年以來做AB Test的相關(guān)經(jīng)驗。在自我總結(jié)的同時，期待可以提高自己。

入行三年，回顧自己做過的四五十個AB Test，有成功也有失敗，有疑惑也有感嘆。剛開始接觸AB Test理論的時候，心想這真的是產(chǎn)品的一劑靈丹妙藥啊，就像互聯(lián)網(wǎng)有一句話，“當產(chǎn)品想不清楚的時候，就做AB吧！”，但它真的有這么靈嗎？它真的能拯救你的產(chǎn)品于水火嗎？讓我們一起揭開AB Test的靚麗面紗。

一、當我們說起AB Test，我們在說什么

AB Test實際上是一種假設(shè)性驗證，是一種很科學的方法論。通過設(shè)置只有一個變量的實驗，在兩組特征均分的用戶群中放置一段時間，最終分析由這個變量帶來的數(shù)據(jù)浮動。

與其互相撕逼，不如讓數(shù)據(jù)說話。

舉個例子：審美是一件非常復(fù)雜的事情，2017年，團隊的設(shè)計師們曾經(jīng)用AB Test的邏輯不斷測試，尋找到了點擊率更優(yōu)的Banner樣式，把審美這件事進行量化。一方面，這次的AB確實讓我們在能想到的幾種設(shè)計樣式中找尋到了最優(yōu)解，減少設(shè)計師和運營平時的相互扯皮，提升團隊效率；但另一方面，也給大家?guī)砹诵碌乃伎?，市場會變，審美會變，現(xiàn)在的最優(yōu)解在未來真的適用嗎？

我們現(xiàn)在AB到的所有方案，包含了所有可能的形式嗎？會有更好的形式嗎？仿佛小熊摘玉米，可能你能看到的，就是某個空間某個時間內(nèi)的最大的玉米，而后面更大的玉米，隱藏在你的下一次判斷中。真的要不斷依賴AB去尋找這個最大的玉米嗎？

實際上，AB Test解決是的決策的準確性和成本之間的平衡問題。決策的準確性是指你能否有看到周圍更大的玉米的能力。這決定著，投入產(chǎn)出比的天花板。判斷的成本是指這個相互PK尋找更大的玉米的過程是有成本的，無論是產(chǎn)品設(shè)計、開發(fā)、數(shù)據(jù)分析、溝通成本，還有最重要的時間成本，都會讓整個戰(zhàn)線拉的非常長。如果產(chǎn)品每次都可以以較為準確的眼光迅速發(fā)現(xiàn)周圍比較大的玉米，那么實際上是不需要AB Test提供這個PK的過程的。而判斷的準確性。仍然是決定這場戰(zhàn)爭的核心。

二、AB Test的常見誤區(qū)

1. 想不清楚就做AB？你只是把困境后移了

剛剛接觸AB的時候，大家會覺得這是一劑救命稻草。因為是拍照類的APP，拍照效果就是我們的核心，有時候作出兩種效果的方向，但產(chǎn)品和效果設(shè)計師暫時想不清楚，哪一種效果用戶會更喜歡呢？于是把一堆自拍效果同時上線AB。

我做過最多的一次AB，是有56個實驗組，把各種效果參數(shù)拆開排列組合，完全以數(shù)據(jù)結(jié)論為導(dǎo)向來設(shè)置實驗。最后上線之后，數(shù)據(jù)有好有壞，用戶反饋也一大堆，然后再根據(jù)數(shù)據(jù)和用戶反饋去拆解，為什么實驗組A好，為什么實驗組B不好；為什么年齡大一點大用戶會吐槽效果1，年齡小一點大用戶會吐槽效果2。

這就是想不清楚實驗?zāi)康牡腁B最終會帶來的困境。所以說，還是要基于產(chǎn)品核心能力和市場，有最起碼的判斷和假設(shè)。再去用AB去驗證這個假設(shè)。

2. 指標找錯，一切全費

每個產(chǎn)品都有自己的北極星指標。所謂北極星指標，就是一旦這個指標變動，產(chǎn)品的戰(zhàn)略目標指標也會產(chǎn)生強因果關(guān)系的變動。在尋找北極星指標的過程中，我們探索過很多次，最終把核心業(yè)務(wù)的保存數(shù)定為北極星指標，在實行了一年的周期之后，還是發(fā)現(xiàn)這個指標找錯了。因為后面我們發(fā)現(xiàn)當保存數(shù)瘋漲的時候，戰(zhàn)略目標DAU或者收入并沒有因此而增長。這意味著，之前所有AB Test的結(jié)論都站不住腳，換句話說，做了一年的“無效AB”，浪費了無法去估計的資源成本。所以可見，指標的尋找是多么重要。

3. AB的結(jié)果是好的，一全量并沒有什么卵用？

我們之前做過的很多AB Test都有這個問題，做了很多比較正向且可信的測試，但全量之后，仿佛一粒沙子融入了大海，大盤并沒有什么波動。分析起來，本質(zhì)上是一種增長乏力的表現(xiàn)。這種乏力分為兩種情況：

• 每次AB帶來的變動很小，最終反應(yīng)在結(jié)果上數(shù)據(jù)的波動非常小，即使正向，因為其能帶來的改變天花板非常低。
• 做撬動市場的新功能，但最終沒能打成戰(zhàn)略目標的提升。

這時候，市場在提醒你，也許應(yīng)該換一種思路來做產(chǎn)品。

4. 一定要做的改變，需要做AB嗎？

業(yè)界，我見過上新一個功能，就必須做AB Test的產(chǎn)品。如果數(shù)據(jù)不好，這個功能整個都不上線。其實我個人是不太建議這樣的方法。對于那些戰(zhàn)略新功能，做好前期的市場調(diào)研、需求挖掘更重要。甚至有了功能之后不上線，利用可行性測試讓目標用戶試用，不斷優(yōu)化并最終上線。

一定要做的改變也不限于想要撬動市場的新功能，還可能是接下來的戰(zhàn)略目標部署等。想清楚之后，如果這些是一定要做的，那么不要讓AB阻擋你改變的腳步。

三、如何真正用好AB Test

1. 忘記它，以不做AB Test為己任

任據(jù)App?Sumo評估，只有25％的AB測試產(chǎn)生了有意義的結(jié)果。而一次完整的AB測試周期可能就需要幾周的時間。有人經(jīng)常問我：AB能來帶增長嗎？答案是，并不能。它只是產(chǎn)品的一種輔助工具，并且要謹慎試用。一個依賴AB Test的產(chǎn)品，并不真正理解它的用戶，它的產(chǎn)品和它的方向。有的時候，AB一時的數(shù)據(jù)雖然是負向的，但如果產(chǎn)品能判斷這一步的修改對未來戰(zhàn)略目標的意義，數(shù)據(jù)也就變得不那么重要了。

每次我們產(chǎn)品內(nèi)部在討論需求的時候，有人在提AB，我都會詢問（1）AB的目的是什么？（2）你覺得哪個方案會更好？（3）你是否做過市場分析和用戶調(diào)研？這三個問題能夠有效幫產(chǎn)品梳理需求的意義。如果僅僅以“我拿不準哪個方案會更好”來進行AB，那么最終你的團隊會陷入無限AB無限浪費資源的死循環(huán)。所以警惕你的團隊始終在用AB的思路前進，要讓每個產(chǎn)品都培養(yǎng)“以不做AB Test”為己任的意識。

2. 尋找屬于你的業(yè)務(wù)的AB Test規(guī)律

不同類型的AB Test是有不同的策略的。針對我們做過的所有AB Test，我做了這個一個梳理：首先按照有沒有創(chuàng)造新價值，可以把AB分為增長類和核心類。

• 增長類的AB分為兩類，首先是視覺類的：一般是改一個icon的顏色、改一個UI的排布樣式。另一類是路徑類：減少或者改變用戶的路徑。這一類的增長天花板比較低，不需要給它過高的預(yù)期，但往往投入產(chǎn)出比很高。如果項目組有余力，可以簡單快速AB。
• 核心類的AB也分為兩類。一類是對已經(jīng)上線的新功能進行修改/優(yōu)化。這一類的AB經(jīng)常會影響到老用戶的使用體驗，特別是對于產(chǎn)品的核心功能，一定要慎重修改。比如微信的聊天主界面，從一開始上線到現(xiàn)在，也不會做過多的修改。另一類是完全拓展的新的功能，提供了新的價值。這種建議多結(jié)合市場進行判斷，大膽上線。

這只是針對我們自己做過的實驗進行的總結(jié)，并不保證適用于所有的行業(yè)。也許你的行業(yè)也有類似的規(guī)律可循，不妨試試吧！

最后，我想談?wù)劇爱a(chǎn)品感”這件事情。對于產(chǎn)品經(jīng)理來說，產(chǎn)品感仍然是我們最核心的能力和價值。AB是一種很理性的增長思路，它往往顯得沒有那么有“人情味”，你無法決定它的答案，但你可以決定如何使用它。一旦開始使用它，預(yù)示著團隊以數(shù)據(jù)目標為導(dǎo)向的決心，但千萬不要被AB的結(jié)論帶著走，忘記了產(chǎn)品的初心。

作者：小梅梅，美圖公司產(chǎn)品經(jīng)理

本文由 @小梅梅 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash ，基于 CC0 協(xié)議