想提高AB實驗的質(zhì)量嗎？本文將揭示如何通過深入的數(shù)據(jù)分析與用戶洞察，產(chǎn)出高質(zhì)量實驗假設(shè)，停止無效的實驗嘗試。

一、實驗想法的產(chǎn)生

1. 避免錯誤的實驗出發(fā)點

很多人在做實驗時，往往從自己的想法出發(fā)，覺得設(shè)計難看想做更好看的，覺得按鈕應(yīng)該是紅色不是藍(lán)色，或者覺得競品的某個功能不錯也想測試一下。

但正確的做法應(yīng)該是從用戶和業(yè)務(wù)問題出發(fā)，比如用戶反饋某個流程太復(fù)雜，或者數(shù)據(jù)顯示某個關(guān)鍵指標(biāo)下降、轉(zhuǎn)化率很低等。找對實驗的出發(fā)點是極其重要的第一步。

2. 實驗想法的來源

1）用戶和業(yè)務(wù)問題出發(fā)

實驗想法應(yīng)該從解決用戶和業(yè)務(wù)的實際問題出發(fā)，而不是主觀臆測。

比如用戶反饋稱訂單提交流程太長影響體驗，數(shù)據(jù)也顯示這一步驟的流失率很高，這就是一個明確的優(yōu)化方向。再比如數(shù)據(jù)顯示搜索準(zhǔn)確率較低導(dǎo)致用戶滿意度下降，這也是一個亟待解決的問題。

做到这三点挑战，产品经理只会不断升值

好的产品经理是很稀缺的，懂用户、懂商业、懂数据的产品经理走出互联网，依然是抢手货。相反，如果只做简单传话、低效执行、浅层思考的产品经理，恐怕走不过未来3-5年的洪流。

查看详情 >

2）關(guān)鍵指標(biāo)分析

另一個實驗想法的重要來源是關(guān)鍵指標(biāo)的變化。

如果一直以來比較穩(wěn)定的指標(biāo)如激活率、留存率、轉(zhuǎn)化率等突然出現(xiàn)了明顯下滑，或者長期低于競品水平，這很可能意味著產(chǎn)品設(shè)計存在問題，值得深入分析原因并設(shè)計實驗進(jìn)行優(yōu)化。

相反，如果關(guān)鍵指標(biāo)表現(xiàn)一直很好，可以考慮做一些更長期的實驗，嘗試引入新功能、新體驗。

3）參考最佳實踐

除了通過定量定性數(shù)據(jù)分析尋找洞察，參考相關(guān)領(lǐng)域的最佳實踐也是一個重要的思路來源。

比如做注冊流程優(yōu)化，不妨先去看看業(yè)內(nèi)卓越的產(chǎn)品是如何設(shè)計的，總結(jié)他們的特點，再結(jié)合自身產(chǎn)品特點，形成優(yōu)化方案。

又比如想做品類頁面重構(gòu)，可以先研究其他產(chǎn)品的同類頁面，分析哪些模塊提升了用戶的購買意愿，哪些模塊可能分散了用戶注意力，再對標(biāo)找尋差距和機會點。

二、高質(zhì)量實驗想法的標(biāo)準(zhǔn)

1. 實驗結(jié)果的顯著性

高質(zhì)量的實驗想法，往往能帶來顯著的結(jié)果提升，實驗成功率高。

比如測10個實驗有4-5個是成功的，而不是大多數(shù)都是失敗的。

2. 實驗假設(shè)的數(shù)據(jù)支持

判斷實驗想法質(zhì)量的另一個標(biāo)準(zhǔn)是，實驗假設(shè)是否有充分的數(shù)據(jù)支持。

一個好的實驗假設(shè)，往往建立在大量的數(shù)據(jù)分析基礎(chǔ)之上，能夠用數(shù)據(jù)解釋為什么會出現(xiàn)當(dāng)前的問題，以及為什么認(rèn)為這個實驗?zāi)軌蚪鉀Q問題。

三、實驗假設(shè)的形成

1. 實驗類型與目標(biāo)對應(yīng)

1）單點轉(zhuǎn)化率提升

對于提升單個頁面或元素轉(zhuǎn)化率的實驗，主要使用定量分析計算轉(zhuǎn)化率、熱力圖、用戶分群等，定性分析包括可用性測試、問卷反饋等，最佳實踐有文案、設(shè)計、用戶心理學(xué)等方面的參考。

如”在行”app通過用戶調(diào)研發(fā)現(xiàn)，較長的課時數(shù)會降低用戶了解課程的欲望。于是他們嘗試去掉總課時顯示，最終使點擊率提升了500%。這一假設(shè)的形成正是源于用戶反饋的洞察。

2）全路徑轉(zhuǎn)化率優(yōu)化

而漏斗或路徑轉(zhuǎn)化率的優(yōu)化實驗，使用的分析方法與前者類似，只是多了漏斗分析、路徑設(shè)計等數(shù)據(jù)部分。

例如電商平臺斗牛想提高銷售額，在下單頁面加了一句”平臺鑒定通過再發(fā)貨”，結(jié)果下單率提升46%，支付率提升70%。

他們先明確了提升下單率的目標(biāo)，然后通過用戶訪談發(fā)現(xiàn)擔(dān)心假貨是一大障礙，由此得出了添加品質(zhì)保證有助提升下單的假設(shè)。

后來斗牛還把多步的結(jié)算流程合并，改為支付彈窗，使得支付轉(zhuǎn)化率比原來提高26%。這個想法是通過定量分析發(fā)現(xiàn)結(jié)賬漏斗流失率高，結(jié)合”漏斗步驟越少轉(zhuǎn)化率越高”的最佳實踐而形成的。

3）新功能或版本的測試

當(dāng)要測試一個全新的功能或版本時，由于缺乏歷史數(shù)據(jù)參考，需要先盡可能收集潛在用戶的反饋，可以通過用戶訪談、問卷調(diào)查等方式。同時可以參考同類型功能在競品中的效果，結(jié)合自身的差異化定位，形成測試假設(shè)。

比如視頻網(wǎng)站愛奇藝在上線彈幕功能前，可以先研究彈幕在其他視頻網(wǎng)站的使用情況，再結(jié)合自身的清晰度、觀影氛圍的定位，測試彈幕的字體大小、透明度、開關(guān)等，以找到最平衡的設(shè)計。

2. 高質(zhì)量假設(shè)的案例

1）Canva個人化上手實驗

澳洲公司Canva的產(chǎn)品是在線作圖軟件，它做了一個新用戶個人化上手的實驗——給新來的用戶提供了一些海報的模板，讓你們?nèi)ミx，然后再去做你們想做的海報。

這一個非常小的實驗發(fā)現(xiàn)這個功能本身的激活率提升了12%，同時每年給這個公司帶來了上百萬的美金的利潤。

這樣一個看上去不是很復(fù)雜的實驗，為什么結(jié)果這么好？他們是如何找到這樣一個高質(zhì)量的實驗想法？

其實就是回歸剛才說的，從數(shù)據(jù)中去尋找洞察。

首先他的目標(biāo)是提升新用戶的激活率，他們通過很多的定量分析就發(fā)現(xiàn)在所有開始使用產(chǎn)品的用戶中，使用海報功能是最多的，但是很多用戶開始使用海報功能之后沒有完成就流失掉了。

接下來他們又通過定性分析的方式去尋找原因，他們做了可用性測試，針對流失用戶和留存用戶做了問卷來進(jìn)行對比。最終他們得到了一個洞察——來到 Canva使用海報功能的用戶，他們做海報的類型五花八門，有的是小學(xué)老師給他們班級演唱會做海報，有的是一個教堂想要做一個海報，有的是各種各樣其他的原因。如果用戶沒有找到一個合適的模板能夠馬上使用，他們馬上就走掉了。

市面上很多的產(chǎn)品都有個人化的上手流程，根據(jù)用戶的目標(biāo)提供不同的服務(wù)。這樣的個人化的流程最佳實踐一般來說表現(xiàn)是很好的。

所以它結(jié)合數(shù)據(jù)和最佳實踐，最終形成了它的實驗假設(shè)——給用戶開發(fā)個人化的這個海報模板可以提升激活率，最終實驗結(jié)果證明了它的假設(shè)是正確的。

綜上，Canva就通過三步驟——明確目標(biāo)+定量和定性分析的方式找到問題+參考最佳實踐，產(chǎn)生高質(zhì)量的實驗想法。

2）滴滴快車營銷頁轉(zhuǎn)化率提升

滴滴想提升快車營銷頁的注冊轉(zhuǎn)化率，最終在新版本中突出了明確的價值主張”每天跑一單，油錢輕松賺”，整體設(shè)計也更加清晰，重點突出，明確引導(dǎo)用戶下一步行動。最終使注冊率提升了21%。

那滴滴是怎么產(chǎn)生這樣一個高質(zhì)量的實驗想法？

滴滴去參考市面上的一些轉(zhuǎn)化率優(yōu)化的最佳實踐——lift 模型，這是很多公司在進(jìn)行轉(zhuǎn)化率優(yōu)化中非常用的一個模型，它強調(diào)的就是你要給用戶一個清晰的價值主張，這是轉(zhuǎn)化率優(yōu)化最重要的一個點，之后你要想辦法去提高相關(guān)性和清晰度。

相關(guān)性也就是整個用戶流程，用戶的針對性，整個漏斗每個步驟之間要一致，不能互相沖突。

清晰度是整個的設(shè)計文案，call to action 等等按鈕，每一個元素都要非常的清晰。

這兩件事兒，就是降低這個用戶的焦慮和注意力分散，不要給他太多的信息，太多的選項。

四、實驗設(shè)計的策略

1. 數(shù)據(jù)分析的深入

1）三要素的綜合利用

定量數(shù)據(jù)能幫我們發(fā)現(xiàn)問題所在，如某個漏斗的轉(zhuǎn)化率很低；

定性數(shù)據(jù)能幫我們了解問題發(fā)生的原因，如轉(zhuǎn)化率低是因為用戶覺得操作太復(fù)雜；

最佳實踐則提供了優(yōu)化思路，如加個進(jìn)度條讓用戶有明確預(yù)期。

所以我們要有意識的去應(yīng)用定量分析、定性分析、最佳實踐這樣三種數(shù)據(jù)去給我們的假設(shè)提供證據(jù)。

2）多輪數(shù)據(jù)分析提升假設(shè)質(zhì)量

有時我們需要發(fā)現(xiàn)問題，分析數(shù)據(jù)得出初步假設(shè)，然后再進(jìn)行一輪分析排除一些假設(shè)，發(fā)現(xiàn)質(zhì)量更高的假設(shè)，多輪分析有助不斷提高假設(shè)的質(zhì)量。

比如先從整體數(shù)據(jù)發(fā)現(xiàn)問題，形成初步猜想，然后深入分析具體受眾、場景，修正假設(shè)。接著通過用戶調(diào)研驗證假設(shè)，必要時再收集新的數(shù)據(jù)佐證。層層深入、反復(fù)論證，不斷提高假設(shè)的準(zhǔn)確性。

2. 最佳實踐的應(yīng)用與挑戰(zhàn)

在應(yīng)用最佳實踐時，要根據(jù)自身的獨特情況，靈活調(diào)整，甚至做一些創(chuàng)新的嘗試。

比如前面提到”漏斗步驟越少轉(zhuǎn)化越高”是一條最佳實踐，但也要考慮步驟簡化后是否影響了信息的完整性。

美國房產(chǎn)網(wǎng)站 Redfin 發(fā)現(xiàn)，多步注冊流程問了用戶很多信息，轉(zhuǎn)化率反而更高，因為用戶覺得提供了這么多信息，就能得到更個性化的服務(wù)。

這個案例說明了過于迷信最佳實踐的風(fēng)險。最佳實踐來源于過去的經(jīng)驗總結(jié)，但未來的情況可能發(fā)生變化，用戶需求可能與以往不同。盲目追求最佳實踐，反而可能錯失機會。

所以，深入的數(shù)據(jù)分析和深刻的用戶洞察，才是提出高質(zhì)量假設(shè)的核心關(guān)鍵。

五、提升轉(zhuǎn)化率的最佳實踐

最后總結(jié)一下提升轉(zhuǎn)化率的最佳實踐，大概可以分為四個方向：

1. 提升注意力
2. 提升用戶的動力
3. 降低用戶的阻力
4. 考慮特殊的場景

各種各樣的最佳實踐其實都是可以從這四個方向去歸類思考。

1. 注意力的提升

提升用戶的注意力，可以采取的最佳實踐包括：重要信息放在顯著位置、加大重點信息的字體、圖片吸引眼球、利用留白突出重點等。

比如可以把按鈕設(shè)計得更大更醒目，將折扣信息用更大的字體標(biāo)出，或者在文案前加上表情符號吸引注意?？傊層脩舻谝谎劬湍芸吹阶铌P(guān)鍵的內(nèi)容。

2. 用戶動力的增強

增強用戶的動力，常見的最佳實踐有：使用社交證明、制造稀缺感、利用返利或優(yōu)惠、強調(diào)產(chǎn)品價值等。

比如在產(chǎn)品評價中展示用戶的好評，在鍛煉App中展示其他人的鍛煉成果;或者顯示”限時折扣”、”僅剩3件”等字樣;再或者承諾”買二贈一”、”分享立減20元”等。目的都是激發(fā)用戶的購買欲和行動力。

3. 用戶阻力的降低

降低用戶的阻力，可以遵循的最佳實踐包括：簡化流程、減少填寫項、提供客服支持、提供退款保證等。

比如簡化注冊流程，只要求用戶填寫最基本的信息；或者在表單旁提供填寫樣例，方便用戶參考；再或者在結(jié)算頁提供在線客服，實時解答用戶疑慮；以及承諾”7天無理由退換”，讓用戶放心購買。這些做法都能有效降低用戶的心理和操作障礙。

4. 特殊場景的考慮

除了以上三點之外，還要考慮特殊場景下轉(zhuǎn)化的最佳實踐。

比如在移動端要考慮手機屏幕的限制，盡量減少輸入，放大按鈕；在逢年過節(jié)時要結(jié)合節(jié)日氛圍，推出應(yīng)景的活動;面對不同地域的用戶，要考慮他們的文化習(xí)俗差異；面對老年用戶，要使用更大的字號，更簡單的語言?？傊鶕?jù)實際情況，對最佳實踐做出調(diào)整。

綜上，只有真正從用戶視角出發(fā)，充分挖掘定量和定性數(shù)據(jù)，并根據(jù)自身情況靈活借鑒最佳實踐，才能形成高質(zhì)量的實驗假設(shè)，產(chǎn)出最符合用戶需求、最有益于業(yè)務(wù)增長的優(yōu)化方案。

這需要一個不斷試錯、持續(xù)迭代的過程。但長期堅持下去，必將帶來轉(zhuǎn)化率和各項關(guān)鍵指標(biāo)的顯著提升，給產(chǎn)品和運營帶來長足進(jìn)步。