最大化A/B實(shí)驗(yàn)成效:這個(gè)方法絕對不能忽視

0 評論 869 瀏覽 3 收藏 18 分鐘

想象一下,如果能預(yù)先知道哪些實(shí)驗(yàn)最成功,并將資源和精力集中于此,會對你的增長效能產(chǎn)生怎樣的影響?本文將告訴你,如何利用ICE模型讓你的每一次實(shí)驗(yàn)都能產(chǎn)生最大的效益。

ICE模型是一種對實(shí)驗(yàn)想法進(jìn)行優(yōu)先級排序的綜合評估框架,其目的是幫助我們最大化實(shí)驗(yàn)效果。

ICE三個(gè)字母分別代表:影響力(Impact)、成功概率(Confidence)和易實(shí)施性(Ease)。

通過對每個(gè)實(shí)驗(yàn)想法從這三個(gè)維度進(jìn)行打分,并綜合得到總分,我們就可以對實(shí)驗(yàn)的優(yōu)先級進(jìn)行排序。

一、ICE模型定義

1. ICE模型定義媒體

(1)影響力

指的是實(shí)驗(yàn)成功后對關(guān)鍵指標(biāo)的提升程度。主要考慮兩個(gè)因素:實(shí)驗(yàn)覆蓋的用戶量以及實(shí)驗(yàn)?zāi)軌驅(qū)⒅笜?biāo)提升的幅度。

(2)成功概率

取決于是否有充分的數(shù)據(jù)洞察支持實(shí)驗(yàn)假設(shè)。數(shù)據(jù)來源可以是定量數(shù)據(jù)、定性數(shù)據(jù)或行業(yè)最佳實(shí)踐等。

(3)易實(shí)施性

需要考慮上線實(shí)驗(yàn)需要投入的各項(xiàng)成本,如研發(fā)資源、設(shè)計(jì)資源、經(jīng)濟(jì)成本等。我們希望以最低的成本快速驗(yàn)證實(shí)驗(yàn)假設(shè)。

2. 通過ICE模型進(jìn)行實(shí)驗(yàn)想法評分和排序

針對每個(gè)實(shí)驗(yàn)想法,從影響力、成功概率和易實(shí)施性三個(gè)維度打分,再綜合得到總分。總分越高,代表實(shí)驗(yàn)想法的優(yōu)先級越高,越值得優(yōu)先執(zhí)行。

要注意的是,在做增長實(shí)驗(yàn)想法優(yōu)先級排序的過程中,不要去盲目的追求精確性。

因?yàn)?ICE模型或者其他的一些優(yōu)先級排序的模型也好,都只是一個(gè)參考的框架,不是一個(gè)絕對的科學(xué),不需要花太多的時(shí)間去追求每個(gè)打分的絕對的完美和科學(xué),而是要把重點(diǎn)放在提高實(shí)驗(yàn)頻率和數(shù)量上。

二、ICE模型應(yīng)用案例分析

接下來我們通過一個(gè)案例,演示如何利用ICE模型對實(shí)驗(yàn)想法優(yōu)先級進(jìn)行排序。

1. 提升新用戶預(yù)定成功率的實(shí)驗(yàn)想法

假設(shè)我們是一個(gè)訂房網(wǎng)站,希望提升新用戶預(yù)定房間的成功率,現(xiàn)有以下三個(gè)實(shí)驗(yàn)想法:

(1)微信一鍵登錄功能的開發(fā)

我們發(fā)現(xiàn)很多新用戶在注冊環(huán)節(jié)就流失了,考慮開發(fā)微信一鍵登錄功能以優(yōu)化注冊流程。

(2)頁面上添加全網(wǎng)最低價(jià)保證

通過在頁面上添加全網(wǎng)最低價(jià)的標(biāo)語,降低用戶對價(jià)格的顧慮,促進(jìn)用戶下單。

(3)為熱門房源添加精選標(biāo)簽

對熱門房源添加醒目的精選標(biāo)簽,吸引新用戶點(diǎn)擊和下單。這三個(gè)實(shí)驗(yàn)想法初看都有一定道理,但資源有限,我們需要決定先做哪個(gè),后做哪個(gè)。此時(shí)就可以借助ICE模型來評估每個(gè)想法的優(yōu)先級。

2. 訂房網(wǎng)站實(shí)驗(yàn)想法的ICE評分

1)微信一鍵登錄

高影響力、高成功概率、中等易實(shí)施性

影響力:9分

微信一鍵登錄可以顯著提升新用戶的注冊轉(zhuǎn)化,覆蓋幾乎所有新用戶,影響力很大。

成功概率:9分 wsc

微信登錄已是主流APP標(biāo)配,成功概率非常高。

易實(shí)施性:6分

開發(fā)微信登錄需要一定的研發(fā)資源投入,易實(shí)施性中等。

ICE總分:24分

2)全網(wǎng)最低價(jià)保證

中等影響力、高成功概率、高易實(shí)施性

影響力:7分

全網(wǎng)最低價(jià)承諾可以直接影響用戶下單決策,且如果展示在一些高流量頁面比較明顯的位置,那預(yù)期的影響會更大,但相比登錄環(huán)節(jié)影響力略低。

成功概率:9分

價(jià)格優(yōu)勢承諾符合消費(fèi)者心理,成功概率很高。

易實(shí)施性:8分

只需修改頁面文案,易實(shí)施性非常高。

ICE總分:24分

(3)精選標(biāo)簽

中等影響力、中高成功概率、較高易實(shí)施性

影響力:6分

精選標(biāo)簽可以在一定程度上引導(dǎo)用戶選擇,但相比價(jià)格承諾,影響力稍弱。

成功概率:7分

競品大多有此做法,但精選效果需要進(jìn)一步驗(yàn)證,成功概率中等偏上。

易實(shí)施性:7分

技術(shù)實(shí)現(xiàn)不復(fù)雜,但需要一定的數(shù)據(jù)分析支持,易實(shí)施性較高。

ICE總分:20分

從ICE模型打分結(jié)果看,微信一鍵登錄和全網(wǎng)最低價(jià)的綜合得分最高,達(dá)到24分。精選標(biāo)簽得分相對較低,為20分。

綜合考慮三個(gè)維度,全網(wǎng)最低價(jià)承諾無論在影響力、成功概率還是易實(shí)施性上都有不錯的表現(xiàn),各項(xiàng)指標(biāo)均衡,非常值得嘗試。

微信一鍵登錄的影響力和成功概率雖然更高,但實(shí)施起來有一定難度。所以我們建議優(yōu)先嘗試全網(wǎng)最低價(jià),其次是微信一鍵登錄,最后是精選標(biāo)簽。

增長目標(biāo)如同瞄準(zhǔn)鏡中的靶心,ICE模型可以幫你的AB實(shí)驗(yàn)更精準(zhǔn)地命中靶心。

三、提升實(shí)驗(yàn)的預(yù)期影響

通過ICE模型,我們可以較為準(zhǔn)確地估計(jì)每個(gè)實(shí)驗(yàn)想法的綜合價(jià)值。但在實(shí)踐中,我們往往會面臨一個(gè)問題:絕大多數(shù)實(shí)驗(yàn)的影響力都不夠大。

這主要是因?yàn)槲覀兊年P(guān)注點(diǎn)過于局限在最核心用戶身上,而忽視了更大范圍的用戶群體。比如,一般來說活躍用戶只占所有注冊用戶的 50% 甚至更低,而注冊用戶其實(shí)又是遠(yuǎn)遠(yuǎn)小于存在于外部渠道未注冊人群的。

因此從這個(gè)角度來看,增長實(shí)驗(yàn)如果只關(guān)心在核心用戶上的話,影響力是受到非常大的局限的。

1. 擴(kuò)大實(shí)驗(yàn)的用戶覆蓋范圍

那如何提升影響力?最重要的方法,就是是擴(kuò)大實(shí)驗(yàn)的用戶覆蓋面,不僅要關(guān)注核心用戶,更要把眼光放到更廣泛的用戶群體上。

核心用戶雖然是產(chǎn)品的中流砥柱,但在整體用戶中的占比往往不高。我們要主動將視角擴(kuò)展到活躍用戶、注冊用戶、過客用戶,甚至尚未接觸產(chǎn)品的潛在用戶身上,積極為這些非核心用戶策劃有價(jià)值的實(shí)驗(yàn)項(xiàng)目。

比如Airbnb就開發(fā)了很多面向非房客用戶的功能,如旅游攻略、社區(qū)論壇等,以擴(kuò)大實(shí)驗(yàn)的觸達(dá)面。

2. 利用高流量頁面和路徑進(jìn)行多次實(shí)驗(yàn)

要想撬動更大的影響力,第二個(gè)方法就是鎖定高流量頁面和用戶路徑,在這些關(guān)鍵節(jié)點(diǎn)上反復(fù)實(shí)驗(yàn),持續(xù)優(yōu)化。因?yàn)檫@些位置聚集著大量用戶,每一次小幅優(yōu)化帶來的效果提升都會被放大。

舉例,咪咕視頻為了提升APP下載量,針對下載頁反復(fù)進(jìn)行AB測試。最終,相比初始版本,優(yōu)化后的頁面點(diǎn)擊率提升了56%??梢娫诟吡髁宽撁嫔希种院愕膶?shí)驗(yàn)優(yōu)化,往往能收獲驚人的效果。

其實(shí)平時(shí)的工作中就可以有意識的去找各種關(guān)鍵路徑,一般來說漏斗上游的路徑,新用戶注冊激活的路徑,購買轉(zhuǎn)化的路徑等等都是值得去做多輪實(shí)驗(yàn)反復(fù)提升的路徑和頁面。

四、提高實(shí)驗(yàn)的成功概率

ICE模型中的C代表成功概率,即實(shí)驗(yàn)達(dá)到預(yù)期效果的可能性。我們在設(shè)計(jì)實(shí)驗(yàn)時(shí),一定要盡可能提高成功概率。而這需要扎實(shí)的數(shù)據(jù)洞察作為支撐。

回歸到上一篇文章,講的就是如何從數(shù)據(jù)中找到足夠有力的洞察和支持,包括各類定量和定性的分析。

定量數(shù)據(jù)能揭示用戶行為模式,定性數(shù)據(jù)如用戶反饋則能還原用戶心理。除此之外,競品分析、行業(yè)報(bào)告等也能為實(shí)驗(yàn)假設(shè)提供有價(jià)值的參考。唯有將各類數(shù)據(jù)高度整合,才能真正洞察用戶需求,找到最有可能成功的解決方案。

舉例,如果我們想要測試是否延長訂單支付的有效時(shí)間,可以提升訂單支付成功率。

首先可以通過數(shù)據(jù)分析,觀察不同支付時(shí)效下的訂單支付轉(zhuǎn)化情況。

其次可以收集用戶反饋,了解他們對支付時(shí)限的看法。

最后再參考同行業(yè)優(yōu)秀產(chǎn)品的做法,形成完整的決策依據(jù)。

五、降低實(shí)驗(yàn)的實(shí)施難度

除了影響力和成功概率,易實(shí)施性也是評估實(shí)驗(yàn)價(jià)值的重要指標(biāo)。資源總是有限的,我們需要以最小的成本,最快地驗(yàn)證實(shí)驗(yàn)效果。最好的方法就是通過 MVP 的方式與最低成本去驗(yàn)證實(shí)驗(yàn)假設(shè)。

1. MVP(最小可行產(chǎn)品)策略的應(yīng)用

MVP的核心思想是用最低成本快速開發(fā)原型,盡早與用戶見面,通過獲取用戶反饋來驗(yàn)證產(chǎn)品假設(shè),進(jìn)而不斷迭代優(yōu)化。

這種策略也非常適用于增長實(shí)驗(yàn)的設(shè)計(jì)。設(shè)計(jì)增長實(shí)驗(yàn) MVP 的時(shí)候,你要去考慮2個(gè)問題:

1)如何用最小資源快速驗(yàn)證假設(shè)

如果實(shí)驗(yàn)假設(shè)可以僅通過數(shù)據(jù)分析就證明或者證偽,那這個(gè)其實(shí)也是增長實(shí)驗(yàn)的MVP,你甚至不需要去開發(fā)這個(gè)實(shí)驗(yàn),只是通過數(shù)據(jù)就證明或者證偽了,這也是非常好的結(jié)果。

如果無法通過數(shù)據(jù)分析直接驗(yàn)證,是否有可能不用做完整的版本,而是開發(fā)一個(gè)小版本,就足以驗(yàn)證假設(shè)是對的還是錯的?

2) MVP實(shí)驗(yàn)是否能提供可信的決策參考

我們需要的是有效的結(jié)果和洞察,所以不能把實(shí)驗(yàn)的版本過分簡化,導(dǎo)致最終的結(jié)論不完整,無法證實(shí)或證偽實(shí)驗(yàn)想法,那這就不是一個(gè)可信的增長實(shí)驗(yàn)MVP。

2. 個(gè)人化注冊流程的MVP設(shè)計(jì)案例

實(shí)驗(yàn)假設(shè)是不同的用戶畫像需求不同,需要設(shè)計(jì)個(gè)人化的流程可以更好地滿足需求,提升成功注冊轉(zhuǎn)化率。

針對這樣的實(shí)驗(yàn)假設(shè), 如果貿(mào)然開發(fā)一整套個(gè)性化方案,會發(fā)現(xiàn)工程資源投入、設(shè)計(jì)資源投入、數(shù)據(jù)資源投入都是非常高的,那增長實(shí)驗(yàn)的容易程度的得分就會非常低。

所以,不妨想辦法把它轉(zhuǎn)化成一個(gè)輕量級MVP。比如只選 25 歲左右的女性,只針對這種人群來做個(gè)人化的注冊流程, 然后對該人群進(jìn)行小流量AB測試,驗(yàn)證效果。

如此一來實(shí)驗(yàn)資源投入會大大降低,如果提升明顯,再擴(kuò)大實(shí)驗(yàn)規(guī)模。

3. 無限滾屏功能的反面案例

艾奇是美國的一家創(chuàng)意手工電商平臺,他們的產(chǎn)品團(tuán)隊(duì)花了半年時(shí)間開發(fā)出了無限滾屏功能,上線后發(fā)現(xiàn)各項(xiàng)指標(biāo)非但沒有提升,反而出現(xiàn)下降。整個(gè)團(tuán)隊(duì)灰心喪氣,最終只能回滾到老版本。

再來一次的話,他們應(yīng)該怎么做呢?其實(shí)可以通過 MVP 方案測試,比如將原本只展示 50 個(gè)商品的頁面,變成展示 100 個(gè),通過這樣的方式去驗(yàn)證是不是更多的商品能夠提升用戶的購買轉(zhuǎn)化。

所以,更高效的做法是:先小范圍試錯,觀察數(shù)據(jù)表現(xiàn),成功后再迭代,而不是一口氣追求完美 。

從0到1快速驗(yàn)證,從1到100再反復(fù)打磨,這是一條極大提升實(shí)驗(yàn)成功概率和投入產(chǎn)出比的有效途徑。

4. Facebook通過MVP快速驗(yàn)證實(shí)驗(yàn)假設(shè)

事實(shí)上,很多優(yōu)秀的產(chǎn)品在實(shí)驗(yàn)設(shè)計(jì)上已經(jīng)形成了一套成熟的方法論。以Facebook的增長實(shí)驗(yàn)流程為例,從想法提出到正式上線,每個(gè)階段都經(jīng)過了縝密的數(shù)據(jù)驗(yàn)證:

  1. 通過各類分析初步驗(yàn)證想法可行性,排除不靠譜的想法
  2. 快速開發(fā)一個(gè)MVP進(jìn)行小流量AB測試
  3. 根據(jù)實(shí)驗(yàn)結(jié)果迭代優(yōu)化原型
  4. 擴(kuò)大實(shí)驗(yàn)流量,進(jìn)一步驗(yàn)證效果
  5. 評估是否達(dá)到全量發(fā)布的標(biāo)準(zhǔn)

這套流程能最大限度降低實(shí)驗(yàn)風(fēng)險(xiǎn),確保每一個(gè)新功能都能經(jīng)受住市場檢驗(yàn),避免盲目開發(fā)。

六、實(shí)驗(yàn)優(yōu)先級排序的實(shí)際應(yīng)用

介紹了ICE模型的原理和案例之后,我們再來談?wù)勗趯?shí)際工作中應(yīng)該如何靈活運(yùn)用這一工具。

1. 不追求評分的絕對精確,重在提高實(shí)驗(yàn)頻率和數(shù)量

ICE模型的價(jià)值在于為實(shí)驗(yàn)排序提供參考,而不是追求每個(gè)維度評分的絕對準(zhǔn)確。我們要把更多時(shí)間放在提高實(shí)驗(yàn)的頻率和數(shù)量上,而不是過度糾結(jié)于評分標(biāo)準(zhǔn)本身。

一個(gè)月能做10個(gè)有價(jià)值的實(shí)驗(yàn),遠(yuǎn)比花一個(gè)月時(shí)間只做1個(gè)經(jīng)過精細(xì)評估的實(shí)驗(yàn)更有助于增長。大膽假設(shè),小步快跑,用最短時(shí)間完成從想法到數(shù)據(jù)驗(yàn)證的閉環(huán),才是實(shí)驗(yàn)的正確打開方式。

2. 形成個(gè)性化的排序指標(biāo)

ICE模型是一個(gè)可塑的框架,我們完全可以根據(jù)自己的實(shí)際情況對評分指標(biāo)進(jìn)行調(diào)整。比如某些B端產(chǎn)品會格外重視用戶體驗(yàn),甚至愿意為此犧牲一些短期的轉(zhuǎn)化率。這時(shí)不妨增加”用戶體驗(yàn)”作為第四個(gè)評分指標(biāo),甚至給予更高的權(quán)重。

畢竟實(shí)驗(yàn)初衷是為了給用戶帶來價(jià)值,如果實(shí)驗(yàn)傷害了用戶利益,再高的指標(biāo)提升也是南轅北轍。

3. 實(shí)驗(yàn)想法的定期更新和優(yōu)先級調(diào)整

保持實(shí)驗(yàn)想法庫的常青,也是一個(gè)增長團(tuán)隊(duì)?wèi)?yīng)該養(yǎng)成的好習(xí)慣。每隔一段時(shí)間,就要對想法庫進(jìn)行一次升級迭代,淘汰那些已經(jīng)過時(shí)的想法,補(bǔ)充新的靈感。

同時(shí)基于最新的數(shù)據(jù)分析對實(shí)驗(yàn)優(yōu)先級進(jìn)行重新評估,確保我們在每個(gè)階段都在優(yōu)先執(zhí)行最有價(jià)值的實(shí)驗(yàn),而不是被之前的評分所禁錮。

實(shí)驗(yàn)成功的要義不在于數(shù)量,而在于質(zhì)量。ICE模型作為實(shí)驗(yàn)想法的優(yōu)先級排序工具,其價(jià)值在于能夠幫助我們明確哪些實(shí)驗(yàn)應(yīng)當(dāng)優(yōu)先執(zhí)行。

記住三個(gè)關(guān)鍵詞:影響力、成功概率、難易程度。掌握這一模型,意味著在高速變化的互聯(lián)網(wǎng)世界中,能夠更快地找到并執(zhí)行那些最有價(jià)值的實(shí)驗(yàn)假設(shè)。

本文由 @小黑哥 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!