2021年9月4日 – 9月5日，人人都是產(chǎn)品經(jīng)理舉辦的【2021產(chǎn)品經(jīng)理大會(huì)?廣州站】完美落幕。字節(jié)跳動(dòng)火山引擎資深數(shù)據(jù)營銷產(chǎn)品解決方案@胡雪 為我們帶來了精彩的分享，她分享的主題是《A/B測(cè)試增長(zhǎng)實(shí)戰(zhàn)》。添加大會(huì)小助手豆豆（微信號(hào)：13265455310），回復(fù)暗號(hào)【031】，獲取本場(chǎng)嘉賓分享視頻回放，觀看完整演講。

A/B測(cè)試也被稱為對(duì)照實(shí)驗(yàn)，起源于醫(yī)學(xué)研究領(lǐng)域，本質(zhì)為分離式組間實(shí)驗(yàn)。那么，在互聯(lián)網(wǎng)行業(yè)是如何應(yīng)用實(shí)現(xiàn)快速增長(zhǎng)的呢？

在產(chǎn)品迭代過程中，我們有很多的想法和方案，但是沒有辦法確定哪一個(gè)更好，所以把方案做成A和B，并且將用戶進(jìn)行均分，在用戶特征相同的情況下，分別進(jìn)行A和B的方案，根據(jù)用戶真實(shí)數(shù)據(jù)進(jìn)行評(píng)估，選出最優(yōu)方案。

這就是互聯(lián)網(wǎng)的A/B實(shí)驗(yàn)。

用一個(gè)具體案例進(jìn)行分析。

這是一個(gè)團(tuán)購APP的產(chǎn)品貨架，也是流量最大的頁面入口，我們想要優(yōu)化標(biāo)題文案，將“優(yōu)惠團(tuán)購”改成“限時(shí)特惠”，看看是否能夠提升點(diǎn)擊量。

于是，我們就進(jìn)行了A/B實(shí)驗(yàn)，最后得出的結(jié)論是改動(dòng)文案整體上沒有太大效果。但是對(duì)于單價(jià)較高的娛樂產(chǎn)品來說，點(diǎn)擊量提高了；但對(duì)于單價(jià)較低的餐飲產(chǎn)品來說，點(diǎn)擊量沒有變化。

產(chǎn)品團(tuán)隊(duì)也從中得到啟發(fā)，單純的文字游戲已經(jīng)不能刺激到消費(fèi)者了。于是我們做了一個(gè)新測(cè)試，突出折扣力度。

原始的版本只是凸顯了原價(jià)和優(yōu)惠價(jià)，現(xiàn)版本把折扣力度擺出來，明明白白告訴消費(fèi)者打了多少折實(shí)際優(yōu)惠。通過A/B測(cè)試，發(fā)現(xiàn)原來這樣的改動(dòng)更能刺激用戶，整體點(diǎn)擊率上升3%，客單價(jià)高的娛樂類提升更為明顯為4.5%，甚至連之前沒有打動(dòng)的餐飲類客戶也提升了1.6%，總結(jié)發(fā)現(xiàn)相比文案，用戶對(duì)數(shù)字/價(jià)格更敏感。

所以，復(fù)盤這個(gè)例子可以得知，我們需要通過A/B實(shí)驗(yàn)，用自己的產(chǎn)品和真實(shí)用戶檢驗(yàn)自己的策略，這樣才能得到增長(zhǎng)實(shí)踐中最有用的信息。

而字節(jié)跳動(dòng)在發(fā)展的過程中積累了很多產(chǎn)品和運(yùn)營的增長(zhǎng)方法論，也希望通過火山引擎這樣一個(gè)平臺(tái)輸出給大家。

火山引擎是字節(jié)跳動(dòng)旗下的企業(yè)級(jí)技術(shù)服務(wù)平臺(tái)，將字節(jié)跳動(dòng)快速發(fā)展過程中積累的增長(zhǎng)方法、技術(shù)工具和能力開放給外部企業(yè)，提供云、AI、大數(shù)據(jù)技術(shù)等系列產(chǎn)品和服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

字節(jié)內(nèi)部是如何增長(zhǎng)的呢？

首先我們自己每發(fā)布一款新的APP，其名字都要打N個(gè)包去各大應(yīng)用市場(chǎng)跑A/B測(cè)試，把產(chǎn)品的決策權(quán)交給用戶。張一鳴同學(xué)有句話說的就是：“哪怕你有百分之九十九點(diǎn)九的把握確定，那就是最好的名字，那測(cè)一下又有什么關(guān)系呢？”

抖音和頭條的名字也是通過A/B測(cè)試來的，但抖音并不是當(dāng)時(shí)下載激活的第一名，但是產(chǎn)品團(tuán)隊(duì)覺得抖音這個(gè)名字更貼合產(chǎn)品定位和調(diào)性，就用了抖音這個(gè)名字。

上面這個(gè)故事幾乎每天發(fā)生在字節(jié)跳動(dòng)，如今，A/B測(cè)試平臺(tái)已經(jīng)服務(wù)了超過五百條內(nèi)部業(yè)務(wù)線，實(shí)際累計(jì)超過80萬個(gè)實(shí)驗(yàn)，日增實(shí)驗(yàn)1500+，能夠同時(shí)支撐超過一萬個(gè)核心產(chǎn)品以及其他產(chǎn)品線的實(shí)驗(yàn)同時(shí)運(yùn)行。

小到對(duì)外投放的一條推送文案，大到技術(shù)底座的升級(jí)，推薦算法的優(yōu)化，功能的迭代，我們都是會(huì)先通過A/B測(cè)試跑出一個(gè)正向的效果，才會(huì)推廣到全量用戶。

增長(zhǎng)黑客的創(chuàng)始人Sean Ellis說過：“如果你不做實(shí)驗(yàn)的話，我們可能就不會(huì)有增長(zhǎng)?！?/p>

意思就是，我們每發(fā)版一個(gè)APP，會(huì)有很多部門推出的功能同時(shí)上線，如果不做實(shí)驗(yàn)，就不知道業(yè)務(wù)指標(biāo)的波動(dòng)是受了哪個(gè)功能影響。

還有一種情況，當(dāng)我們的業(yè)務(wù)處于上升期，盡管我們什么都不做，業(yè)務(wù)指標(biāo)還是會(huì)上升。那我們的迭代真的能帶來實(shí)際增長(zhǎng)嗎？

其實(shí)業(yè)務(wù)發(fā)展的邏輯就像是馬拉松，需要低損耗地朝正確方向持續(xù)小跑。

通過小流量去測(cè)試用戶，能夠加速產(chǎn)品的迭代，小步快跑積少成多。同時(shí)通過A/B測(cè)試保證數(shù)據(jù)是穩(wěn)定且有效的，降低決策風(fēng)險(xiǎn)，保證眼前的路不是下坡路。

下圖中的數(shù)據(jù)增長(zhǎng)閉環(huán)，產(chǎn)品和運(yùn)營人都不陌生。

舉一個(gè)具體例子，為什么支付頁的轉(zhuǎn)化率低？很多人覺得就是通過分析數(shù)據(jù)猜測(cè)原因，選一個(gè)看似最能解決問題的可能就直接上線。在沒有A/B測(cè)試的情況下，這看似是數(shù)據(jù)驅(qū)動(dòng)決策，實(shí)際上還是經(jīng)驗(yàn)驅(qū)動(dòng)決策。

如果是我們，我們會(huì)怎么解決？

首先會(huì)提出假設(shè)，是用戶不喜歡我們的UI風(fēng)格嗎？還是覺得支付流程過長(zhǎng)？那通過設(shè)計(jì)不同UI風(fēng)格，精簡(jiǎn)支付流程，同時(shí)讓這兩個(gè)方案進(jìn)行A/B測(cè)試，讓用戶真實(shí)的行為告訴我們，更喜歡哪個(gè)方案。

解讀實(shí)驗(yàn)報(bào)告的過程也是在解密功能對(duì)用戶行為影響的過程。

A/B測(cè)試能夠加深我們對(duì)產(chǎn)品和用戶的認(rèn)知，糾正過去錯(cuò)誤的理解和偏見。

所以數(shù)據(jù)驅(qū)動(dòng)這個(gè)圓環(huán)不停旋轉(zhuǎn)起來，沉淀下來的就是新的經(jīng)驗(yàn)新的認(rèn)知，也提高了業(yè)務(wù)團(tuán)隊(duì)的決策能力。

所以A/B對(duì)于字節(jié)不僅是工具，可以說一種業(yè)務(wù)文化，這種經(jīng)驗(yàn)和文化不斷的傳播，大帶小、老帶新，就形成了公司內(nèi)部的正循環(huán)。

前面溝通了這么多A/B的價(jià)值，A/B實(shí)驗(yàn)具體可以在哪些場(chǎng)景下使用？

以電商用戶為例，如下圖所示，這是電商產(chǎn)品拉新、獲取、激活、到最后流失的整個(gè)留存曲線。在這其中有幾個(gè)拐點(diǎn)，產(chǎn)品和運(yùn)營的工作就是運(yùn)營和增長(zhǎng)的手段在拐點(diǎn)來臨之前把他們拉回，A/B測(cè)試所運(yùn)用的地方也是這些拐點(diǎn)之前。

舉個(gè)例子，在做廣告投放時(shí)，可以通過不同的落地頁進(jìn)行轉(zhuǎn)化對(duì)比，提升投放的ROI。用戶吸引來之后，要對(duì)他進(jìn)行激活，可以發(fā)優(yōu)惠券，優(yōu)惠券的金額根據(jù)數(shù)據(jù)對(duì)比實(shí)驗(yàn)決定。

成為了活躍用戶之后，用戶只有在體驗(yàn)過產(chǎn)品的核心功能并認(rèn)可產(chǎn)品的價(jià)值才會(huì)真的留下成為一個(gè)活躍用戶，這個(gè)階段會(huì)做產(chǎn)品實(shí)驗(yàn)比如優(yōu)化搜索、下單流程、支付流程等。

電商希望更多用戶的能更快地匹配到更合適的商品、這樣不僅能讓用戶在app停留更久，也能促進(jìn)高頻高質(zhì)量的消費(fèi)，就要推薦算法提升粘性，就會(huì)用到推薦算法調(diào)優(yōu)實(shí)驗(yàn)。

• 針對(duì)老用戶，可以開發(fā)針對(duì)性的個(gè)性推送提升復(fù)購；
• 針對(duì)沉睡用戶，可以進(jìn)行定向圈人開push實(shí)驗(yàn)進(jìn)行召回喚醒。

這就是A/B測(cè)試在整個(gè)用戶生命周期中的作用。

舉一個(gè)實(shí)戰(zhàn)案例，來講述下A/B實(shí)驗(yàn)是如何在支付環(huán)節(jié)提升收益的。

這是一個(gè)租車APP，用戶在結(jié)算頁面需要支付租金和押金。押金比租金要高很多，這兩個(gè)金額同時(shí)支付對(duì)于用戶的心理成本很大，所以支付頁面的轉(zhuǎn)化率很低。

我們提出一個(gè)想法，把押金和租金的支付頁面分開，明確告訴用戶押金支付完可以退，是否能提升下單。

也有人擔(dān)心這樣拆分支付流程變長(zhǎng)，用戶會(huì)流失。

但是通過A/B測(cè)試，發(fā)現(xiàn)改動(dòng)之后下單轉(zhuǎn)化率提升了7%。雖然支付流程變長(zhǎng)了，但是降低了用戶的心理阻力。

有了優(yōu)化場(chǎng)景，想做A/B實(shí)驗(yàn)，但具體的頁面應(yīng)該如何優(yōu)化呢？

我們提出了LIFT模型，并且從中總結(jié)了一個(gè)公式：

用戶動(dòng)機(jī)=用戶感受到的價(jià)值/收益–用戶感受到的成本

我們要做的就是放大收益，縮小成本。

還是以電商產(chǎn)品為例，價(jià)值主張就是希望買到物美價(jià)廉的商品。如何放大這個(gè)價(jià)值呢？如果我是一個(gè)美妝愛好者，那就需要把營銷的重點(diǎn)放在美妝品類，并且讓我清楚地第一眼就知道這是一個(gè)關(guān)于美妝的營銷活動(dòng)。

以上就是需要提升的因素，而焦慮性和注意力都是需要降低的因素。

比如焦慮性，說一個(gè)大家不一定注意到的焦慮感來源，如果UI頁面的色彩對(duì)比過于明顯，對(duì)比度過高，從心理學(xué)層面來說會(huì)對(duì)用戶造成一定程度的視覺焦慮。通過優(yōu)化UI頁面，可以減少焦慮和分散注意力的情況。

字節(jié)做了80w+實(shí)驗(yàn)，從前期的A/B小白到后期輸出成熟的A/B測(cè)試平臺(tái)，我們也是親身踩坑，總結(jié)出了以下經(jīng)驗(yàn)，實(shí)驗(yàn)常見的8個(gè)錯(cuò)誤認(rèn)知：

有些同學(xué)為了校驗(yàn)分流服務(wù)是否正常喜歡開aa實(shí)驗(yàn)，但是在檢驗(yàn)假設(shè)的過程中，我們會(huì)犯第一類錯(cuò)誤——我的策略沒有用，但實(shí)驗(yàn)結(jié)果顯示我的策略有用。

在95%的置信水平下這類錯(cuò)誤出現(xiàn)的概率是5%，即我們開100次AA實(shí)驗(yàn)，然后觀測(cè)某個(gè)指標(biāo)，可能會(huì)有5次得到顯著的結(jié)果。這是由于不可避免的抽樣誤差所導(dǎo)致的。發(fā)生AA置信的情況屬于正?，F(xiàn)象，A/B測(cè)試平臺(tái)會(huì)保證分流和統(tǒng)計(jì)服務(wù)的可靠性，請(qǐng)你盡管大膽假設(shè)，小心實(shí)驗(yàn)。

另外，實(shí)驗(yàn)不顯著就不停止實(shí)驗(yàn)。理論上任何一點(diǎn)差異只要樣本足夠多，都能檢測(cè)出差距，A/B實(shí)驗(yàn)中，無論A策略與B策略多么相像，他們終歸是不一樣的。理論上來說，只要樣本足夠多（比如無窮多時(shí)），最后實(shí)驗(yàn)結(jié)果都會(huì)形成統(tǒng)計(jì)顯著。但這種顯著有意義嗎？比如我的實(shí)驗(yàn)開啟了整整10年，新策略使指標(biāo)提升0.001%。

那這樣的實(shí)驗(yàn)意義大嗎？

既然A/B測(cè)試這么有效，但是公司開發(fā)資源緊缺，這可怎么辦？

字節(jié)早期A/B測(cè)試也是沒有產(chǎn)品化平臺(tái)的，后續(xù)為了降低我們自己做實(shí)驗(yàn)的成本，開發(fā)了火山引擎A/B測(cè)試平臺(tái)，一個(gè)低成本的實(shí)驗(yàn)解決方案。

比如運(yùn)營人常用的落地頁實(shí)驗(yàn)，將不同樣式的落地頁鏈接放上去，就能對(duì)比看出不同落地頁的轉(zhuǎn)化效果。

可視化實(shí)驗(yàn)，如果只是想改動(dòng)頁面的中文案、圖片、顏色等，可以通過可視化實(shí)驗(yàn)調(diào)整UI頁面。

push實(shí)驗(yàn)，這也是運(yùn)營最常用的實(shí)驗(yàn)。測(cè)試推送的時(shí)間、推送的文案、推送的策略等，找到最佳的轉(zhuǎn)化方案。

這還不夠，用技術(shù)和算法實(shí)現(xiàn)了實(shí)驗(yàn)智能化，希望能夠徹底把人力從瑣碎的工作中解脫出來。

因此我們推出了動(dòng)態(tài)調(diào)優(yōu)的智能實(shí)驗(yàn)，其原理就是多臂老虎機(jī)。

這種實(shí)驗(yàn)無需A/B測(cè)試，根據(jù)用戶實(shí)時(shí)反饋智能分配，并保障收益最大化，可以對(duì)大部分運(yùn)營實(shí)驗(yàn)實(shí)現(xiàn)智能化，運(yùn)營推送文案賽馬、落地頁動(dòng)態(tài)優(yōu)選、廣告投放策略優(yōu)選、活動(dòng)頁面樣式調(diào)整呢可以 做MVT多變量組合智能優(yōu)選，優(yōu)勢(shì)非常明顯。

我用一個(gè)游戲的例子介紹智能化實(shí)驗(yàn)是怎么回事。

為了保持用戶粘性，游戲一般有完善的用戶激勵(lì)體系，這款游戲app在運(yùn)營初期設(shè)計(jì)了一套發(fā)元寶來激活用戶的方案。早中晚發(fā)放三次元寶，每次會(huì)發(fā)push通知用戶進(jìn)行召回。

運(yùn)營精心設(shè)計(jì)挑出了最滿意四組文案。

這時(shí)他犯了難，如果開ab實(shí)驗(yàn)?zāi)鼐托枰恢?，耽誤事，而且用戶量也不大，能回收的數(shù)據(jù)也不多影響實(shí)驗(yàn)效果靠人經(jīng)驗(yàn)拍決策質(zhì)量最不穩(wěn)定，因此我們就推薦他智能化實(shí)驗(yàn)完美地解決了這個(gè)問題。

實(shí)驗(yàn)開啟后無需操作和關(guān)注數(shù)據(jù)，abcd四組文案在每一次下發(fā)后都會(huì)實(shí)時(shí)收集反饋，自動(dòng)根據(jù)上一輪的結(jié)果決定下一輪發(fā)什么，效果好的就加大流量效果差的就干掉，中規(guī)中矩的就給一少量流量留用觀察，輪過幾輪的循環(huán)推送，最終從均分，變成了絕大多數(shù)流量分給B和D脫穎而出并且旗鼓相當(dāng)，A文案慘遭淘汰。最終效果相比均分，ctr提升9.2%，一定程度上實(shí)現(xiàn)了千人千面。

一旦實(shí)驗(yàn)增多，人力無法協(xié)調(diào)，智能動(dòng)態(tài)調(diào)優(yōu)實(shí)驗(yàn)就是一個(gè)解放人力的好方案。

實(shí)驗(yàn)上線后，如何解讀實(shí)驗(yàn)結(jié)果呢？目前結(jié)果如何，誰好誰壞好多少，哪一天出結(jié)果？

例如，今天廣州市的用戶，在不同版本之間的轉(zhuǎn)化率表現(xiàn)是怎么樣的，方便我們更快速?zèng)Q策，知道我實(shí)驗(yàn)整體的結(jié)果和ROI，讓我們的決策鏈更清晰完整。

實(shí)現(xiàn)以上實(shí)驗(yàn)想法的一站式全棧多場(chǎng)景實(shí)驗(yàn)平臺(tái)，他具有哪些能力呢？

線上有多端的觸點(diǎn)，多端sdk用來上報(bào)用戶行為數(shù)據(jù)，根據(jù)實(shí)驗(yàn)的需要也可以從客戶端或服務(wù)端實(shí)現(xiàn)分流，用以滿足不同場(chǎng)景做實(shí)驗(yàn)的需求。

同時(shí)還需要有正交和互斥分流來保證分流的科學(xué)性。

說完分流，在不同的場(chǎng)景做實(shí)驗(yàn)，想要快速上線。編程實(shí)驗(yàn)、可視化實(shí)驗(yàn)、多鏈接實(shí)驗(yàn)、推送實(shí)驗(yàn)等都是能幫助產(chǎn)品和運(yùn)營減少成本，快速上線實(shí)驗(yàn)的場(chǎng)景實(shí)驗(yàn)?zāi)０濉?/p>

接著實(shí)驗(yàn)上線后，科學(xué)易懂的實(shí)驗(yàn)報(bào)告幫助解讀實(shí)驗(yàn)數(shù)據(jù)，為業(yè)務(wù)做決策參考。

但是，A/B測(cè)試只是一個(gè)小流量的測(cè)試，產(chǎn)品推廣到全量用戶很有可能會(huì)產(chǎn)生性能崩潰、產(chǎn)品功能bug等問題。

Feature Flag智能發(fā)布可以幫助從小流量A/B測(cè)試驗(yàn)證成功的結(jié)果，絲滑穩(wěn)定地過渡到全量用戶中，為我們的產(chǎn)品迭代保駕護(hù)航。

綜上，A/B測(cè)試有這些核心價(jià)值：

• 業(yè)務(wù)創(chuàng)新：通過持續(xù)的功能優(yōu)化打磨，累積創(chuàng)新效果，逐步形成迄今最優(yōu)的產(chǎn)品形態(tài)。
• 降本增效：降低試錯(cuò)成本，降低技術(shù)資源投入。例如UI交互優(yōu)化，可直接通過可視化實(shí)驗(yàn)，無需申請(qǐng)研發(fā)資源，快速上線。
• 收益提升：優(yōu)化產(chǎn)品購買流程/文案可直接帶來可觀的經(jīng)濟(jì)收益。
• 管理提效：業(yè)務(wù)部門精準(zhǔn)衡量新策略/功能，對(duì)大盤整體的業(yè)績(jī)貢獻(xiàn)度，為管理層向上匯報(bào)提供準(zhǔn)確的數(shù)據(jù)依據(jù)和科學(xué)度量。

我們總結(jié)了一個(gè)增長(zhǎng)實(shí)踐的地圖。

火山引擎在產(chǎn)品運(yùn)營方面是如何實(shí)現(xiàn)增長(zhǎng)的呢？

從頂層目標(biāo)【提升app活躍】進(jìn)行拆解，得到提升主動(dòng)自然訪問和被動(dòng)運(yùn)營訪問兩個(gè)路徑，自然訪問通過完善產(chǎn)品功能體驗(yàn)，加強(qiáng)福利權(quán)益，創(chuàng)意互動(dòng)等去支撐自然訪問的提升，運(yùn)營訪就涉及精細(xì)化觸達(dá)，通過觸點(diǎn)，內(nèi)容和策略的管理來實(shí)現(xiàn)提升被動(dòng)打開的次數(shù)。

再通過不同的策略以及方法論，實(shí)現(xiàn)roi和規(guī)模的最大化，

這些其實(shí)都離不開強(qiáng)大的數(shù)據(jù)基座能力、數(shù)據(jù)分析，增長(zhǎng)策略（包含ab測(cè)試），以及建模能力。

從下至上，達(dá)到提升活躍的最終目的。

我們的初心和愿景均是鼓勵(lì)大膽創(chuàng)新，通過嚴(yán)謹(jǐn)?shù)倪壿嫼凸ぞ咝⌒那笞C，方能收獲增長(zhǎng)。

相關(guān)閱讀

《高代碼產(chǎn)品經(jīng)理時(shí)代：如何避免技術(shù)型產(chǎn)品的浪潮中被時(shí)代淘汰》

《數(shù)字化產(chǎn)品創(chuàng)新與生態(tài)規(guī)劃》

《B端產(chǎn)品的業(yè)務(wù)診斷和建?！?/a>

《C端產(chǎn)品的增長(zhǎng)實(shí)踐》

《大變局下的產(chǎn)品經(jīng)理生存指南》

年度行業(yè)大會(huì)開啟巡回

互聯(lián)網(wǎng)圈年度盛典，聽一線實(shí)戰(zhàn)專家深度分享，與數(shù)千位互聯(lián)網(wǎng)圈同行深度交流，拆解產(chǎn)品、運(yùn)營實(shí)戰(zhàn)案例，挖掘行業(yè)新機(jī)會(huì)！

掃描下方二維碼添加大會(huì)小助手，回復(fù)暗號(hào)【032】領(lǐng)產(chǎn)品經(jīng)理&運(yùn)營人必備工具包，獲取全年大會(huì)最新資訊！

本文為【2021年產(chǎn)品經(jīng)理大會(huì)·廣州站】現(xiàn)場(chǎng)分享整理內(nèi)容，由人人都是產(chǎn)品經(jīng)理運(yùn)營 @Aine 整理發(fā)布。未經(jīng)許可，禁止轉(zhuǎn)載，謝謝合作

題圖來自大會(huì)現(xiàn)場(chǎng)