A/B測試:數(shù)據(jù)優(yōu)化產(chǎn)品迭代的必備良劑

產(chǎn)品設計產(chǎn)品優(yōu)化中的每一處改動都應該經(jīng)過數(shù)據(jù)精確的衡量。
在講數(shù)據(jù)驅動產(chǎn)品優(yōu)化前,我們先來回顧國內(nèi)互聯(lián)網(wǎng)的幾個階段。錢天白教授在1987年發(fā)出的第一封電子郵件,揭開了國內(nèi)互聯(lián)網(wǎng)發(fā)展的序幕。
互聯(lián)網(wǎng)在中國的發(fā)展歷程可以大略地劃分為三個階段:1986年6月到1993年3月的研究試驗階段,1994年4月至1996年的起步階段,以及1997年至今的快速增長階段,這一階段誕生了陳天橋、馬化騰、汪延等IT 大佬。
略過前兩個階段,我們來細看快速增長階段。
在1997-2004年前后互聯(lián)網(wǎng)發(fā)展的早期,互聯(lián)網(wǎng)商業(yè)化主要是受概念驅動,出來一個全新的概念,似乎很快就能火,因為可選擇的產(chǎn)品不多,用戶群對互聯(lián)網(wǎng)也缺少認知。
經(jīng)過了大約七八年的“浸淫”(原諒這里用了這么一個詞),2004年開始國內(nèi)互聯(lián)網(wǎng)逐漸變成了受產(chǎn)品驅動,這一階段一直持續(xù)了將近十年?;ヂ?lián)網(wǎng)迅速從藍海變成紅海,要想從激烈的競爭中脫穎而出,各種產(chǎn)品不得不重視用戶體驗,這期間“人人都是產(chǎn)品經(jīng)理”,“人人都想做產(chǎn)品經(jīng)理”。這一階段的發(fā)展不得不忽視的是中國的人口紅利和智能手機的普及。
2015年智能手機出貨量的飽和和國內(nèi)人力成本的增加,使得大多數(shù)的公司不得不思考產(chǎn)品優(yōu)化中的投資回報率,這一階段也就是數(shù)據(jù)驅動精細化運營階段。這一階段有這么幾個特點:
- 流量成本越來越高
- 想依靠人口紅利帶來用戶增長越來越難
- 不得不思考怎么去做精細化運營,讓花出去的每一分錢都帶來效果
在人口紅利不再,流量成本極其高昂,總體網(wǎng)民用戶數(shù)量一定的情況下,讓見到產(chǎn)品的用戶更多的留下來,帶來更大的轉化率,似乎是更應該思考的問題。
在產(chǎn)品曝光給用戶之前,想一下怎么才能讓產(chǎn)品對用戶來說更有“眼緣”呢?
有“眼緣”之后怎么才能“要到電話”?
有了電話又怎么才能跟用戶有更大的“約會”機會?進一步的發(fā)展呢?
產(chǎn)品運營漏斗的每一步,都存在優(yōu)化的空間,在有限的投入下獲取更大的優(yōu)化率,是數(shù)據(jù)驅動產(chǎn)品運營要做的事,此謂產(chǎn)品運營之道。
道是戰(zhàn)略,不應該懶惰,術是執(zhí)行,更要勤勉。 A/B 測試就是數(shù)據(jù)驅動產(chǎn)品運營中的術。
一般場合出門前,我們會對比幾套衣服,到底穿格子衫好還是穿 polo 衫,或者極客范的你會穿大 T-shirt 。這個過程其實就是一次簡單的 A/B 測試,包含了A/B 測試的核心思想:
- 多個方案并行測試(對比了幾套衣服);
- 每個方案只有一個變量不同(只對比了上衣);
- 以某種規(guī)則優(yōu)勝劣汰(最終穿了最符合你形象氣質的衣服)。
A/B測試是指在所有條件都相等的條件下,只改變一個條件,從 A 改成 B ,然后對比兩者產(chǎn)生的效果的不同。單一變量決定了 A/B 測試的科學性。
對應到技術產(chǎn)品里, A/B 測試的方法就是將產(chǎn)品的用戶流量分割成 A/B 兩組,一組試驗組,一組對照組,兩組用戶特點類似,并且同時運行。試驗運行一段時間后分別統(tǒng)計兩組用戶的表現(xiàn),再將數(shù)據(jù)結果進行對比,就可以科學的幫助決策。
單純的講 A/B 測試是如何的科學,對于運營與產(chǎn)品增長是多么有效看起來好蒼白,那么我們通過更多的案例來講。
- ?Google 每個月從上百個 A/B 測試中找到十幾個有效方案,月營收提升2%左右,10億美元的規(guī)模
- 廣告位左移一個像素帶來 X %的營收,左移兩個像素帶來 Y %的虧損? 任何產(chǎn)品的優(yōu)化、改動都需要AB測試才能上線
- facebook 6個月內(nèi)所有產(chǎn)品全部線上灰度發(fā)布,通過不斷進行用戶的流量分割的方式進行試驗,獲得無 BUG 口碑
滴滴出行在滴滴司機招募的著陸頁上,通過嘗試不同的設計和文案,使得注冊率提升了20%以上。
需要注意的是,不是每一次 A/B 測試驗證過的改動都會帶來增長,但 A/B 測試確確實實能幫你排除掉了不好的策略。通過 A/B 測試驗證好的改動才通過上線,這就保證了產(chǎn)品迭代中的小步快跑里總是在對產(chǎn)品做優(yōu)化和提升。
“從現(xiàn)在開始的10年內(nèi),當我們回顧大數(shù)據(jù)時代是如何發(fā)展時,我們會震驚于以往做出決策時信息的匱乏?!?/p>
做對的事情,做 ROI 最高的事情,在避免犯錯的情況下最大化優(yōu)化產(chǎn)品運營漏斗,你需要在產(chǎn)品體系里引入 A/B 測試,拍腦袋的決策已經(jīng)失效,產(chǎn)品優(yōu)化中的每一處改動都應該經(jīng)過數(shù)據(jù)精確的衡量,畢竟:“ If you can’t measure it, you don’t know how to make it better ! ”
來源:http://www.36dsj.com/archives/60383
本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù)
測試用例
滴滴這個也是灰度的嗎 還是迭代上去的
滴滴是先小流量A/B測試,最后全量上。
滴滴的這個不算是ab測試吧