增長說:A/B測試實驗(實戰(zhàn)篇)

0 評論 2205 瀏覽 4 收藏 7 分鐘
🔗 B端产品经理需要更多地进行深入的用户访谈、调研、分析,而C端产品经理需要更多地快速的用户测试、反馈、迭代

在互聯網行業(yè),A/B測試已成為優(yōu)化產品和提高用戶體驗的關鍵工具。通過對比不同的方案,我們能找出最有效的方法來提升用戶參與度和滿意度。本文將帶你了解如何設計和執(zhí)行一個成功的A/B測試實驗,幫助你像互聯網巨頭一樣思考和實施最佳實踐。

每個做用戶增長的人,可能逃過了大學實驗課,卻無法繞開工作上的A/B測試實驗課。

A/B測試實驗本質是通過控制單一變量尋找最優(yōu)解決方案。在互聯網中,其目的是快速地增加商業(yè)成功幾率。

當前互聯網巨頭Facebook、Google、字節(jié)跳動、騰訊、美團等等都非常喜愛A/B測試實驗。

Facebook的CEO扎克伯格曾宣稱:

“在任何給定的時間點,都不會只有一個版本的 Facebook 在線上運行,而是有超過一萬個,我們的實驗框架能隨時發(fā)現和感知用戶最細微的行為差異?!?/p>

字節(jié)跳動的張一鳴曾表示:

“即使你有99%的把握某個名字比另一個名字更好,測一測又有什么關系呢?”

有APP工廠之稱的字節(jié)跳動,每天同時在進行的A/B測試實驗達上萬場,累計已超上百萬場次。

在互聯網巨頭們如此熱愛進行A/B測試實驗的背景下,初入互聯網行業(yè)的新人學會A/B測試實驗就顯得非常重要。接下來,我通過結合自己近期的一個A/B測試實驗,來講一講A/B測試實驗如何開展。

事情是這樣的:有個學生信息收集頁面,需要家長填寫手機號并驗證、姓名、學校、年級、班級等信息。當我們在分析頁面填寫率時,想如果分步填寫信息(降低心理壓力)、調換填寫順序(先易后難、隱私敏感度先弱后強),填寫率應該會提升。所以,我們就做了下面這組實驗。

信息填寫率提升的A/B測試實驗

01 實驗假設

假設①:學生信息分步填寫,填寫率提升2%

  • 假設原因:信息一起填寫提交,用戶心理負擔大。通過分步填寫,將填寫任務分解,當用戶有過付出成本后,后續(xù)完成可能性更大(厭惡損失心理),比如在問卷收集中就會將填信息放在幾個頁面填寫;有些APP手機號驗證碼登錄時,先顯示輸入手機號,后顯示輸入驗證碼。

假設②:分步填寫順序進行調整,填寫率提升2%

  • 假設原因:用戶對于首次接觸填寫信息隱私的敏感度會比較大,“手機號并驗證”隱私敏感度小于“學生姓名、學校、年級、班級”,因此先填寫手機號并驗證有利于填寫率提升。

02 實驗設計

對照組 :在一個彈窗中填寫所有信息,順序為姓名、學校、年級、班級、手機號并驗證

實驗組1:分兩個彈窗填寫:先彈窗填寫姓名、學校、年級、班級;然后自動彈窗填寫手機號并驗證

實驗組2:分兩個彈窗填寫:先彈窗填寫手機號并驗證;然后自動彈窗填寫姓名、學校、年級、班級

03 實驗指標

學生信息填寫率

04 實驗評估

  • 影響所有填寫用戶
  • 僅需前端修改信息提交交互,開發(fā)成本低;
  • 有可借鑒經驗,成功率高

05 實驗結果

style=”text-align: center;”>(數據已脫敏處理,不涉及公司數據泄露)

06 結果分析

通過實驗組1與對照組的轉化率對比,可以看出信息分步填寫,可降低用戶心理壓力負擔,有利于用戶填寫率提升,驗證了假設①。

通過實驗組1與實驗組2的轉化率對比,可以看出信息填寫不同順序,對于用戶填寫率存在差異,但不是假設②中“隱私敏感度”原因。這里先填寫孩子“姓名、學校、年級、班級”的填寫率更高,應該是學校班主任老師發(fā)給家長填寫的場景更有信任背書,降低了家長對孩子隱私的敏感度,反而家長更容易理解需要填寫什么內容。

07 后續(xù)計劃

  • 全量推進實驗組1的填寫方式。
  • 尋找其它表單填寫,推行分步填寫A/B測試。

過上述A/B測試實驗,你應該學到

  1. 對照組和實驗組數據結果可量化,更有說服力。
  2. A/B測試是一個“假設-開發(fā)-學習”閉環(huán),不斷優(yōu)化,最終尋找到最優(yōu)解決方案。
  3. 實驗并非一帆風順,失敗率會很高,需要我們磨煉心智,再接再厲。
  4. 實驗假設每一次驗證成功,也會讓你更有成就感,更有動力尋找下一個A/B測試。
  5. A/B測試流程

推薦閱讀:增長利器:積分商城

作者:文說靜評 微信公眾號:文說靜評

本文由 @文說靜評 原創(chuàng)發(fā)布于人人都是產品經理。未經作者許可,禁止轉載

題圖來自Unsplash,基于CC0協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!
专题
11629人已学习12篇文章
金融产品的流程与常见策略规则类型是从事相关行业人员需要了解的重要内容。本专题的文章分享了消费金融APP流程详解。
专题
14349人已学习13篇文章
作为一名运营,需要持续对自己的经验进行总结并不断更新迭代。本专题的文章分享了运营方法论。
专题
12351人已学习12篇文章
现如今,越来越多的企业开始重视私域,很多的企业都对私域的发展进行了布局。本专题的文章分享了如何搭建私域模型。
专题
18083人已学习15篇文章
语音交互是基于语音输入的新一代交互模式,通过说话就可以得到反馈结果。本专题的文章分享了语音交互的入门指南。
专题
13525人已学习11篇文章
本专题的文章以To G领域为例,从产品经理的角度,分享TO G产品设计指南。
专题
14026人已学习12篇文章
行业总是处于动态变化之中,那么,处于大环境下的产品经理应当如何规划好自身、选择合适的工作方向呢?本专题的文章分享了产品经理的职业方向和规划。