當產(chǎn)品數(shù)據(jù)增長的時候，增長團隊（Growth Team）為實現(xiàn)短期增長量，對產(chǎn)品進行的過度優(yōu)化是一個潛在危險。增長團隊（Growth Team）工作節(jié)奏極快，在Pinterest也不例外，我們總是要在給定的時間內(nèi)進行大量試驗，發(fā)現(xiàn)行之有效的方法馬上推出，然后進行下一步嘗試。但有時候，產(chǎn)品需要我們退一步驗證某些新調(diào)整或者功能的長期有效性，排除短暫的虛假繁榮，確定它們能夠讓數(shù)據(jù)可持續(xù)的增長。這篇文章，我會介紹Pinterest的增長團隊（Growth Team）是怎樣優(yōu)化產(chǎn)品的。

去年，我們將所有的推送通知，包含在了Pinterest圖標的數(shù)字角標提醒中。對許多用戶來說，當一個App的圖標上有了數(shù)字角標，那種點開它將角標消除的沖動是難以抑制的。

與Pinterest其他產(chǎn)品升級一樣，發(fā)布新的數(shù)字角標提醒的時候，我們使用了A/B測試方法，最初得到的結(jié)果不可思議，圖標上小小的數(shù)字帶來了7%的日活躍用戶增長，以及其他關(guān)鍵交互項指標（如Pin close-ups、repins、Pin click-throughs 譯者注：以上為Pinterest產(chǎn)品中的功能項）的重要提升，在這些漂亮數(shù)據(jù)的激勵下，我們很快將這項調(diào)整應用于整個產(chǎn)品。但是，關(guān)于角標提醒的效果能否長久的問題讓我們感到不安：這些小數(shù)字會長期有效嗎？用戶會不會最終疲于點擊，進而對角標產(chǎn)生免疫力？

為了回答這個問題，我們創(chuàng)建了一個1%保留樣本群（holdout group）。保留樣本試驗是A/B測試的一種，我們在99%的Pinterest用戶中推出新功能，保留1％不做改變，以便于估量調(diào)整的長期影響。對于任何長期效果存疑的特定功能，我們都會專門保留這樣一個1%保留樣本群。

保留樣本試驗（holdout experiment）持續(xù)了超過一年的時間。幾個月之后，最初7%的日活躍用戶增長量穩(wěn)定在了2.5%。去年秋天，我們發(fā)布了新功能——Pinterest News，是用戶在Pinterest上關(guān)注的其他用戶的最近動態(tài)摘要。我們同樣將Pinterest News的提醒增加在數(shù)字角標中。結(jié)果，Pinterest News又將之前穩(wěn)定在2.5%的日活躍用戶提升到了4%。?

數(shù)據(jù)

此外，我們還發(fā)現(xiàn)數(shù)字角標對提升用戶活躍度卓有成效。Pinterest的用戶分為核心用戶（core）、普通用戶（casual）、邊緣用戶（marginal）等幾個類別，我們發(fā)現(xiàn)，角標提醒對邊緣用戶向核心用戶或普通用戶轉(zhuǎn)化的數(shù)據(jù)有著顯著影響，在數(shù)字角標可以長期維持用戶被證實之后，這一發(fā)現(xiàn)讓我們再次興奮不已。

用戶數(shù)量變化

作為一個有效手段，保留樣本試驗（holdout groups）保證我們的努力是為了數(shù)據(jù)的長期增長。它還被應用于廣告、用戶教育等功能?？偟膩碚f，保留樣本（holdout groups）應該在任何長期影響存在疑問的產(chǎn)品升級中使用。在數(shù)字角標這個例子中，我們通過它了解Pinterest用戶長期使用角標的反應，這將幫助我們在通知戰(zhàn)略中更進一步。

原文鏈接：Long-term Impact of Badging

作者：John Egan 資深Growth Hacker，現(xiàn)供職于Pinterest

譯者：睡障

來源：http://www.jianshu.com/p/3fa914c8e2b4