優(yōu)秀產(chǎn)品經(jīng)理如何精準(zhǔn)發(fā)現(xiàn)問(wèn)題(下):效果回歸與階段性調(diào)研
產(chǎn)品經(jīng)理的核心只有一個(gè),那就是發(fā)現(xiàn)和解決問(wèn)題。我們往往更加關(guān)注解決問(wèn)題的方式方法,而忽略了發(fā)現(xiàn)問(wèn)題的能力。
一、效果回歸與階段性調(diào)研概論
1. 效果回歸與階段性調(diào)研對(duì)產(chǎn)品生命周期的意義
- 判斷和決定產(chǎn)品循環(huán)是否終止
- 確定產(chǎn)品接下來(lái)的計(jì)劃
2. 對(duì)自我成長(zhǎng)的意義
- 驗(yàn)證解決方案的可行性
- 修正和鞏固自身的方法論
3. 概念:階段性調(diào)研是針對(duì)產(chǎn)品現(xiàn)狀進(jìn)行的系統(tǒng)性分析
此時(shí)的分析結(jié)論最能代表產(chǎn)品問(wèn)題全貌,可以有效指導(dǎo)下階段的產(chǎn)品計(jì)劃
二、階段性調(diào)研的時(shí)間節(jié)點(diǎn)(在什么時(shí)間會(huì)進(jìn)行系統(tǒng)性的階段性調(diào)研)
- 接觸新產(chǎn)品:接手一個(gè)新的產(chǎn)品或者產(chǎn)品方向時(shí),對(duì)產(chǎn)品進(jìn)行深入的了解
- 周期性回顧:每個(gè)月/季度/半年進(jìn)行定期的周期性回顧
- 不定期(突發(fā)性)回顧:領(lǐng)導(dǎo)、政策上的調(diào)整需要
三、階段性調(diào)研通用方法論(普適,也適用于人生)
定義理想態(tài)——拆解未達(dá)理想態(tài)的短板——提出解決方案——驗(yàn)證是否解決。
階段性調(diào)研更關(guān)注前兩個(gè)環(huán)節(jié):
step 1:找到理想態(tài),定義理想態(tài)并以數(shù)字化的指標(biāo)或其他標(biāo)準(zhǔn)來(lái)衡量。
這是一個(gè)非常嚴(yán)謹(jǐn)?shù)亩x過(guò)程,需要PM 明確的知道自己產(chǎn)品的目標(biāo)是什么,是各個(gè)部門(mén)共同努力的方向。
step 2:抽樣分析,將所以不到理想態(tài)的case抽樣分析,通過(guò)分析明確各case未到理想態(tài)的原因。
step 3:優(yōu)先級(jí)判斷,將所有問(wèn)題進(jìn)行匯總,根據(jù)影響面、問(wèn)題嚴(yán)重程度、解決問(wèn)題所需成本進(jìn)行優(yōu)先級(jí)排序,作為接下來(lái)的項(xiàng)目計(jì)劃。
1. 找到理想態(tài)詳解
(1)如何找到理想態(tài)
任何一個(gè)產(chǎn)品都用來(lái)解決用戶的問(wèn)題滿足用戶的需求,所以產(chǎn)品的理想態(tài)可以統(tǒng)一的理解為:給出的方案確確實(shí)實(shí)解決了用戶的問(wèn)題,比如用百度查到了自己需要的信息,用滴滴到達(dá)了目的地,用頭條找到了自己感興趣的內(nèi)容并消費(fèi)了時(shí)間。
接下來(lái)要找到能衡量理想態(tài)的數(shù)字化指標(biāo)或者明確的標(biāo)準(zhǔn):
A. 滴滴:容易理解,使用訂單成交率可以衡量用戶是否到達(dá)目的地
B. 墨跡天氣:使用天氣準(zhǔn)確率可以衡量用戶是否獲取了正確的天氣
以上為剛需類、工具類產(chǎn)品中的策略模塊,通??梢砸浴敖鉀Q了用戶的問(wèn)題”作為理想態(tài),并找到一個(gè)標(biāo)志性的數(shù)據(jù)指標(biāo)來(lái)衡量是否到達(dá)理想態(tài)。
C. 百度的搜索滿意程度
點(diǎn)擊率:高點(diǎn)擊率不能說(shuō)明滿意,低點(diǎn)擊率也不能說(shuō)明不滿意(搜索時(shí)間)。搜索結(jié)果是平臺(tái)對(duì)滿足大多數(shù)用戶的你內(nèi)容猜測(cè),并不一定適用于每一個(gè)用戶,比如在餓了么搜索麥當(dāng)勞,展示所有麥當(dāng)勞店鋪即可,而在搜索引擎顯然不能這么簡(jiǎn)單。
頭條:不能確定停留時(shí)間為多長(zhǎng)則表示用戶對(duì)產(chǎn)品滿意。
搜索:對(duì)這種產(chǎn)品的理想態(tài)描述較為復(fù)雜,并不明晰,更別說(shuō)使用單一指標(biāo)了。需要pm基于對(duì)用戶的理解、參照競(jìng)品,比如搜索完肯德基創(chuàng)始人再搜麥當(dāng)勞,那他很可能想搜麥當(dāng)勞創(chuàng)始人。
通常這種復(fù)雜的產(chǎn)品,會(huì)以平臺(tái)當(dāng)前能夠給出的最佳產(chǎn)品方案(PM以為最合理的狀態(tài)) 作為理想態(tài),而不一定能夠100%滿足所有人的所有需求。
推薦:平臺(tái)是在有根據(jù)的猜測(cè)有用的非崗需求,永遠(yuǎn)不會(huì)清楚的知道最標(biāo)準(zhǔn)的答案時(shí)什么,所以同樣以當(dāng)前能夠給出的最佳產(chǎn)品方案作為理想態(tài)。再用策略推薦出的結(jié)果在所有推薦候選中是否為最佳結(jié)果、用戶行為指標(biāo)作為發(fā)現(xiàn)問(wèn)題的輔助手段。
注意:所有的理想態(tài)都是為階段性產(chǎn)品目標(biāo)服務(wù)而服務(wù)的,隨著產(chǎn)品的發(fā)展,理想態(tài)的定義也在進(jìn)化甚至質(zhì)變,比如從馬車到汽車的道理。
再比如滴滴:
剛開(kāi)始做出租車,以司機(jī)的應(yīng)答率作為核心指標(biāo),不太關(guān)心司機(jī)應(yīng)答后的流程;后來(lái)做快車專車,有了更完整的使用環(huán)節(jié),覆蓋更完整的出行流程,這時(shí)以訂單的成交率作為指標(biāo),監(jiān)控用戶從叫車到目的地的完整閉環(huán);接下來(lái)可能會(huì)往快速到達(dá)方向進(jìn)步等。
再比如百度:
剛開(kāi)始,致力于用戶所搜索的每個(gè)關(guān)鍵詞都能有對(duì)應(yīng)的結(jié)果;有了用戶行為的反饋之后,變會(huì)對(duì)一個(gè)用戶進(jìn)行用戶畫(huà)像,從而滿足每一個(gè)人的每個(gè)搜索,致力于提高每次搜索的滿意度。
2. 抽樣分析
正因?yàn)槌杀締?wèn)題,時(shí)間成本、運(yùn)算能力分析,使我們無(wú)法完全了解每個(gè)用戶,所以采用抽樣分析。樣本通常被稱為case。
(1)抽樣步驟:確定調(diào)研目標(biāo) → 確定抽樣對(duì)象 → 選擇抽樣方法 → 確定抽樣數(shù)量 → 樣本分析標(biāo)注 → 整理匯總問(wèn)題
調(diào)研目標(biāo)決定了抽樣對(duì)象和抽樣方法,根據(jù)目標(biāo)確定抽樣對(duì)象的維度(用戶、訂單等),抽樣方法有隨機(jī)、等分等。
首先要明確調(diào)研的目標(biāo),幫助確定抽樣的對(duì)象的方式?。。?/p>
案例:分析“相關(guān)視頻”推薦策略的問(wèn)題 → 抽取推薦視頻列表,看內(nèi)容和排序是否合理
分析以上模塊紅廣告視頻推薦策略,如果抽取當(dāng)前展現(xiàn)出來(lái)的廣告視頻進(jìn)行抽樣分析,則會(huì)出現(xiàn)問(wèn)題:只能分析出當(dāng)前展示的廣告的準(zhǔn)確率,而不能分析出廣告的覆蓋程度,是否有其他適合展示的廣告的視頻下方未進(jìn)行展示。而相關(guān)視頻則沒(méi)有覆蓋率的問(wèn)題。
所以要確定正確的抽樣對(duì)象,同時(shí)滿足準(zhǔn)確率和覆蓋率(召回),以上案例應(yīng)該在有廣告展示的地方調(diào)研準(zhǔn)確率,沒(méi)有廣告的地方調(diào)研覆蓋率。
(2)確定抽樣對(duì)象:通過(guò)一定規(guī)則篩選出的待分析的全量集合
不考慮成本肯定是全量調(diào)研,但是成本有限就需要抽樣。
篩選規(guī)則:
未達(dá)到核心指標(biāo)(一定規(guī)則,比如只需篩選當(dāng)前版本的用戶而不需要篩選上一版本的用戶,或者可以代表一個(gè)用戶生命周期的用戶,比如有循環(huán)效應(yīng)的產(chǎn)品,用戶每天的行為沒(méi)什么差異,則選取一天的即可。有明顯時(shí)間效應(yīng)的,周末和平時(shí)不一樣,則需要對(duì)一整周進(jìn)行抽樣)
樣本類型:用戶個(gè)體、行為片段(用戶的行為動(dòng)作session,翻頁(yè)、點(diǎn)贊、瀏覽等,代表一個(gè)用戶帶著場(chǎng)景和需求在自家產(chǎn)品上的完整流程)、搜索詞(query,抽樣搜索詞調(diào)研滿足情況)、訂單(訂單的完成情況、訂單后的推薦等)
案例:滴滴訂單成交問(wèn)題
取樣:全國(guó)一周內(nèi)(明天的周末效應(yīng),取一周為一個(gè)周期)內(nèi)所有未成交(未成交、差評(píng)重點(diǎn)關(guān)注)的訂單中抽樣。
案例:美團(tuán)搜索問(wèn)題
取樣:因?yàn)闊o(wú)法直接通過(guò)數(shù)字性指標(biāo)精準(zhǔn)篩選,所有只能從一天的全量用戶session中抽樣,然后人為進(jìn)行進(jìn)一步篩選
(3)選擇抽樣方式:常用的抽樣方法是隨機(jī)抽樣
隨機(jī)抽樣:從N個(gè)單位中任意抽取n個(gè),每個(gè)樣本被抽中的概率相等,適用于大多數(shù)場(chǎng)景.隨機(jī)抽樣也有很多細(xì)分方法,不再贅述。
選擇抽樣數(shù)量:統(tǒng)計(jì)學(xué)角度,樣本數(shù)越大越好。
統(tǒng)計(jì)角度,樣本數(shù)量越高越好,結(jié)果的準(zhǔn)確率就會(huì)越好,但是調(diào)研成本也會(huì)越高,所以調(diào)研成本是精度和成本的balance,有統(tǒng)計(jì)意義即可。
經(jīng)驗(yàn)值:一般問(wèn)題:盡量使代表某個(gè)問(wèn)題的樣本數(shù)量≥5,或者影響面≥3%即可。
樣本標(biāo)注分析:對(duì)抽樣的case進(jìn)行過(guò)逐一分析
人工對(duì)每個(gè)case進(jìn)行分析,太過(guò)于細(xì)節(jié),不再贅述
整理匯總問(wèn)題:按照合理的邏輯框架進(jìn)行整理匯總,普適
- 上下層級(jí):總分關(guān)系
- 同層級(jí)之間:相互排斥不重疊,不遺漏
3. 優(yōu)先級(jí)判斷
單位成本下的收益從大到小即優(yōu)先級(jí)從高到底。
單位成本下的收益:ROL=項(xiàng)目收益/項(xiàng)目成本
當(dāng)ROL相同時(shí)取絕對(duì)20天內(nèi)收益絕對(duì)值更大的那個(gè),同時(shí)兼顧影響面、惡劣程度、國(guó)家政策等(也就是較為常見(jiàn)的四象限判斷法)
計(jì)算方式:
- 項(xiàng)目收益:待解決問(wèn)題影響面(調(diào)研結(jié)果直接得到,百分比)*解決后體驗(yàn)提升程度(現(xiàn)階段與理想態(tài)的差距)*預(yù)期解決比例(由開(kāi)發(fā)給出,解決之后可以解決到什么程度)
- 項(xiàng)目成本:一般指研發(fā)成本和硬件等成本
優(yōu)先級(jí)判斷很重要:直接決定后續(xù)的產(chǎn)品計(jì)劃
至此,階段性調(diào)研的方法論已全部完成。
作者:海燕是只蠢貓,微信公眾號(hào):雙手伐孤木
本文由 @海燕是只蠢貓 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于CC0協(xié)議。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!