【初階產(chǎn)品生存指南】產(chǎn)品經(jīng)理評估的那些事
產(chǎn)品經(jīng)理作為一個產(chǎn)品的最終負(fù)責(zé)人,需要把控整個產(chǎn)品的發(fā)展方向,并做出迭代過程中的決策。這個過程中,可能離不開大量的評估工作。那么,評估方案如何設(shè)計?有哪些注意事項需了解?這篇文章里,作者做了梳理,一起來看。
一、我理解的評估
產(chǎn)品經(jīng)理的工作離不開大量的評估。尤其是剛剛?cè)胄械男“桩a(chǎn)品經(jīng)理。
那么為什么產(chǎn)品經(jīng)理需要這么多的評估呢?我理解,產(chǎn)品經(jīng)理是一個產(chǎn)品的最終負(fù)責(zé)人,整個產(chǎn)品的發(fā)展方向,迭代過程中的決策,推動產(chǎn)品迭代在大多數(shù)情況下是產(chǎn)品經(jīng)理的職責(zé)。如果沒有對整個產(chǎn)品的準(zhǔn)確把握,很難做出正確決策。同時,當(dāng)所做的產(chǎn)品功能不被團隊其他人理解時,也不容易和其他人目標(biāo)達成一致,推動產(chǎn)品的迭代。
在實際的評估工作中,我發(fā)現(xiàn),更多的評估是進行數(shù)據(jù)評估。因為數(shù)據(jù)是對產(chǎn)品現(xiàn)狀和存在問題的定量化反映??梢愿珳?zhǔn)地把握產(chǎn)品目前的狀況。并且定量化的數(shù)據(jù)也更具有說服力。
人對一個事物的認(rèn)知總是從感性認(rèn)識到理性認(rèn)識,從現(xiàn)象到本質(zhì)。面對大量的,復(fù)雜的,甚至是有錯誤的數(shù)據(jù)時,如何通過評估掌握真實的產(chǎn)品情況呢?這就需要有科學(xué)的評估方案和評估指標(biāo)作為支持。
因此,可以這樣定義評估。
評估就是一種通過科學(xué)的評估方案和評估指標(biāo)找出產(chǎn)品存在的問題、掌握產(chǎn)品發(fā)展現(xiàn)狀并與團隊目標(biāo)達成一致,輔助產(chǎn)品決策的一種手段。
產(chǎn)品決策是什么呢?
產(chǎn)品決策就是決定做不做,做什么,什么時候做,如何做,做到什么程度的一個過程。這個過程是一個自上而下的過程,通過評估對象拆解出核心指標(biāo)。核心指標(biāo)需要從公司、產(chǎn)品自身和用戶角度去思考。同時,也要綜合考慮影響面和成本大小。
通過以上論述可知,評估僅是產(chǎn)品決策的一部分,同時也是最重要的一部分。
二、評估方案設(shè)計
上文也有提到,評估在大多數(shù)情況下是對數(shù)據(jù)的評估。
數(shù)據(jù)是事實或觀察的結(jié)果,是對客觀事物的邏輯歸納,是用于表示客觀事物的未經(jīng)加工的原始素材。
數(shù)據(jù)夠真實,能表示客觀事物,但是很蕪雜,甚至?xí)ㄒ恍└蓴_評估的臟數(shù)據(jù)。所以數(shù)據(jù)評估就是一個簡化數(shù)據(jù)且不失真的過程。要想實現(xiàn)這個目標(biāo),就需要對評估方案進行科學(xué)的設(shè)計。
評估方案是在理解產(chǎn)品業(yè)務(wù)和拆解出核心指標(biāo)的基礎(chǔ)上,系統(tǒng)性的評估。我在剛開始做評估時,經(jīng)常是上手就開始做,做到一半,甚至快做完時發(fā)現(xiàn),我tm做錯了,各種返工。因此,評估方案不提前設(shè)計好,就會有盲目行動,浪費時間和資源的風(fēng)險。做好評估方案是很有價值的,可以有效的降低風(fēng)險,提升評估效率,形成有效客觀的評估結(jié)論。
雖說我后來慢慢認(rèn)識到了設(shè)計好評估方案的重要性,但是在實操過程中還是會犯一些錯誤。比如:
過于主觀。在評估過程中,有意識無意識的就會把評估結(jié)論盡可能往自己想要的上靠。導(dǎo)致有些評估是失實的,不可靠的。
過于量化。這是在評估做了一段時間之后很容易犯的一個錯誤,而且還不易察覺。有些東西是不適合或不易量化的,我在評估的時候遇到過一些比較偏主觀或感受的評估。結(jié)果給搞出一個奇形怪狀的指標(biāo)。
埋頭評估,自我感動。做了一段時間,尤其是掌握了一定的評估技巧之后特別容易犯這個錯誤。有了評估工作后,一頓操作。做的確實不錯,但是沒有考慮到產(chǎn)品、行業(yè)背景。我在評估一個數(shù)據(jù)時就是因為沒有考慮到目前行業(yè)中的現(xiàn)狀,把指標(biāo)定的離譜的高。
不進行數(shù)據(jù)清洗。我記得我老大曾經(jīng)對我說過,做產(chǎn)品經(jīng)理要對任何結(jié)論都保持懷疑的態(tài)度。這一點,我在剛剛做評估工作時做的很差。我以為自己的數(shù)據(jù)評估做的很好了。但是最終check評估結(jié)果時發(fā)現(xiàn),原始數(shù)據(jù)就是不準(zhǔn)確的,導(dǎo)致后續(xù)做的所有工作都是錯的。
因此,評估方案要滿足客觀、科學(xué),準(zhǔn)確,定量與定性分析相結(jié)合的原則。
說了這么多,評估方案要如何制定呢?
首先,確認(rèn)評估的時間周期。如多久要結(jié)果(ddl),有沒有關(guān)鍵時間節(jié)點。時間長有時間長的評法,時間短有時間短的評法。如果需要短時間給出部分結(jié)論,可以優(yōu)先評估一部分?jǐn)?shù)據(jù)。因此,確定評估的時間周期,可以更好的確定評估工作的整體優(yōu)先級,評估的方式,評估的節(jié)奏,人力的投入等。
其次,確定指標(biāo)標(biāo)準(zhǔn)。關(guān)鍵指標(biāo)有哪些,衡量的基準(zhǔn)是怎樣的。比如,我在評估某項數(shù)據(jù)準(zhǔn)確率指標(biāo)時,原有準(zhǔn)確率大概在70%左右,有了這個基準(zhǔn),我就可以做對比,來評估準(zhǔn)確率是提升了還是降低了。另外,指標(biāo)不可過多。一個方面一到兩個指標(biāo)即可。
再次,確定數(shù)據(jù)的收集和處理方法。是看后臺數(shù)據(jù)日志,還是問卷調(diào)查?是用戶訪問還是競品分析?方法很多,要綜合評估時間要求、數(shù)據(jù)與指標(biāo)合適程度等因素進行選擇。同時,對數(shù)據(jù)的來源,數(shù)據(jù)的處理要做到準(zhǔn)確。這是評估的根基,它錯了,所有的評估都會錯。
最后,確定資源的安排。能有多少人投入?評估人員的熟練程度如何?收集方法是否非常耗費人力?時間安排是怎么樣的?綜合考慮后,進行安排,如果沒有人力就要向上匯報,或申請人力投入,或申請延長交付時間。
三、評估的標(biāo)準(zhǔn)
評估標(biāo)準(zhǔn)包括兩個方面。一是評估維度和指標(biāo)的確定。一個指標(biāo)的標(biāo)準(zhǔn)。
沒有一個評估是可以完全覆蓋到評估對象的所有維度的。所以評估的維度和指標(biāo)需要根據(jù)評估的目的去制定。
指標(biāo)的標(biāo)準(zhǔn)有兩方面。一個是外部標(biāo)準(zhǔn)。比如某個數(shù)據(jù)整個市場的大盤覆蓋只有50%。所以50%就是指標(biāo)的天花板,我們要看的就是和外部市場覆蓋的距離。第二個是內(nèi)部標(biāo)準(zhǔn)。它是產(chǎn)品團負(fù)責(zé)隊制定的標(biāo)準(zhǔn)。還是上面的例子,可能因為人力,資源集中程度的問題,我們能做到達到覆蓋30%就算是最優(yōu)的效果了。那我們評估時,就要看我們目前和制定的內(nèi)部目標(biāo)距離是多少。
在制定的過程中可能會存在如下的問題。
缺少某些評估維度。這可能是因為評估經(jīng)驗較少導(dǎo)致的。比如,在評估某些數(shù)據(jù)質(zhì)量時,搞出了很多的數(shù)據(jù)準(zhǔn)確率。如A項的準(zhǔn)確率,B項的準(zhǔn)確率,C項的準(zhǔn)確率。這些指標(biāo)僅僅是反應(yīng)了準(zhǔn)確率如何,并且也可以通過一個更高層級的總準(zhǔn)確率去評估。這些數(shù)據(jù)的覆蓋率如何呢?重復(fù)率呢?
所以,制定過程中建議先確定維度,后確定指標(biāo)。避免遺漏。為了避免遺漏,我覺得可以從一點兩面去梳理。一點是目的,所有維度的選取都要基于評估目的。兩面是行業(yè)或市場背景、評估對象自身。比如,評估一個UP主的視頻質(zhì)量。市場來說,可以對比其他平臺同類型視頻和UP主視頻的比較。視頻來說,可以考察視頻的質(zhì)量如何。
評估指標(biāo)過于單一,缺少行業(yè)特色指標(biāo)。這是因為缺少相關(guān)經(jīng)驗和認(rèn)知導(dǎo)致的。比如就我了解的坪效來說,如果對商場缺乏認(rèn)知,在評估時很可能就會考慮不到這個指標(biāo)。相同的例子還有餐飲行業(yè)的上座率、開臺率、翻臺率等。
評估指標(biāo)沒有優(yōu)先級。這要根據(jù)評估的目的進行指標(biāo)的優(yōu)先級制定。有的時候指標(biāo)A可能會高于指標(biāo)B,有時可能因為目的的不同,同樣的數(shù)據(jù),指標(biāo)B高于指標(biāo)A。
評估指標(biāo)無意義。評估是為了決策,是為了傳遞產(chǎn)品優(yōu)劣信息的,因此指標(biāo)大多都是一個比較的結(jié)果。我在剛開始做數(shù)據(jù)評估的時候把PV當(dāng)作一個指標(biāo),但是這個指標(biāo)的絕對數(shù)據(jù)代表了什么呢?還是要看它和過去相同時間周期相同時間點的PV的比較才能說明優(yōu)劣。
所以,評估標(biāo)準(zhǔn)的路徑是,根據(jù)目標(biāo),先定性出維度,然后結(jié)合評估對象的行業(yè)或群體特性拆解出相應(yīng)指標(biāo),找到指標(biāo)標(biāo)準(zhǔn),進行評估。
四、撰寫評估報告
評估報告就是輸出完整客觀的報告文檔,圍繞結(jié)論展開數(shù)據(jù)分析,呈現(xiàn)成果并推動產(chǎn)品發(fā)展。
寫評估報告最重要的是要有一個框架。一個完整的評估報告中要呈現(xiàn)的內(nèi)容包括標(biāo)題、評估計劃、評估標(biāo)準(zhǔn)、數(shù)據(jù)收集、數(shù)據(jù)分析+結(jié)論、綜合結(jié)論、未來計劃、附錄。
標(biāo)題最好統(tǒng)一格式。【評估報告】-xxx(項目或功能)關(guān)于xxx(維度)的評估報告。因為評估報告一般都是發(fā)郵件,前面有一個【評估報告】方便相關(guān)人員進行郵件分類和后續(xù)查找。另外就是題目要傳達整份報告的內(nèi)容,所以要點明評估的對象和維度。
評估計劃、評估標(biāo)準(zhǔn)、數(shù)據(jù)收集是評估方法,這部分的展現(xiàn)要盡可能的簡單,因為它不是報告中最重要的部分,但是卻要說明的部分。所以要用簡練的話語點出以上內(nèi)容。同時,評估方法盡量簡單易懂。
我認(rèn)為評估結(jié)論最重要的就是克制,千萬別演繹,要遵循邏輯。有什么指標(biāo)就推導(dǎo)出什么結(jié)論,如果指標(biāo)無法推導(dǎo)出,就看能不能增加一些評估指標(biāo),而不是想當(dāng)然的下一個不合邏輯的結(jié)論。同時,評估結(jié)論也要結(jié)構(gòu)清晰,重點突出,有助于決策判斷。能夠回答一些問題,如是否問題(是否好/壞)、價值問題(A比B好,好多少)、取舍問題(成本VS收益)。
對于新手來說評估結(jié)論也比較容易犯一些錯誤。
以數(shù)據(jù)代表結(jié)論。數(shù)據(jù)是結(jié)論的基礎(chǔ),但它不是結(jié)論本身,所以在最后呈現(xiàn)的時候要通過評估數(shù)據(jù)解讀出一個定性的描述。
數(shù)據(jù)堆積。需要選擇重要的關(guān)鍵性指標(biāo)進行分析,得出有啟發(fā)的結(jié)論才有意義。
評估是為了決策,發(fā)一份報告絕不是評估的終點。認(rèn)識的發(fā)展也是從理性認(rèn)識到實踐的過程。報告是理性認(rèn)識,制定TODO才完成了評估的閉環(huán)。制定TODO時要注意,要根據(jù)結(jié)論制定計劃,保持優(yōu)勢,有優(yōu)先級的補齊劣勢。
最后的附錄會附上一些評估的原始數(shù)據(jù),數(shù)據(jù)來源等不需要呈現(xiàn)但可能會被報告閱讀人關(guān)注的事情。
五、評估注意事項
評估過程中,要秉承以下評估態(tài)度:
避免盲目、聚焦核心目標(biāo)、直接敏感性、客觀科學(xué)、不摻雜主觀情感。
在實際評估工作中我一直在找尋一些提高效率和準(zhǔn)確的方法。
就數(shù)據(jù)獲取來說,有的時候我想要一份數(shù)據(jù)需要開發(fā)同學(xué)各種跑數(shù)據(jù)。但是開發(fā)同學(xué)手頭也有很多的項目在跟。這時如果自己會寫sql語句,就可以自己去看數(shù)據(jù)了,無須開發(fā)同學(xué)排期跑數(shù)據(jù)。節(jié)省很多開發(fā)成本和溝通成本。
就數(shù)據(jù)分析來說,要善于使用excel中的公式,比如VLOOKUP公式,IF公式等,多借用關(guān)聯(lián)關(guān)系和演算邏輯。還有在處理量比較大的數(shù)據(jù)時,excel可能跑不動,如果能使用python處理較大量級數(shù)據(jù)就會大大提高效率。
就報告來說,總結(jié)出一份自己的報告模板也會大大提高效率。
在保障準(zhǔn)確性上,要注意以下幾點:
一定要對原始數(shù)據(jù)進行清洗,剔除臟數(shù)據(jù)。
盡可能減少數(shù)據(jù)流轉(zhuǎn)的路徑,盡可能用一份數(shù)據(jù)或放在一個表里分析。
統(tǒng)一整體評估標(biāo)準(zhǔn),嚴(yán)格遵循邏輯。
同時減少手算,多用公式計算。可有效提高準(zhǔn)確性。
最后,回到評估的定義。評估是一種輔助決策的手段。因此,一切都要為決策服務(wù)。上文提到的是一個全面評估所需要做到的方方面面,在實際評估工作中很難全涉及到。所以在評估時,不可僵化,生搬硬套。
要想提高評估水平我認(rèn)為就兩個方式,多實踐、多總結(jié)、多看優(yōu)秀評估報告。
參考:
- 公司內(nèi)部培訓(xùn)
- 工作實踐總結(jié)
本文由 @孟老濕 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
學(xué)習(xí)了
感謝認(rèn)可