編輯導(dǎo)語：策略產(chǎn)品經(jīng)理在工作過程中往往離不開主觀評(píng)估，在科學(xué)的評(píng)估方式指導(dǎo)下，主觀評(píng)估可以和客觀數(shù)據(jù)指標(biāo)互為補(bǔ)充，同時(shí)輔助業(yè)務(wù)決策。本文作者將以此為出發(fā)點(diǎn)，主要介紹了一些主觀評(píng)估（平臺(tái)視角）的相關(guān)方法論。

一、主觀評(píng)估的三條關(guān)鍵準(zhǔn)則

在摸索出以下三條關(guān)鍵準(zhǔn)則之前，筆者在工作早期的主觀評(píng)估項(xiàng)目多數(shù)以失敗告終。失敗的原因往往是主觀評(píng)估數(shù)據(jù)無法取得廣泛的認(rèn)可，也就無法使用該數(shù)據(jù)推動(dòng)決策。

通常項(xiàng)目失敗的原因如下：

1. 穩(wěn)定性差

在沒有做大調(diào)整的情況下，上個(gè)評(píng)估周期的主觀評(píng)估數(shù)據(jù)與這個(gè)評(píng)估周期的數(shù)據(jù)相差甚遠(yuǎn)，從而不知道應(yīng)該相信哪一份數(shù)據(jù)。

2. 其他團(tuán)隊(duì)對(duì)指標(biāo)不認(rèn)可

策略產(chǎn)品經(jīng)理做了一份主觀評(píng)估結(jié)果并發(fā)送郵件給相關(guān)人員，但被其他團(tuán)隊(duì)質(zhì)疑數(shù)據(jù)有效性。

比如，對(duì)于某個(gè)通用分類器的召回率數(shù)據(jù)，算法工程師認(rèn)為是90%，而策略產(chǎn)品經(jīng)理評(píng)估只有70%。

當(dāng)然這兩個(gè)數(shù)值是隨意杜撰的，但這件事情背后往往是不同團(tuán)隊(duì)KPI壓力導(dǎo)致的，需要一種切實(shí)有效的手段來統(tǒng)一所有人的認(rèn)知。

二、分析

1. 對(duì)于第一種情況

往往是抽樣方法或者評(píng)估標(biāo)準(zhǔn)導(dǎo)致的，如果在上一次評(píng)估周期中抽取了小樣本，而在下一次評(píng)估周期中抽取了大樣本，兩次結(jié)果的置信區(qū)間寬度差距較大，那么結(jié)果差異大。

如果兩次評(píng)估的抽樣采用了不同的過濾策略，則抽取的樣本實(shí)際數(shù)據(jù)分布不同（比如，第一次抽樣過濾了無效狀態(tài)，而第二次抽樣并未過濾）。

另外，兩次評(píng)估的評(píng)估員不是同一人或者評(píng)估標(biāo)準(zhǔn)不清晰，數(shù)值也會(huì)有差異。但以上問題都可以通過相應(yīng)的手段解決。

2. 對(duì)于第二種情況

相信做過主觀評(píng)估項(xiàng)目的人一定非常熟悉，由于團(tuán)隊(duì)內(nèi)有多個(gè)“手表”產(chǎn)生了“手表效應(yīng)”，不同視角數(shù)據(jù)（上例中的算法工程師和策略產(chǎn)品經(jīng)理各執(zhí)一詞的兩份數(shù)據(jù)）的增加，不僅沒有為團(tuán)隊(duì)帶來收益，反而導(dǎo)致團(tuán)隊(duì)內(nèi)部變得更加混沌。

主觀評(píng)估數(shù)據(jù)不被信任有多方面的原因，一個(gè)最大的原因是對(duì)于同一個(gè)事物，每個(gè)人的主觀標(biāo)準(zhǔn)難以實(shí)現(xiàn)精準(zhǔn)的“調(diào)和”。

畢竟大多數(shù)人來自不同的省市，接受了不同的教育，在走上工作崗位時(shí)已經(jīng)形成了完整的世界觀，此時(shí)很難去統(tǒng)一不同人根深蒂固的底層認(rèn)知，這也是主觀評(píng)估項(xiàng)目的最大挑戰(zhàn)。

所以在匯報(bào)主觀評(píng)估項(xiàng)目時(shí)，尤其考驗(yàn)策略產(chǎn)品經(jīng)理的推動(dòng)能力和匯報(bào)技巧，他們必須推動(dòng)更多的人支持該方案。

三、總結(jié)

經(jīng)過對(duì)多方的廣泛復(fù)盤和經(jīng)驗(yàn)沉淀，筆者總結(jié)出了以下三條關(guān)鍵原則，如圖3-2所示：

1. “法律條文”—“主觀評(píng)估標(biāo)準(zhǔn)”的四要素

主要作用是使用客觀清晰的語言統(tǒng)一團(tuán)隊(duì)內(nèi)部所有人的認(rèn)知，即對(duì)于任意的主觀評(píng)估標(biāo)準(zhǔn)而言，必須具備完整的“法律條文”.

具體包含以下4個(gè)關(guān)鍵要素：

1）標(biāo)簽

標(biāo)簽可以是連續(xù)的，也可以是離散的。體育分類的內(nèi)容、美術(shù)分類的內(nèi)容等屬于離散標(biāo)簽，豆瓣上的電影評(píng)分屬于連續(xù)的標(biāo)簽，標(biāo)簽的設(shè)定完全是由主觀決定的。

2）標(biāo)簽定義

需要滿足“形容詞+名詞”的組合：標(biāo)簽定義是為了讓大多數(shù)人理解標(biāo)簽含義的重要手段，所選擇的形容詞和名詞必須是有實(shí)際含義的“{形容詞}的{形容詞}的{名詞}”。

比如豆瓣電影評(píng)分為9分的電影指的是“值得多次回顧的（形容詞）、立意深遠(yuǎn)（形容詞）的電影內(nèi)容（名詞）”，1分的電影指的是“浪費(fèi)時(shí)間的（形容詞）、毫無主題（形容詞）的電影內(nèi)容（名詞）”。

3）判例

通常以關(guān)鍵詞或該標(biāo)簽的示例給出，和“法律條文”接近，在給出主觀評(píng)估標(biāo)準(zhǔn)時(shí)需要給出非常具體的實(shí)例作為判例，數(shù)量越多越好，一般不少于5個(gè)，比如豆瓣評(píng)分9分的電影（標(biāo)簽）的判例為《肖申克的救贖》《這個(gè)殺手不太冷》等。

判例是對(duì)標(biāo)簽和標(biāo)簽定義的具體補(bǔ)充，大多數(shù)情況下團(tuán)隊(duì)內(nèi)部往往對(duì)于標(biāo)簽和標(biāo)簽定義不會(huì)有較大分歧，而對(duì)于判例的分歧一般較大。

所以對(duì)于主觀評(píng)估標(biāo)準(zhǔn)而言，判例是最重要的部分。請(qǐng)選取團(tuán)隊(duì)內(nèi)部討論通過的，并經(jīng)由“最高裁判”確認(rèn)的標(biāo)志性示例作為判例，這是主觀評(píng)估流程中一個(gè)非常重要的步驟。

4）標(biāo)簽的比例要求

對(duì)于離散型標(biāo)簽而言，往往沒有比例要求。比如對(duì)于體育分類的內(nèi)容，策略產(chǎn)品經(jīng)理往往并不要求一定要保證體育分類的內(nèi)容要占到全體內(nèi)容的何種比例，而是順其自然地符合自然分布即可。

而對(duì)于連續(xù)型標(biāo)簽，往往需要對(duì)不同等級(jí)的標(biāo)簽設(shè)定預(yù)期比例，比如金字塔形分布（10分電影所占比例不超過1%，9分電影比例不超過6%，8分電影比例不超過12%等數(shù)值要求）或者紡錘形分布（即兩極的占比低，中部的占比高）。

2. “最高裁判”—主觀評(píng)估的必要角色

主觀評(píng)估項(xiàng)目中常見的現(xiàn)象是平臺(tái)內(nèi)部對(duì)于最終的主觀評(píng)估數(shù)據(jù)結(jié)果各執(zhí)一詞，造成這一現(xiàn)象的根本原因是平臺(tái)內(nèi)部缺乏一個(gè)對(duì)于標(biāo)準(zhǔn)有最終解釋權(quán)的“最高裁判”的存在。

關(guān)于“最高裁判”，筆者有以下經(jīng)驗(yàn)可分享：

1）誰來推動(dòng)

由于職場(chǎng)中大多數(shù)人對(duì)于主觀評(píng)估的經(jīng)驗(yàn)不足，一般來說“最高裁判”的選擇需要策略產(chǎn)品經(jīng)理推動(dòng)相關(guān)角色選舉產(chǎn)生，如果民主選舉無法產(chǎn)生“最高裁判”，此時(shí)策略產(chǎn)品經(jīng)理應(yīng)該召開標(biāo)準(zhǔn)討論會(huì)議，并邀請(qǐng)項(xiàng)目中職位最高的管理者參加。

會(huì)議中推動(dòng)項(xiàng)目最高管理者指定主觀評(píng)估標(biāo)準(zhǔn)的“最高裁判”人選。該人選對(duì)于主觀評(píng)估標(biāo)準(zhǔn)負(fù)責(zé)，具有最終解釋權(quán)。

2）誰作為“最高裁判”

第一個(gè)條件是“最高裁判”應(yīng)是對(duì)于主觀評(píng)估標(biāo)準(zhǔn)制定最資深、最權(quán)威的人員（內(nèi)容型產(chǎn)品中一般由運(yùn)營經(jīng)理負(fù)責(zé)）。

第二個(gè)條件是“最高裁判”應(yīng)是避免與該評(píng)估數(shù)據(jù)有直接利益關(guān)系的人（比如某NLP分類器模型，“最高裁判”的評(píng)估人員不應(yīng)該是該NLP算法工程師，而應(yīng)該是第三方中立的業(yè)務(wù)人員），杜絕“既當(dāng)運(yùn)動(dòng)員，又當(dāng)裁判員”的現(xiàn)象。

3）產(chǎn)生爭議怎么辦

當(dāng)平臺(tái)內(nèi)部對(duì)于主觀評(píng)估結(jié)論存在多個(gè)質(zhì)疑的聲音時(shí)，雙方評(píng)估的人員、“最高裁判”可以在會(huì)議室內(nèi)當(dāng)場(chǎng)校對(duì)標(biāo)準(zhǔn)（以筆者的經(jīng)驗(yàn)看，對(duì)于爭議的實(shí)例，一般60分鐘的會(huì)議即可完成雙方標(biāo)準(zhǔn)的統(tǒng)一），并由“最高裁判”對(duì)主觀評(píng)估結(jié)論給出終審判決。

3. “主觀評(píng)估標(biāo)準(zhǔn)”的用戶視角和平臺(tái)視角

對(duì)于標(biāo)簽定義而言，應(yīng)當(dāng)盡量貼合用戶視角，設(shè)定評(píng)估標(biāo)注時(shí)應(yīng)該選擇大多數(shù)目標(biāo)用戶的共同認(rèn)知。

以《火影忍者》的漫畫分類舉例來說，從平臺(tái)價(jià)值觀和用戶價(jià)值觀兩個(gè)角度來看是不一樣的：

1）平臺(tái)價(jià)值觀

《火影忍者》是“熱血分類”動(dòng)漫，其中“熱血分類”是主觀評(píng)估標(biāo)準(zhǔn)中的一個(gè)標(biāo)簽。

2）用戶價(jià)值觀

用戶A可能會(huì)認(rèn)為“火影挺好玩的，看著挺刺激的”，用戶B可能會(huì)認(rèn)為“火影好熱血啊，是一個(gè)熱血?jiǎng)勇?，而女性用戶C可能會(huì)認(rèn)為“火影是一部彩虹漫畫，鳴人、佐助太甜了”。

可見，在本例中用戶A和用戶B腦中的第一反應(yīng)都是“熱血分類”，而用戶C的第一反應(yīng)是“彩虹漫畫”，而此時(shí)的主觀評(píng)估標(biāo)準(zhǔn)應(yīng)該選取大多數(shù)人的認(rèn)知。

在進(jìn)行主觀評(píng)估標(biāo)準(zhǔn)設(shè)定時(shí)，策略產(chǎn)品經(jīng)理應(yīng)該考慮到用戶的認(rèn)知水平差異。

為了讓大家更直觀地理解主觀評(píng)估標(biāo)準(zhǔn)的設(shè)計(jì)方式，下表給出了漫畫屬于何種漫畫分類的主觀評(píng)估標(biāo)準(zhǔn)示例：

上述的主觀評(píng)估標(biāo)準(zhǔn)示例是為了便于理解而杜撰的，在實(shí)際工作中，主觀評(píng)估標(biāo)準(zhǔn)要細(xì)致得多，可以增加對(duì)于該標(biāo)簽與其他標(biāo)簽的區(qū)別（比如增加一列備注）。

該標(biāo)簽的正例和反例都可以沉淀到公共文檔上，方便團(tuán)隊(duì)所有相關(guān)人員查閱，對(duì)于以上三條主觀評(píng)估原則的實(shí)例應(yīng)用。

作者：韓瞳，文章選自《策略產(chǎn)品經(jīng)理實(shí)踐》，2020年7月出版。

未經(jīng)出版社或作者書面授權(quán)，禁止轉(zhuǎn)載，違者追究法律責(zé)任

題圖來自 Unsplash，基于 CC0 協(xié)議