編輯導(dǎo)語(yǔ)：我們?cè)谏钪刑幪幎加行枰u(píng)分的地方，比如我們點(diǎn)外賣(mài)或者去一家餐飲店，就習(xí)慣性會(huì)去看看評(píng)論如何；本文是作者分享的關(guān)于評(píng)分模型在業(yè)務(wù)、系統(tǒng)、公司的意義，以及搭建的方法論，我們一起來(lái)學(xué)習(xí)一下。

一、什么是評(píng)分模型

在寫(xiě)這篇文章前，我一直在思考評(píng)分模型之于業(yè)務(wù)、系統(tǒng)、公司的意義，如果用一句話(huà)描述評(píng)分模型，我的定義是——對(duì)某一群體事物（評(píng)價(jià)主體）由定性分析到定量分析的過(guò)程。

二、搭建評(píng)分模型的意義

評(píng)分模型在平臺(tái)上應(yīng)用較為廣泛，常見(jiàn)的交易，內(nèi)容、社交、社區(qū)平臺(tái)都會(huì)廣泛運(yùn)用評(píng)分模型或分層模型（分層模型更多是在評(píng)分模型的基礎(chǔ)上進(jìn)一步歸類(lèi)得到）。

為什么是平臺(tái)？

平臺(tái)作為供給方與需求方的連接，在平臺(tái)生態(tài)的搭建中，往往通過(guò)規(guī)則的制定，激勵(lì)、懲罰、約束供給方與需求方，打造正向體驗(yàn)，促使平臺(tái)朝著良性、正向的方向發(fā)展。

在規(guī)則的制定與履行中，往往基于平臺(tái)的價(jià)值觀(guān)去制定規(guī)則，再借由評(píng)分模型（體系）進(jìn)行度量，所以我們也說(shuō)評(píng)分模型是平臺(tái)價(jià)值觀(guān)的體現(xiàn)。

舉個(gè)例子
基于場(chǎng)景：某個(gè)區(qū)域有100位用戶(hù)打車(chē)（需求），而司機(jī)（供給運(yùn)力）僅有80個(gè)單位，針對(duì)此場(chǎng)景大D、小D兩平臺(tái)調(diào)度系統(tǒng)邏輯分別為：

大D平臺(tái)：認(rèn)為打車(chē)業(yè)務(wù)是需求驅(qū)動(dòng)型業(yè)務(wù)，即平臺(tái)的核心在于最短時(shí)間內(nèi)滿(mǎn)足所有乘客的出行需求，因此調(diào)度系統(tǒng)會(huì)從全局最優(yōu)角度為司機(jī)——路線(xiàn)匹配程度進(jìn)行量化評(píng)分，進(jìn)而依據(jù)分值進(jìn)行調(diào)度

小D平臺(tái)：認(rèn)為打車(chē)業(yè)務(wù)是供給驅(qū)動(dòng)型業(yè)務(wù)，即平臺(tái)核心是保障司機(jī)端體驗(yàn)以聚攏更多司機(jī)（運(yùn)力），因此調(diào)度系統(tǒng)從司機(jī)體驗(yàn)最優(yōu)角度為司機(jī)——路線(xiàn)匹配程度量化評(píng)分，進(jìn)而依據(jù)分值進(jìn)行調(diào)度

三、評(píng)分模型的基礎(chǔ)結(jié)構(gòu)

評(píng)分模型，更準(zhǔn)確的說(shuō)應(yīng)該是評(píng)價(jià)模型與我們的生活息息相關(guān)，當(dāng)我們對(duì)某一事物進(jìn)行評(píng)價(jià)時(shí)，實(shí)際上已完成了評(píng)價(jià)模型的建立。

例如我們?cè)u(píng)價(jià)一件商品的好壞，一個(gè)人工作能力的強(qiáng)弱，一道菜品的優(yōu)劣。

評(píng)價(jià)模型是我們對(duì)某一事物的價(jià)值評(píng)估，更側(cè)重定性分析；而評(píng)分模型，文章開(kāi)頭我們講過(guò)定義：是對(duì)某一群體事物由定性分析到定量分析對(duì)過(guò)程，本質(zhì)上是定量分析。

如何理解兩者的差異，下面一張圖方便大家理解：

剛才我們講評(píng)價(jià)模型與評(píng)分模型的差異，及生活中被各類(lèi)評(píng)價(jià)模型裹挾。那么生活中有沒(méi)有評(píng)分模型？

有一類(lèi)評(píng)分模型我們從小就開(kāi)始與其打交道，伴隨了我們的成長(zhǎng) —— 考試，考試的本質(zhì)是對(duì)學(xué)生的學(xué)習(xí)情況定量分析的過(guò)程。

現(xiàn)在我們就由考試講起，聊一聊評(píng)分模型的組成。

考試作為評(píng)分模型，它的結(jié)構(gòu)是怎樣的呢？讓我們先回想一下考試的幾個(gè)組成要素：

• 學(xué)生
• 試卷
• 老師

對(duì)上述三個(gè)對(duì)象在評(píng)分模型中的定位進(jìn)行抽象：

• 學(xué)生——被評(píng)價(jià)者：即評(píng)價(jià)模型所研究對(duì)象
• 試卷——綜合評(píng)價(jià)模型
• 老師——評(píng)價(jià)標(biāo)準(zhǔn)制定者

我們可以看到，考試的本質(zhì)是評(píng)價(jià)標(biāo)準(zhǔn)制定者通過(guò)模型的建立對(duì)被評(píng)價(jià)者某種能力/特征進(jìn)行量化評(píng)分的過(guò)程。

這個(gè)結(jié)構(gòu)簡(jiǎn)單理解就是：被評(píng)價(jià)者特征信息的輸入通過(guò)評(píng)價(jià)模型進(jìn)行量化，完成結(jié)果分值的輸出。

那么模型本身的內(nèi)在構(gòu)造又是怎樣的呢。回到考試場(chǎng)景，試卷就是評(píng)分模型，試卷中包含了哪些要素？

我們通過(guò)得分拆解：分值=題*每題得分。

• 題的本質(zhì)：對(duì)被評(píng)價(jià)者在某方面能力、特征的度量——考核指標(biāo)。
• 分的本質(zhì)：某項(xiàng)能力、特征對(duì)整體評(píng)價(jià)的重要性——權(quán)重。

花了很大篇幅講評(píng)分模型的相關(guān)概念，是為了讓大家理解評(píng)分模型的基礎(chǔ)原理。

四、指標(biāo)：評(píng)分模型的基石

1. 指標(biāo)的特性

評(píng)價(jià)指標(biāo)是反應(yīng)被評(píng)價(jià)對(duì)象在評(píng)價(jià)體系中影響評(píng)價(jià)結(jié)果的影響因子。

選擇的指標(biāo)需要滿(mǎn)足幾個(gè)基本特性：關(guān)聯(lián)性、普遍性、可度量性

關(guān)聯(lián)性：在選取模型指標(biāo)時(shí)常出現(xiàn)以下幾個(gè)問(wèn)題，導(dǎo)致選取指標(biāo)組成的評(píng)分模型無(wú)法準(zhǔn)確表達(dá)評(píng)分模型目標(biāo)及意義。

• 選取指標(biāo)不全，片面表達(dá)
• 選取指標(biāo)不合理
• 選取指標(biāo)重復(fù)

如場(chǎng)景：在制定商家服務(wù)評(píng)分體系的時(shí)候，主要考核衡量商家對(duì)用戶(hù)服務(wù)的質(zhì)量，以下哪些指標(biāo)可以運(yùn)用于商家服務(wù)評(píng)分體系，體現(xiàn)商家服務(wù)質(zhì)量：

• 銷(xiāo)量
• 評(píng)價(jià)數(shù)
• 30s應(yīng)答率
• 退貨率

各位可以思考下（一分鐘思考時(shí)間）~

答案是僅30s應(yīng)答率可納入商家服務(wù)質(zhì)量指標(biāo)體系。

我在線(xiàn)下跟朋友交流此問(wèn)題時(shí)，鮮有人能準(zhǔn)確選出答案，甚至到商家管理業(yè)務(wù)同學(xué)這里也栽了跟頭；這個(gè)問(wèn)題在未明確目標(biāo)時(shí)，我們?nèi)菀讓N(xiāo)量，評(píng)價(jià)數(shù)、退貨率這些指標(biāo)引入評(píng)價(jià)模型。

從主觀(guān)感知上來(lái)看，我們天然認(rèn)為銷(xiāo)量高的商家比銷(xiāo)量低的商家服務(wù)質(zhì)量好；評(píng)價(jià)越多的商品，店鋪服務(wù)質(zhì)量會(huì)越好；退貨率越高的店鋪，服務(wù)質(zhì)量不好，從平臺(tái)大盤(pán)數(shù)據(jù)看整個(gè)商家體系往往也是此趨勢(shì)。

但具體到個(gè)例上看確是如此么？

• 銷(xiāo)量高、評(píng)價(jià)數(shù)多的商家普遍比銷(xiāo)量低評(píng)價(jià)數(shù)少的商家服務(wù)好，但新商家服務(wù)質(zhì)量不一定比老商家差，小眾品類(lèi)商家服務(wù)質(zhì)量不一定比大品類(lèi)商家差；
• 退貨率低的商家普遍比退貨率高的商家服務(wù)質(zhì)量好，但有些品類(lèi)天然退貨率高，如服飾鞋帽品類(lèi)天然比食品零食品類(lèi)退貨率高。
• 退貨也不一定是商家服務(wù)質(zhì)量造成的退貨，可能存在用戶(hù)個(gè)人原因，故若要反應(yīng)商家服務(wù)質(zhì)量，也品質(zhì)退貨率會(huì)更準(zhǔn)確，類(lèi)似此類(lèi)例子還有很多。

商家對(duì)用戶(hù)提供的服務(wù)質(zhì)量確實(shí)會(huì)影響銷(xiāo)量、評(píng)價(jià)數(shù)、退貨率等指標(biāo)，但這是一個(gè)逆命題。

上述幾個(gè)指標(biāo)均是結(jié)果型指標(biāo)，代表的場(chǎng)景是：商戶(hù)對(duì)用戶(hù)提供了良好的服務(wù)質(zhì)量，會(huì)影響上述指標(biāo)的結(jié)果。

我們的模型要探究的是哪些指標(biāo)對(duì)商家服務(wù)質(zhì)量結(jié)果產(chǎn)生了影響，而不是商家服務(wù)質(zhì)量會(huì)對(duì)哪些指標(biāo)產(chǎn)生影響；在此語(yǔ)境下，我們更應(yīng)關(guān)注過(guò)程型指標(biāo)。

但這并不代表結(jié)果型指標(biāo)不可用于評(píng)分模型，結(jié)果型指標(biāo)運(yùn)用于評(píng)分模型中有兩個(gè)天然的劣勢(shì)：

• 滯后性，從評(píng)價(jià)主體的行為到結(jié)果的輸出存在時(shí)間差；
• 多因素干擾，實(shí)際業(yè)務(wù)場(chǎng)景下，某個(gè)結(jié)果型指標(biāo)往往被多因素共同影響，存在部分因素不是評(píng)分模型研究范圍。

若實(shí)際業(yè)務(wù)過(guò)程中能接受滯后性，或者能排除多因素干擾，那么結(jié)果型指標(biāo)同樣可作用于評(píng)分模型

可度量性：這個(gè)就相對(duì)易理解了，文章開(kāi)頭我們定義了評(píng)分模型的概念：本質(zhì)上是定性分析到定量分析的過(guò)程——這就要求選取的指標(biāo)可量化。

普遍性：評(píng)分模型在完成評(píng)價(jià)主體的確定，對(duì)模型指標(biāo)選擇中，應(yīng)盡量選擇評(píng)價(jià)主體都具備的能力/特征作為考核指標(biāo)，以減少統(tǒng)計(jì)的不公平性，避免模型計(jì)算過(guò)程中的復(fù)雜性。

2. 指標(biāo)的選擇——GSM模型

合理的指標(biāo)需要滿(mǎn)足什么基礎(chǔ)特征，我們現(xiàn)在知道了。

但就像明白了很多做人道理卻依舊過(guò)不好此生，很多人會(huì)感覺(jué)指標(biāo)該滿(mǎn)足關(guān)聯(lián)性、普遍性、可度量性，我知道了，但合理的指標(biāo)如何選取呢，還是不知道。

這里面其實(shí)有一個(gè)邏輯定式在里面，我們說(shuō)的指標(biāo)滿(mǎn)足各種特性，其實(shí)是對(duì)結(jié)果的一種驗(yàn)證，缺少的是對(duì)實(shí)現(xiàn)路徑的認(rèn)知。

這里我提供一個(gè)路徑，供大家參考：拆分目標(biāo)-歸納表現(xiàn)型-選取指標(biāo)——GSM模型。

GSM模型：目標(biāo)（Goal）→信號(hào)（Signal）→指標(biāo)（Metric）是谷歌用戶(hù)體驗(yàn)團(tuán)隊(duì)提出的一種指標(biāo)體系搭建方法，其核心思想：通過(guò)明確目標(biāo)，歸納測(cè)量主體表現(xiàn)型，找出關(guān)鍵指標(biāo)。

目標(biāo)確立（Goal）：

• 明確業(yè)務(wù)目標(biāo)、系統(tǒng)目標(biāo)等；
• 根據(jù)核心(主)目標(biāo)做目標(biāo)拆解；

推導(dǎo)信號(hào)和現(xiàn)象（Signal）：

• 目標(biāo)達(dá)成或未達(dá)成的表現(xiàn)型是怎樣；
• 什么行為指示了目標(biāo)達(dá)成/未達(dá)成；
• 很多時(shí)候負(fù)向信號(hào)/表現(xiàn)型比正向信號(hào)/表現(xiàn)型更容易識(shí)別；

選取指標(biāo)（Metric）：

• 目標(biāo)達(dá)成/未達(dá)成的表現(xiàn)通過(guò)哪些數(shù)據(jù)指標(biāo)量化；
• 考慮每個(gè)數(shù)據(jù)指標(biāo)對(duì)推導(dǎo)信號(hào)/現(xiàn)象的描述程度；

3. 指標(biāo)的正向化

選擇的指標(biāo)從評(píng)判標(biāo)準(zhǔn)來(lái)將會(huì)存在以下幾種類(lèi)型：

• 正向指標(biāo)——越大越好；
• 逆向指標(biāo)——越小越好；
• 中間型指標(biāo)——越趨于某個(gè)值越好；
• 區(qū)間型指標(biāo)——越靠近某一區(qū)間；

為了便于后續(xù)計(jì)算與分析，我們通常將各類(lèi)型指標(biāo)轉(zhuǎn)化為正向指標(biāo)。

逆向指標(biāo)正向化：

yi=max-xi 或 yi=1/xi

中間型指標(biāo)正向化：

其中Xbest為中間最優(yōu)值。

區(qū)間型指標(biāo)正向化：

4. 指標(biāo)的無(wú)量綱化

無(wú)量綱——聽(tīng)起來(lái)有點(diǎn)晦澀。

無(wú)量綱是物理學(xué)延伸出的概念，指在便于對(duì)物理常量進(jìn)行比較、分析，不同常量（重量、長(zhǎng)度、時(shí)間、體積、溫度等）之間單位是不一樣，為了消除單位的影響需要進(jìn)行的去量綱化。

同理，不同指標(biāo)之間由于存在量綱不同致其不具可比性，亦需將指標(biāo)進(jìn)行無(wú)量綱化，消除量綱影響將指標(biāo)實(shí)際值轉(zhuǎn)化為評(píng)價(jià)值，大家可以簡(jiǎn)單理解為去單位化。

目前最普遍使用的無(wú)量綱化方法是標(biāo)準(zhǔn)化法，標(biāo)準(zhǔn)化法即令：

其中x拔和σj分別是指標(biāo)xj的均值和標(biāo)準(zhǔn)差。

五、權(quán)重

1. 權(quán)重的內(nèi)涵

前面我講過(guò)評(píng)分模型是平臺(tái)價(jià)值觀(guān)的體現(xiàn)，這個(gè)價(jià)值觀(guān)很大一部分由指標(biāo)的選擇與權(quán)重的定義承載。

不同平臺(tái)在定義指標(biāo)權(quán)重時(shí)會(huì)存在較大差異，可以簡(jiǎn)單理解為不同平臺(tái)因產(chǎn)品形態(tài)/產(chǎn)品定位/目標(biāo)用戶(hù)/使用場(chǎng)景存在差異，導(dǎo)致平臺(tái)在評(píng)價(jià)一項(xiàng)事物時(shí)會(huì)有不同的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)我們可以抽象為權(quán)重。

權(quán)重的大小反映了對(duì)于目標(biāo)結(jié)果來(lái)說(shuō)，評(píng)價(jià)指標(biāo)的重要程度。

這個(gè)重要程度一般從兩方面衡量：

• 指標(biāo)包含評(píng)價(jià)主體信息量的多少，包含信息量越大，權(quán)重越大；
• 指標(biāo)對(duì)評(píng)價(jià)主體的區(qū)分度，評(píng)價(jià)指標(biāo)區(qū)別被評(píng)價(jià)對(duì)象的能力越大，則權(quán)重越大

2. 權(quán)重的計(jì)算

我們知道，價(jià)值觀(guān)具有極強(qiáng)主觀(guān)性，同樣，平臺(tái)在指標(biāo)權(quán)重的定義上也存在極強(qiáng)的主觀(guān)性。

我目前了解到各大平臺(tái)在定義各類(lèi)評(píng)分模型的指標(biāo)權(quán)重時(shí)，往往用主觀(guān)賦權(quán)法較多：

主觀(guān)賦權(quán)法：常用的主觀(guān)賦權(quán)有專(zhuān)家定權(quán)法、層次分析法，該類(lèi)方法主觀(guān)性都較強(qiáng)；

• 專(zhuān)家定權(quán)法：專(zhuān)家定權(quán)的本質(zhì)是由業(yè)內(nèi)/領(lǐng)域權(quán)威人士直接定義各指標(biāo)權(quán)重；
• 層次分析法：層次分析法雖屬于主觀(guān)定權(quán)，但也存在一定的科學(xué)性，旨在通過(guò)指標(biāo)量量對(duì)比，量化權(quán)重，主觀(guān)定權(quán)下帶有一定的客觀(guān)計(jì)算規(guī)則。

其計(jì)算思路如下：

1）構(gòu)造判斷矩陣

判斷矩陣含義：建立指標(biāo)之間兩兩比較的影響程度的矩陣。例如對(duì)指標(biāo)B1；B2；B3；B4；B5定權(quán)，構(gòu)造判斷矩陣為：

2）建立指標(biāo)度量標(biāo)度

其中aij表示第i個(gè)指標(biāo)與第j個(gè)指標(biāo)的比較度量，用如下標(biāo)度表示：

3）檢驗(yàn)判斷矩陣的合理性

判斷矩陣構(gòu)建后，需要進(jìn)行矩陣一致性校驗(yàn)，何為一致性校驗(yàn)，即在比較時(shí)是否表達(dá)一致，例如：A>B，B>C，那么A必然大于C，這樣檢驗(yàn)方式稱(chēng)為一致性檢驗(yàn)。

一致性檢驗(yàn)是通過(guò)計(jì)算一致性比例CR得來(lái)：

中CI表示一致性指標(biāo)，其公式為：

n表示判斷矩陣中指標(biāo)的個(gè)數(shù)，λmax?表示判斷矩陣的最大特征值。

RI表示隨機(jī)一致性指標(biāo)，可查表獲得，如下表所示：

當(dāng)CR<0.1時(shí)，則表示一致性檢驗(yàn)通過(guò)，判斷矩陣構(gòu)造合理，CI 越大，判斷矩陣的不一致性程度越嚴(yán)重。

4）定權(quán)

客觀(guān)賦權(quán)法

這里僅介紹下常用的客觀(guān)賦權(quán)——熵值法。

什么是熵？

物理學(xué)對(duì)熵的定義是描述體系混亂程度(離散程度)的度量，宇宙是一個(gè)熵增的過(guò)程，熵增也是世間萬(wàn)物的運(yùn)行規(guī)律。

什么是熵值法？

物理規(guī)律下的離散程度我們定義為熵，信息領(lǐng)域的信息不確定度被定義為信息熵，熵值法是對(duì)信息熵的計(jì)算，用來(lái)判斷某個(gè)指標(biāo)的離散程度。

在權(quán)重的內(nèi)涵中我們講到衡量權(quán)重的標(biāo)準(zhǔn)之一：指標(biāo)對(duì)評(píng)價(jià)主體的區(qū)分度，評(píng)價(jià)指標(biāo)區(qū)別被評(píng)價(jià)對(duì)象的能力越大，則權(quán)重越大。

熵值法正是基于此思想而建立，是泯滅指標(biāo)特性的數(shù)據(jù)分析，不對(duì)指標(biāo)實(shí)際含義進(jìn)行解析和解釋?zhuān)ㄟ^(guò)對(duì)數(shù)據(jù)的離散程度(不確定度)進(jìn)行對(duì)比而推算權(quán)重。

例如在商家服務(wù)質(zhì)量評(píng)分模型建立過(guò)程中，各商家在指標(biāo)A上的數(shù)據(jù)離散程度非常小，如果我們賦予該指標(biāo)較大的權(quán)重就會(huì)出現(xiàn)各商家得分相近，難以區(qū)分優(yōu)劣。

計(jì)算方法如下，較為晦澀，感興趣的同學(xué)可以百科自行學(xué)習(xí)，再此不多贅述，以下參考資料來(lái)源百度百科：

上述指標(biāo)權(quán)重的定義更多是在講“術(shù)”的方面，即如何科學(xué)定義權(quán)重；但我們要明白的是權(quán)重不是一成不變的，評(píng)分模型運(yùn)行后我們往往會(huì)動(dòng)態(tài)定義權(quán)重，觀(guān)察在不同權(quán)重組合影響下（如各類(lèi)AB實(shí)驗(yàn)），對(duì)用戶(hù)體驗(yàn)/平臺(tái)效益/系統(tǒng)效能等方面的收益進(jìn)行量化，以期尋找一個(gè)最優(yōu)組合；甚至在平臺(tái)發(fā)展的不同階段，各指標(biāo)權(quán)重也會(huì)跟著平臺(tái)戰(zhàn)略演進(jìn)而調(diào)整。

六、分值的選擇

• 5分制：具備分層屬性：極差、較差、一般、較好、極好，強(qiáng)化等級(jí)/層級(jí)，弱化同級(jí)差異，重定性描述，直觀(guān)，易于交互，閱讀性較強(qiáng)，常用于C端展示；
• 百分制：強(qiáng)化排序/排名 重比較，重定量描述，常用于內(nèi)部排序、排名使用；
• 10分制：歸屬定性描述還是定量描述，我的理解介于兩者之間。

介紹至此，你會(huì)想評(píng)分模型就是這樣？如果是狹義上的評(píng)分模型，我認(rèn)為是的，但是至此該評(píng)分模型都不具備商業(yè)價(jià)值。

狹義的評(píng)分模型僅是作為衡量尺度的工具，文章開(kāi)頭我們講了，評(píng)分模型是平臺(tái)價(jià)值觀(guān)的體現(xiàn)；這個(gè)價(jià)值觀(guān)不止體現(xiàn)在指標(biāo)的選擇、權(quán)重的定義，還體現(xiàn)在蛋糕(權(quán)益)的分配。

任何平臺(tái)的資源都是有限的，如何攜帶有限資源在企業(yè)發(fā)展這個(gè)無(wú)限游戲中長(zhǎng)久玩下去，是每一個(gè)平臺(tái)都要思考的問(wèn)題；而評(píng)分模型的建立正是期望通過(guò)一系列量化，提升資源的利用效率。

所以我們也定義權(quán)益分配是評(píng)分模型中的一部分，如下圖：

至此，我本次的分享告一段落了。

本文用“淺談”旨在表達(dá)評(píng)分模型搭建的方法論遠(yuǎn)不止于此，往后還可延展出很多內(nèi)容，如評(píng)分模型的ABtest、通用評(píng)分模型系統(tǒng)的搭建等等，有機(jī)會(huì)再分享。

本文由 @阿鐵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 Unsplash，基于CC0協(xié)議