有關(guān)設(shè)計(jì)師必備的體驗(yàn)評(píng)估設(shè)計(jì)指南——本篇為機(jī)制篇，內(nèi)容主要針對(duì)評(píng)測(cè)機(jī)制QMD存在的幾個(gè)問題：?jiǎn)栴}推動(dòng)落地難、評(píng)估結(jié)論信服度低的問題提出了解決方法，介紹了建立可信賴評(píng)測(cè)機(jī)制的思路與方法，希望對(duì)你有所啟發(fā)。

秉承58同城“用戶第一”的核心價(jià)值觀，設(shè)計(jì)團(tuán)隊(duì)建立以基礎(chǔ)體驗(yàn)指標(biāo)為評(píng)估標(biāo)準(zhǔn)、發(fā)掘體驗(yàn)問題的評(píng)估機(jī)制，并借助內(nèi)外部業(yè)務(wù)專家視角，對(duì)58同城各產(chǎn)品的重點(diǎn)場(chǎng)景進(jìn)行評(píng)估，優(yōu)化業(yè)務(wù)場(chǎng)景，從而提升各業(yè)務(wù)線的體驗(yàn)，而這一套評(píng)測(cè)機(jī)制就是QMD。

在上一篇《設(shè)計(jì)師必備體驗(yàn)評(píng)估設(shè)計(jì)指南（指標(biāo)篇）》中提到，目前QMD存在的兩個(gè)難點(diǎn)，分別是：?jiǎn)栴}難推動(dòng)落地、評(píng)估結(jié)論信服度低。針對(duì)目前難點(diǎn)，今年我們項(xiàng)目組對(duì)測(cè)評(píng)體系再次升級(jí)，推出了全新的QMD3.0。

我們將通過干貨滿滿的三篇連載文章，分別從【指標(biāo)模型】【評(píng)估機(jī)制】【組織實(shí)踐】來全方位的分享體驗(yàn)評(píng)估機(jī)制的升級(jí)經(jīng)驗(yàn)，歡迎大家的持續(xù)關(guān)注和探討。本篇為大家介紹：圍繞提高QMD主觀評(píng)價(jià)的可信度，通過信度檢驗(yàn)，管控測(cè)評(píng)流程，建立人人可信賴的測(cè)評(píng)機(jī)制。

一、信服度低的原因

想要建立人人可信賴的測(cè)評(píng)機(jī)制，需要我們解決目前“結(jié)論信服低”這一難點(diǎn)。

在討論結(jié)論信服度的問題，我們需要知道QMD到底屬于什么類型的測(cè)評(píng)；按照測(cè)評(píng)變量的不同，我們可以講測(cè)評(píng)分類兩大類，主觀性測(cè)量和客觀性測(cè)量；舉個(gè)例子，主觀性測(cè)量類似簡(jiǎn)答、論述題，客觀性測(cè)量類似單選、判斷題；而QMD是邀請(qǐng)專家對(duì)特定業(yè)務(wù)場(chǎng)景，根據(jù)特定指標(biāo)進(jìn)行量化評(píng)估，其評(píng)分會(huì)因?yàn)槠湓u(píng)分專家的主觀判斷影響，因此我們的QMD就是屬于主觀性測(cè)量。

這就導(dǎo)致在評(píng)分過程中，因?yàn)樵u(píng)分者的知識(shí)結(jié)構(gòu)（也就是對(duì)世界的認(rèn)知、經(jīng)驗(yàn)等）、判斷水平（也就是對(duì)評(píng)分標(biāo)準(zhǔn)的認(rèn)知和理解）、個(gè)人偏好（對(duì)設(shè)計(jì)風(fēng)格、操作習(xí)慣偏好等）的不同，使評(píng)分者的評(píng)分存在差異。

因此亟需通過某種技術(shù)手段，去控制測(cè)量誤差，提高主觀變量測(cè)量的精確性，而這一技術(shù)手段就是下文將要提到的評(píng)分者信度。

二、檢驗(yàn)信服度的手段

1. 什么是信度

在了解評(píng)分者信度之前，我們需要知道什么是信度。信度是指測(cè)量結(jié)果的一致性程度，亦稱可靠性程度，它衡量的指標(biāo)是：對(duì)同一對(duì)象測(cè)量得到的結(jié)果是否一致。舉個(gè)例子，當(dāng)你拿桿秤去測(cè)量10斤的西瓜，過一個(gè)月之后，再去測(cè)量一個(gè)10斤的西瓜，它還是10斤，說明這個(gè)秤就是可信的，這就是信度；而這個(gè)西瓜是10斤，測(cè)量出來也是10斤，說明這個(gè)秤是有效的，這就是效度。

2. 什么是評(píng)分者信度

而評(píng)分者信度就是信度的一部分，其實(shí)評(píng)分者信度是若干個(gè)評(píng)分者對(duì)同一組測(cè)試結(jié)果評(píng)分的一致性程度，他關(guān)注的是不同組間評(píng)分者之間的共同差異的分析指標(biāo)，也就是說側(cè)重處理評(píng)分者組間差異的一般趨勢(shì)，主要目的是為了測(cè)量不同評(píng)分者對(duì)同一樣本是否給出同一正確的分?jǐn)?shù)指標(biāo)，因此為檢驗(yàn)QMD中各專家評(píng)分是否一致，選擇了評(píng)分者信度作為分?jǐn)?shù)的檢驗(yàn)指標(biāo)。

測(cè)量評(píng)分者信度的統(tǒng)計(jì)指標(biāo)及方法很多，那我們需要如何選擇適合QMD的統(tǒng)計(jì)指標(biāo)呢？在根據(jù)QMD不同的測(cè)量特點(diǎn)、數(shù)據(jù)類型、評(píng)分人數(shù)等，我們QMD選擇的測(cè)量方式是組間相關(guān)系數(shù)（ICC），也就是通過方差分析來計(jì)算總體變異多大程度上屬于總體的特征。

3. 如何分析評(píng)分者信度

選定測(cè)量方法后，具體怎么執(zhí)行呢？就是萬能的SPSS軟件，按照：Analyze—Scale— Reliability Analysis 步驟得來，根據(jù)分析結(jié)果可以得知 ，本次分析的評(píng)分者評(píng)分信度是否一致。

舉個(gè)例子，在針對(duì)某個(gè)業(yè)務(wù)線進(jìn)行QMD評(píng)估，對(duì)6位專家的評(píng)分進(jìn)行評(píng)分者信度分析，結(jié)果表明，ICC=0.9704>0.75，p<0.05,說明評(píng)分者的一致性是可信的?？梢姴煌u(píng)分者在評(píng)價(jià)產(chǎn)品，在各項(xiàng)指標(biāo)上評(píng)分是比較一致的，其評(píng)分者信度是比較高的 。具體分析過程如下：

三、提高信服度的方法

1. 測(cè)評(píng)流程可靠

但是在整個(gè)過程項(xiàng)目執(zhí)行過程中，我們僅僅只做信度檢驗(yàn)就足夠了嗎？其實(shí)不是的，分?jǐn)?shù)只是一個(gè)判斷的依據(jù)，或者說是過程的抓手，我們除了關(guān)注分?jǐn)?shù)本身以外，更需要關(guān)注，到底是哪些因素導(dǎo)致我們分?jǐn)?shù)產(chǎn)生隨機(jī)誤差，進(jìn)而在源頭上提高我們的分?jǐn)?shù)的信服度。?

那影響評(píng)分者信度的因素有哪些呢？總結(jié)有以下三部分：

• 測(cè)評(píng)工具性能
• 評(píng)分者篩選
• 實(shí)施方案的標(biāo)準(zhǔn)化流程

在了解到這些影響因素后，在整體執(zhí)行過程中，才能針對(duì)性的進(jìn)行執(zhí)行、管控，才能最終提高結(jié)論的信服度，具體執(zhí)行過程如下圖所示：

針對(duì)測(cè)評(píng)工具性能，在整個(gè)指標(biāo)制定和選取過程中，項(xiàng)目組均進(jìn)行科學(xué)嚴(yán)謹(jǐn)?shù)耐评恚唧w推理過程大家可回顧上期文章《設(shè)計(jì)師必備體驗(yàn)評(píng)估設(shè)計(jì)指南（指標(biāo)篇)》，為大家展示了整體測(cè)評(píng)指標(biāo)的科學(xué)合理性，此外在測(cè)評(píng)工具中不僅講究科學(xué)合理，還要求工具使用者體驗(yàn)良好，對(duì)其指標(biāo)進(jìn)行解釋說明、重點(diǎn)的標(biāo)記等；第二大模塊則是評(píng)分者篩選中，主要分為3部分：

• 專家人選篩選
• 專家認(rèn)知對(duì)齊
• 內(nèi)在標(biāo)準(zhǔn)穩(wěn)定

也就是說通過一定的要求、人員配置等進(jìn)行評(píng)分者篩選，通過提前的培訓(xùn)對(duì)齊評(píng)分者認(rèn)知、以及選擇心理和生理健康良好的評(píng)分者進(jìn)行打分；在第三大模塊則是保證實(shí)測(cè)方案的標(biāo)準(zhǔn)化，也就是在實(shí)測(cè)流程、會(huì)場(chǎng)環(huán)境的制定和布置過程中，按照標(biāo)準(zhǔn)化、模塊化進(jìn)行執(zhí)行。

2. 感知效果可靠

當(dāng)然，大家以為僅僅做了哪些流程管控就結(jié)束了嗎？我們想要分?jǐn)?shù)信服度高，也就是可靠性高，不僅需要流程可靠，更需要讓使用者對(duì)結(jié)果感知可靠？

（1）什么是可靠性
其實(shí)可靠性是指一個(gè)人通過對(duì)一個(gè)產(chǎn)品的可感知效果與他期望值相比較后，所形成的可靠或不可靠的感覺狀態(tài)，簡(jiǎn)單的數(shù)據(jù)表示就是用戶感知效果-內(nèi)心期望，圖片表示更清晰，但感知效果契合且高于內(nèi)心期望時(shí)，人們便產(chǎn)生了可靠的感覺狀態(tài)，低于則相反，我們難以控制其內(nèi)心期望，因此將在感知效果上下功夫。

（2）如何讓可靠更易被感知

從四個(gè)環(huán)節(jié)入手，最開始明確業(yè)務(wù)預(yù)期、中間的利益相關(guān)人全程參與、結(jié)尾的結(jié)果復(fù)議，和最后的驗(yàn)證落地效果，采用各類方法，讓大家從整體環(huán)節(jié)去感知可靠性。

1. 明確業(yè)務(wù)預(yù)期：在最開始的明確業(yè)務(wù)預(yù)期中，除了從業(yè)務(wù)視角去制定與業(yè)務(wù)契合的測(cè)評(píng)體系外，更是邀請(qǐng)利益相關(guān)人共同制定指標(biāo)細(xì)則，從理論的基礎(chǔ)上讓大家感知更可靠。
2. 過程全員參與：在過程中，以前僅邀請(qǐng)?jiān)O(shè)計(jì)師參評(píng)，現(xiàn)在不僅邀請(qǐng)?jiān)O(shè)計(jì)師，更是邀請(qǐng)產(chǎn)品一起參評(píng)，從流程上讓大家感知更可靠。
3. 結(jié)果復(fù)議防錯(cuò)：第三點(diǎn)結(jié)果復(fù)議，也是本次升級(jí)后QMD的一大亮點(diǎn)，我們建立的防錯(cuò)機(jī)制，以前結(jié)果出來便出來，業(yè)務(wù)方僅能看，沒有可反饋渠道，因此本次建立的防錯(cuò)機(jī)制則是建立業(yè)務(wù)方對(duì)結(jié)果復(fù)議的渠道，從機(jī)制上讓大家感知更可靠。
4. 驗(yàn)證落地效果：第四驗(yàn)證落地效果，不僅關(guān)注跟進(jìn)問題改進(jìn)進(jìn)度，更是關(guān)注跟進(jìn)QMD結(jié)論落地后為業(yè)務(wù)目標(biāo)帶來的提升，從效果上讓大家感知更可靠。

四?????、小結(jié)

在這次升級(jí)過程中，其實(shí)想表達(dá)的是，分?jǐn)?shù)本身不重要，如何通過分?jǐn)?shù)去管控過程，才是其真正的價(jià)值所在。因此，在本次升級(jí)過程中，結(jié)合使用評(píng)分者信度、流程管理和機(jī)制升級(jí)，從而從實(shí)際效果和用戶感知上全面提高可靠性。