有關(guān)設(shè)計師必備的體驗評估設(shè)計指南——本篇為組織篇，內(nèi)容從策劃、評估、跟進(jìn)、復(fù)盤、推廣、改正等步驟詳細(xì)介紹了組織體驗評估的整個過程，整理了升級的思路以及落地執(zhí)行的詳細(xì)流程，希望對你有所幫助。

前面兩篇文章介紹了58UXD體驗評估體系升級的思路：

• 設(shè)計師必備體驗評估設(shè)計指南（指標(biāo)篇)
• 設(shè)計師必備體驗評估設(shè)計指南（機(jī)制篇)

本篇將介紹如何有序組織體驗評估，并將詳細(xì)講解本次QMD升級的要點、難點是如何落地執(zhí)行的。

我們選用質(zhì)量管理工具PDCA來組織體驗評估，做體驗管理。以季度為評估周期，一個季度完成一次PDCA循環(huán)后，我們持續(xù)迭代評估體系，從而更好的完成下一個周期的體驗評估。

一、策劃-Plan

策劃的主要內(nèi)容就是大家很熟悉的5W1H了。

1.評估目標(biāo)-Why

如第一篇文章所述，新的體驗評估機(jī)制，評估目標(biāo)從單一的提升體驗質(zhì)量，調(diào)整成契合業(yè)務(wù)目標(biāo)的體驗質(zhì)量。參與體驗評估，業(yè)務(wù)設(shè)計師的預(yù)期有：

1. 提升產(chǎn)品使用體驗；
2. 提升業(yè)務(wù)核心指標(biāo)。

QMD項目組需要兼顧參與評估業(yè)務(wù)的預(yù)期，目標(biāo)有：

1. 采用可靠的評估機(jī)制，度量契合業(yè)務(wù)目標(biāo)的體驗，發(fā)掘影響業(yè)務(wù)目標(biāo)的體驗問題，確保評估結(jié)果可信、可靠并易感知；
2. 確保按照規(guī)劃周期性做體驗評估、同步結(jié)論、跟進(jìn)優(yōu)化；
3. 驗證各個參評業(yè)務(wù)的評估指標(biāo)、評估機(jī)制的可靠性。

2.相關(guān)人員-Who

想要按照以上預(yù)期高質(zhì)量的完成體驗評估，離不開組織架構(gòu)的支持。58UXD設(shè)立了由交互設(shè)計師和用研工程師組成的體驗管理組。由體驗管理組來組織全部業(yè)務(wù)的體驗考核、體驗評估、體驗展示、體驗跟進(jìn)等一系列橫向體驗管理項目。

QMD作為體驗管理的重要工具，由體驗管理組中的QMD項目組來牽頭策劃完成。有同學(xué)對58UXD其他體驗管理工具感興趣的話，可以在評論區(qū)留言。明確了組織方及其職責(zé)，根據(jù)新的評估機(jī)制，還需要每個業(yè)務(wù)6名評估專家（2名產(chǎn)品、2名交互、2名視覺）。

QMD項目組采取了參評業(yè)務(wù)產(chǎn)品、交互、視覺交叉互評的方式，由第二篇文章介紹的評分者信度保障結(jié)果的可靠性。在新的體驗評估機(jī)制下，有很多QMD項目組和業(yè)務(wù)設(shè)計師需要溝通協(xié)作的節(jié)點。

為了高效運行評估機(jī)制，QMD項目組在各個參評業(yè)務(wù)都明確了一位QMD對接人。各個角色的職責(zé)明確如下：

3.評估業(yè)務(wù)-What

新的體驗評估機(jī)制對參評業(yè)務(wù)也有了新的要求。出于可行性和投入產(chǎn)出比的考慮，我們根據(jù)以下4點，深入了解各個業(yè)務(wù)的情況，做出研判，最終確定了參評業(yè)務(wù)。

1. 當(dāng)前階段業(yè)務(wù)對于體驗的重視程度如何；
2. 業(yè)務(wù)是否有明確的、可持續(xù)監(jiān)控的目標(biāo)；
3. 業(yè)務(wù)迭代的頻率如何；
4. 業(yè)務(wù)是否已達(dá)到一定用戶規(guī)模。

4.時間規(guī)劃-When

如前所述，新的體驗評估機(jī)制關(guān)鍵節(jié)點多，時間跨度長，需要周密的規(guī)劃和嚴(yán)謹(jǐn)?shù)臅r間管理。QMD項目組是以季度為單位做周期性體驗評估的，所以在季度初就會做好整個季度的規(guī)劃，并嚴(yán)格執(zhí)行。同時采用周報制來及時處理意外事件，保障項目準(zhǔn)時完成。

另外值得提一下評估場次時間的確定，除了視評估專家的時間安排外，也需要考慮線上測評的版本是否符合業(yè)務(wù)預(yù)期，晚幾天可能就到了發(fā)版時間，是否需要評估最新版，需要綜合情況和業(yè)務(wù)協(xié)商。同時也要求QMD項目組在規(guī)劃之初，就要留好類似這種情況的buffer。

5.評估地點-Where

確定好評估時間，就可以提前約會議室了。然而我們在2022年的Q2和Q4，遇到了兩次因疫情大量同事遠(yuǎn)程辦公的情況。如此我們需要保證線上評估或者部分同學(xué)線上評估的結(jié)果可靠性。原理如第二篇文章所述，需要保障人員可靠性、認(rèn)知一致性，標(biāo)準(zhǔn)化實施方案。

6.怎么評估-How

給到專家評估，我們需要至少準(zhǔn)備評分工具和主觀問題反饋工具。這些都需要以評估指標(biāo)為基礎(chǔ)，我們從第一篇文章了解到指標(biāo)的制定原理后，各個業(yè)務(wù)的評估指標(biāo)具體怎么確定呢？

首先，調(diào)整基礎(chǔ)指標(biāo)：我們知道業(yè)務(wù)的評估指標(biāo)由基礎(chǔ)指標(biāo)和自定義指標(biāo)構(gòu)成的，我們在制定指標(biāo)前需要根據(jù)新的指標(biāo)體系需要，重新審視原有的基礎(chǔ)指標(biāo)。我們認(rèn)為一個良好的基礎(chǔ)指標(biāo)，應(yīng)該是清晰、準(zhǔn)確、普適、易懂的；我們邀請專家對這樣的指標(biāo)進(jìn)行評估，應(yīng)該是對體驗設(shè)計有指導(dǎo)意義的。

所以對基礎(chǔ)指標(biāo)做了如下調(diào)整：評估指標(biāo)由原來的一級指標(biāo)改為二級指標(biāo)，顆粒度更細(xì)，聚焦到具體問題；相似指標(biāo)合并，二級指標(biāo)由15個合并成10個；增加動效、語義等方面的評估；評估指引描述方式更直白、易理解；等等。

我們把基礎(chǔ)指標(biāo)給到業(yè)務(wù)，由業(yè)務(wù)設(shè)計師參考以下幾個原則制定個性化指標(biāo)體系。

1. GSM模型（Goal- Signal- Metric）：方法在第一篇文章中；
2. 反向思考：場景拆解到什么程度，可以結(jié)合業(yè)務(wù)的實際需要，由希望監(jiān)控的顆粒度來定，以結(jié)果的實用性為準(zhǔn)；
3. 有跡可循：場景的設(shè)計目標(biāo)，需要是可量化、可監(jiān)控的，一方面可以追蹤優(yōu)化效果，另一方面可以反向驗證指標(biāo)制定的合理性；
4. 因地制宜：評估指標(biāo)需要足夠細(xì)化、貼合業(yè)務(wù)場景。比如基礎(chǔ)指標(biāo)中的“品牌”指標(biāo)，在基礎(chǔ)指標(biāo)中的描述是“”，是考慮普適性的描述方式。而其在不同業(yè)務(wù)中的具體元素、形式、原則等體驗要素都差別較大，所以需要額外說明當(dāng)前業(yè)務(wù)的“品牌”具體需要達(dá)到什么體驗要求。有些業(yè)務(wù)會額外提供一份品牌手冊，供專家評估參考；
5. 穩(wěn)定性：指標(biāo)體系內(nèi)的元素需要在一定時間范圍內(nèi)保持穩(wěn)定，盡量不因業(yè)務(wù)的調(diào)整而頻繁變化。

有了細(xì)化的評估指標(biāo)制定指引，我們向參評業(yè)務(wù)做了詳盡的講解，并充分探討其在各個業(yè)務(wù)的可行性。業(yè)務(wù)設(shè)計師按照要求，結(jié)合實際情況，制定了由總目標(biāo)、影響總目標(biāo)的場景、場景的評估指標(biāo)、評估指標(biāo)的詳細(xì)說明四個部分構(gòu)成的指標(biāo)體系。

而后交由QMD項目組審核，確定無誤后，由業(yè)務(wù)設(shè)計師根據(jù)模版，自行制定體驗評估要用到的評分工具和主觀問題反饋工具，這里我們用的分別是58問卷和在線協(xié)作表格。

二、評估-Do

1.體驗評估

一切準(zhǔn)備就緒后，就可以邀請專家來評估了。就像第二篇文章介紹的那樣，為了保障評估結(jié)果的可靠性，我們對評估工具、專家、環(huán)境等都制定了標(biāo)準(zhǔn)化方案。下圖是QMD項目組在專家評估前宣講的評估目標(biāo)、機(jī)制及評估注意事項。

2.信度評估

>專家評估后，我們就拿到了評分問卷和主觀問題記錄表的原始數(shù)據(jù)。首先最重要的一件事就是預(yù)處理評分?jǐn)?shù)據(jù)，評估信度，完成校驗閉環(huán)。我們采用的信度可靠對照關(guān)系如下：

如果第一次信度評估可靠程度不高，則需要調(diào)整數(shù)據(jù)組，重新進(jìn)行信度評估，直至信度可靠。我們并非每一場體驗評估都一帆風(fēng)順，在疫情期間遠(yuǎn)程體驗評估時，我們就遇到了無論如何調(diào)整數(shù)據(jù)組都不能達(dá)到信度可靠的結(jié)果的情況。

發(fā)現(xiàn)了這種情況，我們立即響應(yīng)，臨時邀約更多專家，快速加測了一場。欣慰的是，兩場評估結(jié)果合并后，經(jīng)過數(shù)據(jù)組調(diào)整，評分信度可靠。

3.業(yè)務(wù)復(fù)議

通過第二篇文章我們知道，復(fù)議階段的目標(biāo)一是矯正部分理解有偏差的主觀問題，二是讓業(yè)務(wù)盡快了解QMD的結(jié)論，感受到其可靠可信，快速迭代優(yōu)化問題。所以：

• 復(fù)議呈現(xiàn)給業(yè)務(wù)的內(nèi)容有：評分、分?jǐn)?shù)對比、對應(yīng)的主觀問題、截圖等；
• 需要留給業(yè)務(wù)復(fù)議的反饋空間；
• 想要做體驗評估的你，需要具備一定的數(shù)據(jù)分析基礎(chǔ)和表格操作技巧。

4.輸出報告

報告是為了讓體驗評估結(jié)論更加直觀、可信，便于查閱與傳播。我們對報告做了一些調(diào)整：

1. 評分和問題對應(yīng)展示；
2. 評分間差距標(biāo)記更加清晰明了；
3. 增加QMD項目組的優(yōu)化建議。希望業(yè)務(wù)重視分?jǐn)?shù)洼地、不及競品的指標(biāo)對應(yīng)的影響較大的主觀建議。

高優(yōu)場景/指標(biāo)/問題判斷標(biāo)準(zhǔn)如下，供參考：

• a.權(quán)重最高或較高；
• b.和均值比差10%/8%/5%/3%以上；
• c.和競品比差10%/8%/5%/3%以上；
• d.同比/環(huán)比差10%/8%/5%/3%以上

三、體驗跟進(jìn)&項目復(fù)盤-Check

前面兩篇文章介紹的體驗評估指標(biāo)體系和評估機(jī)制，是我們通過現(xiàn)狀分析、理論分析等綜合確定的，此時我們需要校驗兩點：??一是需要校驗根據(jù)認(rèn)知、經(jīng)驗主觀拆解的評估指標(biāo)是否符合預(yù)期；二是需要校驗QMD機(jī)制全程保障的專家評估結(jié)論是否可靠。

我們采取的校驗方式，就是看體驗評估的結(jié)論應(yīng)用到業(yè)務(wù)的體驗優(yōu)化后，是否帶來如預(yù)期程度的業(yè)務(wù)指標(biāo)的提升。所以我們在報告同步后，下一次體驗評估前，留足業(yè)務(wù)改進(jìn)優(yōu)化的時間，組織參評業(yè)務(wù)復(fù)盤QMD結(jié)論落地情況。由各個業(yè)務(wù)闡述以下內(nèi)容：

1. 問題發(fā)掘&解決：QMD報告分析&洞察、解決思路&方案、上線效果&數(shù)據(jù)、結(jié)論；
2. 項目管理：優(yōu)化進(jìn)度、迭代計劃。

同時為了激勵、幫助業(yè)務(wù)設(shè)計師推動結(jié)論落地，我們邀請設(shè)計總監(jiān)、設(shè)計負(fù)責(zé)人和高階設(shè)計師從三個維度為業(yè)務(wù)復(fù)盤的內(nèi)容打分、點評，包括邏輯合理度、指標(biāo)結(jié)果相關(guān)度、進(jìn)度。

同時QMD項目組收獲了業(yè)務(wù)設(shè)計師對于整個體驗評估機(jī)制的一些想法，結(jié)合組織過程遇到的問題和思考，做了周期性的復(fù)盤。

四、推廣&改正-Action

通過業(yè)務(wù)復(fù)盤及評委打分、點評，我們了解到業(yè)務(wù)的大部分迭代效果都是正向的，小部分負(fù)向效果的迭代需要嘗試其他設(shè)計方案。所以目前沒有因為復(fù)盤結(jié)果而要調(diào)整指標(biāo)的情況。由此印證QMD體驗評估的結(jié)論是可靠的，整個體驗評估流程也是可靠的。

如果有業(yè)務(wù)出現(xiàn)按照QMD的結(jié)論設(shè)計方案，驗證發(fā)現(xiàn)預(yù)期的業(yè)務(wù)數(shù)據(jù)沒有提升或者反而下降，則需要反思指標(biāo)制定、分析、洞察、解決思路、方案是否有問題，逐一排查關(guān)鍵環(huán)節(jié)，及時作出調(diào)整。

如開篇所述，QMD項目組也在每次體驗評估完成后進(jìn)行復(fù)盤，持續(xù)優(yōu)化評估機(jī)制，目前整個流程已經(jīng)形成SOP，便于高效組織每次評估，跟緊業(yè)務(wù)節(jié)奏，打好配合。

五、最后

以上詳盡介紹了我們QMD項目組，組織58UXD各個業(yè)務(wù)體驗評估的過程與思考。我們認(rèn)為整個體驗評估體系的升級和實踐，最關(guān)鍵的思考邏輯就是閉環(huán)管理，這個邏輯貫穿始終，讓所有人為因素的影響降到最低，保障過程和結(jié)果可靠可信。

我們設(shè)定的閉環(huán)管理一共有以下三個方面：

1. 在策劃環(huán)節(jié)，各業(yè)務(wù)制定的指標(biāo)體系、整理的評估工具，都由QMD項目組審核，確保指標(biāo)拆解符合指引要求，評估工具準(zhǔn)確無誤；
2. 在評估環(huán)節(jié)，各個業(yè)務(wù)的專家的評分都需要評估評分者信度，確保評分可靠；
3. 在跟進(jìn)環(huán)節(jié)，通過業(yè)務(wù)復(fù)盤了解優(yōu)化效果，校驗指標(biāo)制定的可靠性，以及整個QMD新機(jī)制為業(yè)務(wù)體驗設(shè)計帶來的價值。