筆者前段時(shí)間了解到谷歌早在幾年前便針對(duì)用戶體驗(yàn)建立了名為 HEART 的追蹤驗(yàn)證框架，好奇其內(nèi)容是否對(duì)建立驗(yàn)證方案的方法論有助益，遂抽時(shí)間搜索了原外語(yǔ)文章，并進(jìn)行了翻譯和拆解。

01 摘要

越來(lái)越多的產(chǎn)品和服務(wù)被部署在 Web 上，這為大數(shù)據(jù)下評(píng)估用戶體驗(yàn)帶來(lái)了新的挑戰(zhàn)和機(jī)遇。 Web 應(yīng)用程序非常需要以用戶為中心的度量指標(biāo)，它可以用來(lái)度量關(guān)鍵目標(biāo)的進(jìn)展，并驅(qū)動(dòng)產(chǎn)品決策。

在本文中，我們描述了以用戶為中心的 HEART 框架指標(biāo)，以及將產(chǎn)品目標(biāo)映射到度量指標(biāo)的過(guò)程。

我們還提供了 HEART 指標(biāo)如何在兼顧數(shù)據(jù)驅(qū)動(dòng)和以用戶為中心的情況下幫助產(chǎn)品團(tuán)隊(duì)做出決策的實(shí)例。

框架和過(guò)程已經(jīng)覆蓋了足夠多的我們公司產(chǎn)品，所以我們相信其他組織的團(tuán)隊(duì)也能使用或適應(yīng)它們。 在大規(guī)模行為數(shù)據(jù)之下，我們也鼓勵(lì)更多對(duì)度量指標(biāo)的研究。

02 介紹

Web 技術(shù)的進(jìn)步使更多的應(yīng)用程序和服務(wù)基于 Web 打造，并愈加具備交互性質(zhì)。

現(xiàn)在，用戶可以“在云端”執(zhí)行各種常見(jiàn)任務(wù)，包括那些以前僅限于本地客戶端應(yīng)用程序的任務(wù)(例如文字處理、編輯照片)。

對(duì)于用戶體驗(yàn)專業(yè)人士來(lái)說(shuō)，這種轉(zhuǎn)變的一個(gè)關(guān)鍵意義是能夠使用 Web服務(wù)器日志數(shù)據(jù)來(lái)大規(guī)模跟蹤產(chǎn)品的使用情況。

通過(guò)附加的儀器，也可以通過(guò)不同的界面接口運(yùn)行對(duì)照實(shí)驗(yàn)（ A/B 測(cè)試）。 但是，從以用戶為中心的角度來(lái)看，它們（不同界面）應(yīng)該根據(jù)什么標(biāo)準(zhǔn)進(jìn)行比較評(píng)估呢? 我們應(yīng)該如何擴(kuò)展我們熟悉的用戶體驗(yàn)度量指標(biāo)，這里面存在哪些新的機(jī)會(huì)?

在 CHI 社區(qū)，已經(jīng)存在一種既可以在小范圍內(nèi)（在實(shí)驗(yàn)室中）也可以在大范圍內(nèi)（通過(guò)調(diào)查）測(cè)量態(tài)度數(shù)據(jù)（例如滿意度）的既定實(shí)踐。

然而，就行為數(shù)據(jù)而言，已有的測(cè)量方法大多是小規(guī)模的，并且實(shí)驗(yàn)中有部分信息是通過(guò)秒表和檢查表收集，如有效性（任務(wù)完成率、錯(cuò)誤率）和效率（任務(wù)執(zhí)行時(shí)間）[參考13]。

CHI 研究中缺失的一個(gè)關(guān)鍵部分是基于大規(guī)模行為數(shù)據(jù)的用戶體驗(yàn)指標(biāo)。

Web 分析社區(qū)一直致力于將關(guān)注點(diǎn)從簡(jiǎn)單的頁(yè)面點(diǎn)擊數(shù)轉(zhuǎn)移到關(guān)鍵的性能指標(biāo)。 然而，該社區(qū)的主要?jiǎng)訖C(jī)仍然以業(yè)務(wù)為中心，而不是以用戶為中心。

Web 分析包（此處大意應(yīng)是指性能分析類包體）提供現(xiàn)成的度量解決方案可能過(guò)于通用化，而無(wú)法考量用戶體驗(yàn)如何，或者過(guò)于特定在電子商務(wù)背景下應(yīng)用，而難以對(duì) Web 上的其他大量應(yīng)用程序和交互起到幫助。

我們已經(jīng)創(chuàng)建了一個(gè)框架和過(guò)程來(lái)定義大數(shù)據(jù)下的以用戶為中心的度量指標(biāo)，包括態(tài)度上的和行為上的。

我們從在一家大公司工作的經(jīng)驗(yàn)中總結(jié)了這些，該公司的產(chǎn)品涵蓋了廣泛的類別（面向消費(fèi)者和面向業(yè)務(wù)），而且產(chǎn)品幾乎都是基于 Web 的，每個(gè)都有數(shù)百萬(wàn)用戶。 我們發(fā)現(xiàn)這個(gè)框架和過(guò)程已經(jīng)適用于我們公司足夠多的產(chǎn)品，并且非常有效，所以我們相信其他組織的團(tuán)隊(duì)將能夠成功地使用和適應(yīng)它們。 我們也非常鼓勵(lì)更多基于大規(guī)模行為數(shù)據(jù)背景下對(duì)度量指標(biāo)的研究。

03 相關(guān)工作

近年來(lái)出現(xiàn)了許多工具來(lái)幫助跟蹤和分析web站點(diǎn)和應(yīng)用程序的指標(biāo)——

• 商業(yè)和免費(fèi)的分析軟件包[參考 5,11 ]提供現(xiàn)成的解決方案。
• 現(xiàn)代的分布式系統(tǒng) [參考 4,8 ] 和專門的編程語(yǔ)言 [例如參考 12 ] 使得大規(guī)模日志數(shù)據(jù)的自定義分析變得更加容易，Web 應(yīng)用挖掘技術(shù)可根據(jù)網(wǎng)頁(yè)訪問(wèn)者的行為 [參考 3 ] 對(duì)其進(jìn)行細(xì)分。
• 多個(gè)供應(yīng)商支持用戶調(diào)研的快速部署和分析，有些還提供用于大規(guī)模遠(yuǎn)程可用性測(cè)試或基準(zhǔn)測(cè)試的軟件 [例如參考 14 ]。
• 在合理設(shè)計(jì) A/B 測(cè)試實(shí)驗(yàn)和此類實(shí)驗(yàn)分析上，存在著大量的工作。在 AB 測(cè)試中，兩個(gè)相似的用戶群體被給予不同的用戶界面，他們的反應(yīng)可以被嚴(yán)謹(jǐn)?shù)臏y(cè)量和比較 [例如參考 10 ]。

盡管取得了這些進(jìn)展，但有效地使用這些工具仍然具有挑戰(zhàn)性——

標(biāo)準(zhǔn)的 Web 分析指標(biāo)可能過(guò)于通用，不適用于特定的產(chǎn)品目標(biāo)或研究問(wèn)題?？捎脭?shù)據(jù)的絕對(duì)數(shù)量可能是巨大的，因此有必要確定究竟要查找什么，以及什么行為該被作為結(jié)果來(lái)看待。

一些專家建議，最好的做法是關(guān)注少量的關(guān)鍵業(yè)務(wù)或用戶目標(biāo)，并使用指標(biāo)來(lái)幫助跟蹤實(shí)現(xiàn)這些目標(biāo)的進(jìn)展[參考2,9,10]。

我們也認(rèn)同這一理念，但卻發(fā)現(xiàn)這個(gè)理念很難應(yīng)用。 因?yàn)楫a(chǎn)品團(tuán)隊(duì)并非可以一直在他們的目標(biāo)上達(dá)成一致或清晰地闡述他們的目標(biāo)，這使得定義相關(guān)的度量指標(biāo)變得困難。

可以確定的是，這些度量不應(yīng)該是獨(dú)立的。 它們應(yīng)該結(jié)合其他來(lái)源的研究結(jié)果(如可用性研究和現(xiàn)場(chǎng)研究[參考6,9])去分析，從而得到更好的決策[參考15]。

此外，它們主要用于已發(fā)布產(chǎn)品的評(píng)估，而不能替代早期或形成性用戶研究。 我們?cè)噲D創(chuàng)建一個(gè)結(jié)合大規(guī)模的態(tài)度和行為數(shù)據(jù)的框架來(lái)補(bǔ)充現(xiàn)有在我們公司使用的的用戶體驗(yàn)研究方法（補(bǔ)充而非替代）。

04 PULSE 指標(biāo)

最常用的大數(shù)據(jù)下的度量指標(biāo)專注于產(chǎn)品的業(yè)務(wù)或技術(shù)方面，許多組織廣泛使用它們（或類似的變體）來(lái)跟蹤產(chǎn)品的總體運(yùn)行狀況。

我們將這些指標(biāo)稱為 PULSE 指標(biāo)：頁(yè)面瀏覽量（Page Views），正常運(yùn)行時(shí)間（Uptime），延遲（Latency），七天活躍用戶（Seven-day active users）（即上周至少使用一次該產(chǎn)品的獨(dú)立用戶數(shù)）和收入（Earnings）。

這些指標(biāo)都非常重要，并且與用戶體驗(yàn)有關(guān)。

例如，奔潰很多（正常運(yùn)行時(shí)間短）或速度很慢（高延遲）的產(chǎn)品不太可能吸引用戶。 一個(gè)電子商務(wù)網(wǎng)站，其購(gòu)買流程太多，可能會(huì)減少收入。 具有出色用戶體驗(yàn)的產(chǎn)品更有可能看到頁(yè)面瀏覽量和獨(dú)立用戶增加。

但是，這些是非常底層的或間接的用戶體驗(yàn)指標(biāo)，因此在用于評(píng)估用戶界面更改的影響時(shí)，它們是存在問(wèn)題的。它們的解釋也可能不準(zhǔn)確。

例如，特定功能的頁(yè)面瀏覽量增加既有可能是因?yàn)樵摴δ苁钦嬲軞g迎的功能，也可能是因?yàn)榻缑嬖O(shè)計(jì)得令人困惑不知如何使用，用戶胡亂點(diǎn)擊時(shí)產(chǎn)生的數(shù)據(jù)。短期內(nèi)帶來(lái)更多收入的修改可能會(huì)導(dǎo)致較差的用戶體驗(yàn)，從長(zhǎng)遠(yuǎn)來(lái)看會(huì)流失用戶。

給定時(shí)間段內(nèi)的獨(dú)立用戶數(shù)量（例如7天活躍用戶）通常用作衡量用戶體驗(yàn)的指標(biāo)。 它可以衡量用戶群的總體數(shù)量，但無(wú)法深入了解用戶對(duì)產(chǎn)品的忠誠(chéng)度，例如不知他們每個(gè)人在 7 天內(nèi)的訪問(wèn)頻率如何。 它也不能區(qū)分新用戶和老用戶。 從理論上講，在最壞的情況下，如果用戶群的周流失率達(dá)到 100％ ，它的 7 天活躍用戶數(shù)仍會(huì)增加。

05 HEART 指標(biāo)

基于 PULSE 在度量用戶體驗(yàn)質(zhì)量和提供可操作的數(shù)據(jù)方面的缺陷，我們創(chuàng)建了一個(gè)名為 HEART 互補(bǔ)的度量框架： Happiness（幸福感）、Engagement（參與度）、Adoption（接受度）、Retention（留存率）和 Task success（任務(wù)完成率）。

這些是指標(biāo)分類，團(tuán)隊(duì)可以從中定義特定的指標(biāo)，用于跟蹤目標(biāo)實(shí)現(xiàn)的進(jìn)度。

幸福感和任務(wù)成功的類別是從現(xiàn)有的用戶體驗(yàn)度量中概括出來(lái)的：幸福包含滿意度，任務(wù)成功包含有效性和效率。參與度、接受度和留存率是新的類別，大規(guī)模的行為數(shù)據(jù)讓追蹤這些新類別指標(biāo)成為可能。

該框架源于我們與團(tuán)隊(duì)合作為他們的產(chǎn)品創(chuàng)建和跟蹤以用戶為中心的指標(biāo)的經(jīng)驗(yàn)。我們開始在我們所使用或建議的度量指標(biāo)類型中看到通用性規(guī)律，并意識(shí)到將這些歸納到一個(gè)框架中會(huì)使這些原則更容易被其他團(tuán)隊(duì)記住和使用。

并不是所有場(chǎng)景都適合使用所有類別去度量，但是引用框架有助于明確地決定是否包含或排除特定的類別。

例如，對(duì)于面向企業(yè)端的產(chǎn)品來(lái)說(shuō)，用戶如果將產(chǎn)品作為其工作的一部分，參與度可能意義不大。在這種情況下，團(tuán)隊(duì)可能會(huì)選擇更關(guān)注愉悅感或任務(wù)完成率。但是，在功能級(jí)別而不是整個(gè)產(chǎn)品級(jí)別上考慮用戶參與率可能仍然是有意義的。

06 幸福感

用“幸福感”來(lái)描述的度量指標(biāo)，本質(zhì)上是一種態(tài)度指標(biāo)。這些都與用戶體驗(yàn)的主觀方面有關(guān)，比如滿意度、視覺(jué)吸引力、推薦意愿和易用性。使用一個(gè)通用的、設(shè)計(jì)良好的調(diào)查，可以隨著時(shí)間的推移跟蹤相同的度量指標(biāo)，以查看所做更改的帶來(lái)的變化。

例如，我們的網(wǎng)站有一個(gè)個(gè)性化的主頁(yè)——iGoogle。團(tuán)隊(duì)通過(guò)每周產(chǎn)品內(nèi)調(diào)查來(lái)跟蹤許多指標(biāo)，以了解更改和新特性的影響。在進(jìn)行了一次重大的重新設(shè)計(jì)之后，他們發(fā)現(xiàn)他們的用戶滿意度指標(biāo)在最初出現(xiàn)了下降。

(以7分李克特量表去調(diào)研。這里7分李克特量表層級(jí)對(duì)應(yīng)完全同意，非常同意，同意，不一定，不同意，非常不同意，完全不同意，分別對(duì)應(yīng)7、5、4、3、2、1分)

然而，隨著時(shí)間的推移，這個(gè)指標(biāo)恢復(fù)了，這表明用戶厭惡改變可能是導(dǎo)致下降的原因，而一旦用戶習(xí)慣了新的設(shè)計(jì)，他們就會(huì)喜歡它。有了這些信息，團(tuán)隊(duì)能夠做出更有信心的決定來(lái)保持新的設(shè)計(jì)。

07 參與度

參與度是指用戶對(duì)產(chǎn)品的投入程度。在度量環(huán)境中，這個(gè)術(shù)語(yǔ)通常是行為代指，例如在一段時(shí)間內(nèi)交互的頻率、強(qiáng)度或深度。

例如，每個(gè)用戶每周訪問(wèn)的次數(shù)，或者每個(gè)用戶每天上傳的照片的數(shù)量。一般來(lái)說(shuō)，每個(gè)用戶的數(shù)據(jù)平均值作為一個(gè)參與度指標(biāo)去評(píng)估會(huì)比取總數(shù)去評(píng)估更有用，因?yàn)榭倲?shù)的增加可能是更多用戶參與的結(jié)果，而不是更多行為使用量導(dǎo)致的結(jié)果。

例如，與7天活躍用戶數(shù)的PULSE指標(biāo)（僅計(jì)算上一周內(nèi)至少有多少用戶訪問(wèn)過(guò)該產(chǎn)品的數(shù)量）相比，Gmail團(tuán)隊(duì)希望更多地了解其用戶的參與程度。

考慮到日常工作中，用戶會(huì)應(yīng)定期檢查其電子郵件帳戶，因此我們選擇的指標(biāo)是在過(guò)去一周內(nèi)訪問(wèn)該產(chǎn)品不少于五天的活躍用戶的比率。 我們還發(fā)現(xiàn)，該比率的人群更可能長(zhǎng)期留存下來(lái)，因此可以用作參與度的具體度量指標(biāo)。

08 接受度和留存率

接受度和留存率指標(biāo)可用于更深入地了解給定時(shí)間段內(nèi)（例如，為期7天的活躍用戶）獨(dú)立用戶的數(shù)量，從而解決將新用戶與現(xiàn)有用戶區(qū)分開的問(wèn)題。接受度指標(biāo)跟蹤給定時(shí)間段內(nèi)有多少新用戶開始使用產(chǎn)品（例如，最近7天創(chuàng)建的帳戶數(shù)），留存率指標(biāo)跟蹤給定時(shí)間段內(nèi)存在的用戶在一些時(shí)間段后仍存在（例如，給定一周中7天活躍用戶在 3 個(gè)月后仍處于7天活躍用戶的比率）。

怎么才算是“使用”產(chǎn)品會(huì)隨著產(chǎn)品的性質(zhì)和目標(biāo)不同而有所不同。在某些情況下，僅訪問(wèn)其網(wǎng)站可能就算是“使用”。在其他情況下，您可能會(huì)僅在訪問(wèn)者成功完成關(guān)鍵任務(wù)（例如創(chuàng)建帳戶）時(shí)才算是使用了產(chǎn)品。像參與度一樣，留存率也可以在不同的時(shí)間段內(nèi)測(cè)量。對(duì)于某些產(chǎn)品，您可能希望查看周留存率，而對(duì)于其他產(chǎn)品，月留存率或 90 天可能更合適。

接受度和留存率對(duì)于新產(chǎn)品和功能或正在重設(shè)計(jì)的產(chǎn)品特別有用。對(duì)于較成熟的產(chǎn)品，除季節(jié)性變化或外部事件外，它們趨于穩(wěn)定。例如，在 2008 年 9 月股市崩潰期間，Google 財(cái)經(jīng)瀏覽量和7天活躍用戶數(shù)均激增。

但是，這些指標(biāo)并未表明激增是由對(duì)危機(jī)感興趣的新用戶驅(qū)動(dòng)還是現(xiàn)有用戶對(duì)投資進(jìn)行了恐慌檢查。 不知道誰(shuí)在進(jìn)行更多訪問(wèn)，就很難知道是否或如何更改站點(diǎn)。 我們研究了接受度和留存率指標(biāo)，以區(qū)分這些用戶類型，并研究了新用戶選擇繼續(xù)使用該網(wǎng)站的比率。 該團(tuán)隊(duì)能夠使用此信息更好地了解由事件驅(qū)動(dòng)的流量高峰帶來(lái)的機(jī)會(huì)。

09 任務(wù)成功率

最后，“任務(wù)成功”類別涵蓋了用戶體驗(yàn)的幾種傳統(tǒng)行為指標(biāo)，例如效率（例如完成任務(wù)的時(shí)間），有效性（例如完成任務(wù)的百分比）和錯(cuò)誤率。大規(guī)模測(cè)量這些數(shù)據(jù)的一種方法是通過(guò)遠(yuǎn)程可用性或基準(zhǔn)研究來(lái)為用戶分配特定任務(wù)?；诰W(wǎng)站的特性，使用 Web 服務(wù)器日志文件數(shù)據(jù)，可能很難知道用戶試圖完成哪個(gè)任務(wù)。如果存在用于特定任務(wù)的最佳路徑（例如，多步驟注冊(cè)過(guò)程），則可以衡量用戶對(duì)其的跟蹤程度[參考7]。

例如，Google Maps曾經(jīng)有兩種不同類型的搜索框：一個(gè)是用于本地搜索的雙盒，用戶可以在其中分別輸入“ what”和“ where”方面（例如[pizza] [nyc]），另一個(gè)是搜索框處理各種搜索（包括本地搜索，例如[pizza nyc]或[nyc pizza]）。

團(tuán)隊(duì)認(rèn)為單盒方法最簡(jiǎn)單，最有效，因此，在 A/B 測(cè)試中，他們嘗試了僅提供單盒的版本。他們比較了兩種版本的錯(cuò)誤率，發(fā)現(xiàn)處于單框狀態(tài)的用戶能夠成功地調(diào)整其搜索策略。這向團(tuán)隊(duì)證明，他們可以為所有用戶移除雙框。

10 目標(biāo)–信號(hào)–指標(biāo)

無(wú)論以用戶為中心的度量指標(biāo)如何，除非它與目標(biāo)明確相關(guān)，否則在實(shí)踐中不太可能有用，并且可用于跟蹤實(shí)現(xiàn)該目標(biāo)的進(jìn)度。 我們開發(fā)了一個(gè)簡(jiǎn)單的過(guò)程，該過(guò)程使團(tuán)隊(duì)逐步闡明產(chǎn)品或功能的目標(biāo)，然后識(shí)別表明成功的信號(hào)，最后構(gòu)建要在儀表板上跟蹤的特定指標(biāo)。

目標(biāo)

第一步是確定產(chǎn)品或功能的目標(biāo)，尤其是在用戶體驗(yàn)方面。 用戶需要完成哪些任務(wù)？ 重新設(shè)計(jì)試圖實(shí)現(xiàn)什么？ 使用 HEART 框架來(lái)提示目標(biāo)（例如，吸引新用戶還是鼓勵(lì)現(xiàn)有用戶更深入?yún)⑴c更重要？）。 以下是我們給的一些較為有益的建議：

• 不同的團(tuán)隊(duì)成員可能會(huì)對(duì)項(xiàng)目目標(biāo)有分歧。 這個(gè)過(guò)程提供了一個(gè)很好的機(jī)會(huì)來(lái)收集所有不同的想法并努力達(dá)成共識(shí)（并為選定的指標(biāo)提供支持）。
• 特定項(xiàng)目或功能成功的目標(biāo)可能與整個(gè)產(chǎn)品的目標(biāo)不同。
• 在此階段，不用為能否可以找到相關(guān)的信號(hào)或指標(biāo)而擔(dān)憂分心。

信號(hào)

接下來(lái)，考慮目標(biāo)的成功或失敗如何在用戶行為或態(tài)度中體現(xiàn)出來(lái)。 哪些動(dòng)作將表明目標(biāo)已實(shí)現(xiàn)？ 什么樣的感覺(jué)或感知與成功或失敗相關(guān)？

在此階段，您應(yīng)該考慮這些信號(hào)的數(shù)據(jù)表現(xiàn)是什么， 例如，對(duì)于基于日志的行為信號(hào)，當(dāng)前是否記錄了相關(guān)操作，或者是否可能記錄? 你要如何收集態(tài)度反饋，可以定期部署調(diào)查嗎？ 日志和調(diào)查是我們最常使用的兩個(gè)信號(hào)源，但還有其他可能性（例如，使用評(píng)審團(tuán)來(lái)進(jìn)行評(píng)級(jí)）。 以下是我們的一些建議：

• 選擇對(duì)目標(biāo)敏感且特定服務(wù)于目標(biāo)的信號(hào)——這個(gè)信號(hào)僅在用戶體驗(yàn)更好或更差時(shí)會(huì)隨著變化，而不因其他無(wú)關(guān)的原因而改變。
• 有時(shí)候，失敗比成功更容易識(shí)別（例如，放棄任務(wù)，“撤消”事件[參考1]，沮喪）。

指標(biāo)

最后，考慮如何將這些信號(hào)轉(zhuǎn)換為特定指標(biāo)，以適合隨時(shí)間推移在數(shù)據(jù)板上進(jìn)行跟蹤。 以下是一些建議：

• 原始數(shù)據(jù)將隨著用戶群的增長(zhǎng)而增加，需要進(jìn)行規(guī)范化； 單用戶的比率，百分比或平均值通常會(huì)更有用。
• 在確保基于Web日志的度量指標(biāo)的準(zhǔn)確性方面存在許多挑戰(zhàn)，例如從自動(dòng)來(lái)源（例如，爬網(wǎng)程序，垃圾郵件發(fā)送者）中過(guò)濾流量，以及確保記錄所有重要的用戶操作（在默認(rèn)情況下可能不會(huì)發(fā)生，特別是在AJAX或基于flash的應(yīng)用程序中。）
• 若能將您的產(chǎn)品與其他產(chǎn)品進(jìn)行比較（競(jìng)品分析），則可能需要追蹤那些產(chǎn)品建立的標(biāo)準(zhǔn)所使用的額外指標(biāo)。

11 結(jié)語(yǔ)

我們已經(jīng)花費(fèi)了數(shù)年的時(shí)間來(lái)研究大數(shù)據(jù)背景下以用戶為中心的產(chǎn)品指標(biāo)的問(wèn)題。 這導(dǎo)致我們開發(fā)了 HEART 框架和目標(biāo)-信號(hào)-指標(biāo)流程，我們將其應(yīng)用于 Google 各個(gè)領(lǐng)域的 20 多種不同的產(chǎn)品和項(xiàng)目。

我們?cè)诒疚闹忻枋隽藥讉€(gè)示例，這些示例說(shuō)明了所得指標(biāo)如何幫助產(chǎn)品團(tuán)隊(duì)做出以數(shù)據(jù)為驅(qū)動(dòng)力和以用戶為中心的決策。

我們還發(fā)現(xiàn)框架和流程對(duì)團(tuán)隊(duì)討論的聚焦更加有幫助。 它們已經(jīng)推廣到我們公司自己的產(chǎn)品中，足以使我們相信其他組織中的團(tuán)隊(duì)將能夠成功地使用或適應(yīng)它們。

我們已經(jīng)對(duì)框架和流程進(jìn)行了一年多的微調(diào)，但每個(gè)框架的核心都保持穩(wěn)定，并且框架的類別足夠全面，可便可以適應(yīng)新的指標(biāo)概念。

由于大規(guī)模行為指標(biāo)相對(duì)較新，因此我們希望看到更多有關(guān)此主題的 CHI 研究，例如，確定每個(gè)類別中的哪些指標(biāo)能夠最準(zhǔn)確地反映用戶體驗(yàn)質(zhì)量。

12 快速總結(jié)

（1）本文旨在通過(guò)建立 HEART 框架，并成立目標(biāo)—信號(hào)—指標(biāo)的映射方式來(lái)解決設(shè)計(jì)決策迭代科學(xué)性的問(wèn)題。這個(gè)框架的成立基礎(chǔ)是大數(shù)據(jù)+自定義指標(biāo)+周期性追蹤。

（2）HEART 的框架主要分別是 Happyness（幸福感）、Adoption（接受度）、Engagement（參與度）、Retention（留存率）和 Task Sussess（任務(wù)成功率）。其中簡(jiǎn)易區(qū)別如下：

• Happyness 和 Task sussess 是貫穿所有產(chǎn)品時(shí)期的數(shù)據(jù)指標(biāo)；
• Engagement 是成長(zhǎng)期、成熟期更應(yīng)該追蹤的可以用于區(qū)分核心用戶的指標(biāo)；
• Adoption 和 Retention 主要是探索期和成長(zhǎng)期還有轉(zhuǎn)型期/重設(shè)計(jì)時(shí)期主要追蹤的指標(biāo)（這兩個(gè)指標(biāo)在成熟期會(huì)傾向于維穩(wěn)）。

（3）HEART 的數(shù)據(jù)指標(biāo)的關(guān)鍵點(diǎn)是大數(shù)據(jù)周期性的迭代追蹤，部分指標(biāo)在目前市場(chǎng)情況下稍顯理想化。

（4）框架應(yīng)用關(guān)鍵點(diǎn)在于目標(biāo)——信號(hào)——指標(biāo)的映射，也就是以終為始的思維。其中信號(hào)主要圍繞什么樣的用戶態(tài)度或行為會(huì)表明目標(biāo)成敗的角度去構(gòu)思，并且該態(tài)度或行為變化應(yīng)僅受目標(biāo)成敗的影響。

致謝

感謝 Aaron Sedley，Geoff Davis 和 Melanie Kellar 為 HEART 做出的貢獻(xiàn)，以及 Patrick Patrick 的支持。

參考資料

（此部分翻譯有些鏈接失靈，請(qǐng)直接谷歌關(guān)鍵詞）

1. Akers，D.等人 （2009）撤消和擦除事件作為可用性問(wèn)題的指示器。 CHI 2009年，ACM出版社，第659-668頁(yè)。
2. Burby，J.和Atchison，S.（2007）. ActionableWebAnalytics. 印第安納波利斯：威利出版公司
3. Chi，E. 等人 （2002）. LumberJack：Web用戶流量組成的智能發(fā)現(xiàn)和分析。 WebKDD 2002 Proc，ACM Press，第1-15頁(yè)。
4. Dean，J.和Ghemawat，S.（2008）. MapReduce：大型集群上的簡(jiǎn)化數(shù)據(jù)處理。 ACM的通訊，51（1），第107-113頁(yè)。
5. GoogleAnalytics：http://www.google.com/analytics
6. Grimes，C.etal（2007）. 僅查詢?nèi)罩具€不夠， WWW 07查詢?nèi)罩痉治鲅杏憰?huì)的程序：http://querylogs2007.webir.org
7. Gwizdka，J. ＆Spence，I. （2007年）Web導(dǎo)航中損失和成功的隱式度量。 與計(jì)算機(jī)進(jìn)行交互19（3），第357-369頁(yè)。
8. Hadoop：http://hadoop.apache.org/core
9. Kaushik，A.（2007）. WebAnalytics：AnHouraDay. 印第安納波利斯：威利出版公司
10. Kohavi，R.等 （2007）. 網(wǎng)絡(luò)上的受控實(shí)驗(yàn)實(shí)用指南。 KDD 07，ACM Press，第959-967頁(yè)。
11. Omniture：http://www.omniture.com
12. Pike，R.等 （2005）. 解釋數(shù)據(jù)：使用Sawzall進(jìn)行并行分析。 科學(xué)程序設(shè)計(jì)（13），第277-298頁(yè)。
13. Tullis，T.＆Albert，W.（2008年）. 衡量用戶體驗(yàn)。 伯靈頓：摩根考夫曼。
14. UserZoom：http://www.userzoom.com
15. Weischedel，B.和Huizingh，E.（2006年）. 使用Web指標(biāo)進(jìn)行網(wǎng)站優(yōu)化：一個(gè)案例研究。 ICEC 06，ACM Press，第463-470頁(yè)。

注：

（1）翻譯目的是共享學(xué)習(xí)，有疑惑或翻譯錯(cuò)誤請(qǐng)聯(lián)系 Dreamy 的郵箱 1163940428@qq.com 。鍵盤俠勿擾，和諧生活。

（2）局部翻譯結(jié)合原文與中式術(shù)語(yǔ)修改表述，讓其更易于理解。

（3）若侵權(quán)請(qǐng)聯(lián)系譯者刪除文章。若想轉(zhuǎn)發(fā)也請(qǐng)附上譯者信息（便于甄誤）。

原文作者：克里·羅登，希拉里·哈金森，辛孚（原Kerry Rodden, Hilary Hutchinson, and Xin Fu）

原文標(biāo)題：《大數(shù)據(jù)下評(píng)估用戶體驗(yàn): Web 應(yīng)用程序中以用戶為中心的指標(biāo)》

原文地址：?https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/36299.pdf、

編譯作者：水水；博客（擱置 1.5 年重新?lián)炱?，沒(méi)啥幾篇破文章）：http://my.cgsdream.org/

本文由 @水水 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。