編輯導(dǎo)讀：當(dāng)你正在工作，你的電腦死機(jī)崩潰時(shí)，盡管很無(wú)奈，但也不至于會(huì)對(duì)一臺(tái)機(jī)器破口大罵。反而在面對(duì)人為的錯(cuò)誤時(shí)，會(huì)更加嚴(yán)苛。你是這樣的嗎？本文作者對(duì)此進(jìn)行了分析，希望對(duì)你有幫助。

“Assessing outcomes vs intention.

評(píng)估結(jié)果與目的”

一、你對(duì)頻繁死機(jī)的電腦感到崩潰嗎？

我們可能認(rèn)為：相比于笨拙的人類，我們對(duì)功能失常的應(yīng)用程序或設(shè)計(jì)糟糕的算法會(huì)更為苛刻。然而這只是一種模糊的猜測(cè)。

事實(shí)上，用戶對(duì)機(jī)器反而可能更具有同情心，他們似乎并不會(huì)對(duì)機(jī)器的錯(cuò)誤感到生氣或者苛責(zé)。根據(jù)César A. Hidalgo①（經(jīng)濟(jì)學(xué)家，前MIT研究員）的說(shuō)法：這主要是因?yàn)橛脩魧徟袡C(jī)器是根據(jù)它們的行為結(jié)果，而不是行為目的。

無(wú)論是面對(duì)有偏見(jiàn)的結(jié)果還是不公平的決定，用戶似乎從來(lái)沒(méi)有真正的在機(jī)器身上尋找道德原因，而只是把它們當(dāng)成功能的載體（只關(guān)乎是否完成其工作）。

這產(chǎn)生了四個(gè)新視角詮釋人機(jī)交互的有趣行為科學(xué)結(jié)論。

二、AI決策和人類判斷

無(wú)論是輔助人類做決策，又或是雇傭新員工，識(shí)別人臉，我們都聽(tīng)說(shuō)過(guò)算法偏見(jiàn)是如何影響人工智能的。算法收集的數(shù)據(jù)保留了系統(tǒng)性的判斷偏見(jiàn)（judgmental biases），這有時(shí)候會(huì)反映在對(duì)某些個(gè)體的歧視性決策中。

但是人類對(duì)機(jī)器制造不公平行為有什么感覺(jué)呢？相比于人類的歧視，他們會(huì)更反感機(jī)器嗎？

César Hidalgo試圖通過(guò)社會(huì)實(shí)驗(yàn)來(lái)回答這些問(wèn)題。他向參與者展示了幾種歧視情況，并要求他們判斷決策在人類或者機(jī)器負(fù)責(zé)下的公平性。這些場(chǎng)景里有： HR在候選人相同資質(zhì)相同的情況下從不選擇某種特定出身的候選人，和警察總是關(guān)押一些相同族群的無(wú)辜群眾。

在這些情況下，參與者都認(rèn)為人類的行為更具有目的性，因此更需要責(zé)任感。因?yàn)閰⑴c者認(rèn)為人類的行為帶有自己的主觀意愿，所以他們的行為比機(jī)器的錯(cuò)誤判斷更受到指責(zé)。然而，當(dāng)問(wèn)起他們應(yīng)該由誰(shuí)來(lái)取代這些歧視者，他們的答案更傾向于選擇更正直的人。

三、人類對(duì)自動(dòng)化工作的模糊認(rèn)知

當(dāng)面對(duì)自動(dòng)化工作（work automation）或者工作替代（job replacement）的時(shí)候，這種模糊性再次出現(xiàn)。Hidalgo通過(guò)類似的實(shí)驗(yàn)研究了人們對(duì)這種情況的反應(yīng)。
他向參與者講述了一些故事：比如公司員工要么被AI機(jī)器人取代，要么被效率更高，更有精力的外國(guó)年輕員工取代。Hidalgo詢問(wèn)參與者在不同情景和不同行業(yè)內(nèi)對(duì)此會(huì)有什么感受。

令人驚訝的是，參與者更情愿取代他們工作的是機(jī)器人，而不是外國(guó)人。雖然他們的偏好因情況而異：更接受司機(jī)被自動(dòng)駕駛卡車(chē)取代，而不是老師被教學(xué)機(jī)器人取代，但他們通常同意他們更喜歡自動(dòng)化而不是另一位工人。

對(duì)這類情況的解釋有幾種。參與者可能覺(jué)得技術(shù)的發(fā)展是不可避免的，而被外國(guó)工人取代會(huì)激發(fā)他們的歸屬感。他們可能能更加切身的體會(huì)到后者（外國(guó)工人）的威脅性，因?yàn)檫@發(fā)生的更為頻繁。人力替代感覺(jué)上也更不公平，因?yàn)橥荣Y質(zhì)的外國(guó)工人憑什么更有權(quán)利獲得工作？

這也解釋了為什么和90-00年間歐美企業(yè)外遷勞動(dòng)力（到發(fā)展中國(guó)家）相比，自動(dòng)化引發(fā)的情緒抵抗似乎沒(méi)有那么的極端。

四、對(duì)機(jī)器事故的毫不寬容

自動(dòng)駕駛汽車(chē)比人類駕駛員更負(fù)責(zé)任嗎？

隨著自動(dòng)駕駛離現(xiàn)實(shí)越來(lái)越近，我們可能好奇：相比于人類駕駛員，用戶如何看待自動(dòng)駕駛汽車(chē)需要承擔(dān)的責(zé)任？

為了回答這個(gè)問(wèn)題，Hidalgo和他的團(tuán)隊(duì)把參與者置于各種各樣的道路事故（包含了人類司機(jī)或自動(dòng)駕駛汽車(chē)）之中。這些事故的嚴(yán)重程度可能取決于內(nèi)在或外在因素，也包含了是傷害司機(jī)還是路人的抉擇。

這項(xiàng)實(shí)驗(yàn)首次提出了自動(dòng)駕駛汽車(chē)擔(dān)負(fù)了巨大的責(zé)任。參與者對(duì)涉及自動(dòng)駕駛汽車(chē)的事故判斷更為消極，認(rèn)為它們會(huì)造成更嚴(yán)重的傷害。其中一個(gè)原因是因?yàn)樗麄兏菀装炎约簬肴祟愸{駛員的視角（而不是機(jī)器的視角），他們更能同理人類司機(jī)做出的反應(yīng)（畢竟在自己身上可能也會(huì)發(fā)生這樣的情況），尤其這是由外部因素導(dǎo)致的事故（比如一棵樹(shù)倒在了路上）。

因此，參與者對(duì)造成事故的機(jī)器毫不寬容，希望它們更可靠安全。

五、機(jī)器的好壞完全取決于結(jié)果

我們可以從這些研究中得出什么結(jié)論呢？

César Hidalgo | How Humans Judge Machines | Talks at Google②（視頻地址見(jiàn)相關(guān)閱讀）

首先，當(dāng)整體看待受傷害感和行為目的的關(guān)系時(shí)，人們認(rèn)為人類行為比機(jī)器行為更帶有目的。然而矛盾的是，參與者仍然會(huì)更容易原諒人類的行為，因?yàn)樗麄兏菀讓⑷藶殄e(cuò)誤視為壞運(yùn)氣的結(jié)果，而機(jī)器錯(cuò)誤則是需要糾正的錯(cuò)誤。

當(dāng)我們?cè)谘芯啃袨槟康暮筒还g的關(guān)系時(shí)，我們發(fā)現(xiàn)了一個(gè)更符合人類判斷的事實(shí)：對(duì)于那些帶有當(dāng)事人強(qiáng)烈主觀意圖的場(chǎng)景（比如侮辱和歧視），人們顯然會(huì)對(duì)人類行為做出更為負(fù)面的評(píng)價(jià)。人們認(rèn)為人類需要為自己的邪惡意圖負(fù)責(zé)任，而機(jī)器則被默認(rèn)為沒(méi)有自己的意圖和目的。另一方面，一些本身不帶有目的的情況（比如交通事故），機(jī)器則承擔(dān)的責(zé)備會(huì)更多。因?yàn)槲覀円呀?jīng)假定了機(jī)器的程序可以避免任何錯(cuò)誤。

最后通過(guò)評(píng)估不公正的感知和傷害范圍之間的關(guān)系，我們發(fā)現(xiàn)：對(duì)涉及人造成的傷害越小，機(jī)器就越被視為罪魁禍?zhǔn)?；相反，?dāng)傷害越大，人類當(dāng)事人承擔(dān)的評(píng)價(jià)就越為負(fù)面。

總之，我們看到了兩種截然不同的判斷模式。

當(dāng)涉及人類當(dāng)事人時(shí)，觀眾就會(huì)通過(guò)當(dāng)事人的意圖來(lái)評(píng)判他們的行為：他們可以犯錯(cuò)，但如果居心不良，他們就需要對(duì)自己的行為負(fù)責(zé)。

另一方面，機(jī)器的評(píng)估標(biāo)準(zhǔn)是行為的結(jié)果：如果它們無(wú)法避免破壞性的錯(cuò)誤，無(wú)論發(fā)生的是什么，它們都會(huì)被批評(píng)。好的一面是，對(duì)于一些通常被定性為非常嚴(yán)重的情況（歧視或惡意羞辱），因?yàn)闄C(jī)器行為不帶有目的，所以常常不被苛責(zé)。

但這也意味著，作為設(shè)計(jì)師的我們，需要盡量減少數(shù)字服務(wù)和智能應(yīng)用程序可能產(chǎn)生的間接傷害和歧視。因?yàn)榭蓻](méi)有人會(huì)同情設(shè)計(jì)糟糕的算法③。

③譯者注：

設(shè)計(jì)師和算法的關(guān)系

由于譯者正好從事自動(dòng)駕駛行業(yè)，所以就簡(jiǎn)單聊聊這個(gè)話題。可能有人會(huì)認(rèn)為糟糕算法能是程序員的問(wèn)題，這和設(shè)計(jì)師有什么關(guān)系？

但事實(shí)上在以正向研發(fā)為主要流程的企業(yè)內(nèi)，一個(gè)需求落地至少要經(jīng)過(guò)產(chǎn)品經(jīng)理，設(shè)計(jì)師，研發(fā)和測(cè)試四個(gè)階段。產(chǎn)品和設(shè)計(jì)師需要根據(jù)客戶/用戶的訴求去定義和產(chǎn)品的功能和使用方式，然后研發(fā)才會(huì)在設(shè)計(jì)的框架內(nèi)去實(shí)現(xiàn)這些功能。自然當(dāng)設(shè)計(jì)師遺漏或者忽視一些安全問(wèn)題時(shí)，研發(fā)是無(wú)法發(fā)現(xiàn)的，因?yàn)樵谒麄兊慕嵌龋δ艿纳舷挛氖遣幻鞔_的，他們只專注于功能本身的研發(fā)。

舉個(gè)例子，假設(shè)我們?cè)O(shè)計(jì)一個(gè)工業(yè)園區(qū)內(nèi)使用的遠(yuǎn)程自動(dòng)駕駛汽車(chē)遙控器，它的功能是給車(chē)輛派發(fā)運(yùn)貨訂單，并且可以遠(yuǎn)程啟動(dòng)車(chē)輛。那么如果設(shè)計(jì)師對(duì)于使用場(chǎng)景足夠了解，他會(huì)發(fā)現(xiàn)如果遠(yuǎn)程啟動(dòng)車(chē)輛，突然的啟動(dòng)可能會(huì)對(duì)周?chē)谘b卸貨的工人帶來(lái)安全隱患。

所以需要在這個(gè)階段提供預(yù)警或者二次鑒權(quán)的操作。而這可能是客戶的原始需求中沒(méi)有提及或者客戶覺(jué)得麻煩的功能（客戶只想點(diǎn)一次！），如果產(chǎn)品和設(shè)計(jì)沒(méi)有深入研究，自然研發(fā)無(wú)法發(fā)現(xiàn)這樣的問(wèn)題。這就是我理解的為什么設(shè)計(jì)師需要對(duì)算法負(fù)責(zé)。

關(guān)于設(shè)計(jì)師的責(zé)任這一塊，有興趣的朋友可以看一看前文《負(fù)責(zé)任的設(shè)計(jì)：設(shè)計(jì)師應(yīng)該承擔(dān)多少產(chǎn)品責(zé)任？》。

我也和一些人交流過(guò)這個(gè)問(wèn)題，剛畢業(yè)的設(shè)計(jì)師覺(jué)得，我們需要為用戶負(fù)責(zé)！我們要站出來(lái)說(shuō)話！在社會(huì)中摸爬滾打了多年的設(shè)計(jì)師多會(huì)認(rèn)為這非常的理想。確實(shí)，從企業(yè)角度來(lái)講，道德如果無(wú)關(guān)乎企業(yè)生存，是會(huì)被自動(dòng)忽視的（畢竟羅翔老師也說(shuō)過(guò)，法律只是規(guī)定了道德的底線），或者當(dāng)成一種營(yíng)銷(xiāo)手段。只有一些和道德高度綁定的行業(yè)，比如說(shuō)自動(dòng)駕駛行業(yè)，設(shè)計(jì)師才會(huì)有必要，有能力去考慮一些道德問(wèn)題。

當(dāng)然，我也不是說(shuō)設(shè)計(jì)師不需要也沒(méi)有能力去承擔(dān)責(zé)任，而是說(shuō)希望大家能夠多去思考自己的正在做的產(chǎn)品，而不是說(shuō)盲目的為了kpi或者okr去完成設(shè)計(jì)任務(wù)?？赡苣愕囊淮屋p微的嘗試就會(huì)給產(chǎn)品帶來(lái)一些正面的影響。

六、相關(guān)閱讀

①《人類如何評(píng)判機(jī)器》How Humans Judge Machines

https://book.douban.com/subject/35557225/

②How Humans Judge Machines | Talks at Google

https://www.youtube.com/watch?v=H10-t5hnnw0

*已獲得作者授權(quán)，若有翻譯問(wèn)題，歡迎一起交流~

原文名稱：Are users more forgiving of human mistakes than machine errors?

原文作者：Jean-marc Buchert

原文鏈接： https://uxdesign.cc/are-users-more-forgiving-of-human-mistakes-than-machine-errors-5ed2a87f5368

本文由 @第三設(shè)計(jì)觀察所 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash，基于CC0協(xié)議