多模交互如何提升智能座艙駕駛體驗(yàn)，是值得我們長期探索的一個(gè)課題。這篇文章里，作者就分享了多模交互在智能座艙中的價(jià)值所在，以及設(shè)計(jì)多模交互體驗(yàn)的幾個(gè)要點(diǎn)，一起來看一下。

在HMI設(shè)計(jì)中，視覺、聽覺、觸覺和嗅覺都能發(fā)揮不同的作用。人類通過視覺接收的信息占所有感官通道接收的信息83%，在座艙中駕駛員的眼睛會(huì)分別從儀表盤、中控、后視鏡、HUD、氛圍燈以及車外環(huán)境獲取相關(guān)信息。

在智能座艙中，除了基于觸覺感知的觸控屏、實(shí)體按鍵等交互方式，隔空手勢(shì)、人臉識(shí)別、姿態(tài)識(shí)別、眼動(dòng)追蹤、心電監(jiān)測、呼吸監(jiān)測等交互和識(shí)別手段都在逐漸往座艙落地，這讓多模交互的形式和內(nèi)容更加豐富多樣。

通過多模交互實(shí)現(xiàn)安全、高效和舒適的車內(nèi)交互體驗(yàn)正是多模交互在智能座艙中的價(jià)值所在，那么怎么來理解安全、高效和舒適呢？

一、多模交互的應(yīng)用價(jià)值

在 【智能座艙設(shè)計(jì)的人機(jī)工程學(xué)和人機(jī)交互理論】文中提到了態(tài)勢(shì)感知、SRK模型、多重資源理論及耶德定律，這四個(gè)模型相互結(jié)合可以解釋為什么智能座艙體驗(yàn)設(shè)計(jì)需要考慮多模交互。以SRK模型和耶德定律結(jié)合為例，為什么新手司機(jī)需要非常專注地看著前方開車，因?yàn)樗麄兊鸟{駛操作仍處于知識(shí)層面，這時(shí)新手司機(jī)認(rèn)知負(fù)荷處于較高水平，當(dāng)有其他事項(xiàng)影響到新手司機(jī)導(dǎo)致認(rèn)知資源過載時(shí)，容易發(fā)生危險(xiǎn)。

但對(duì)于駕駛熟練的司機(jī)來說，駕駛操作已經(jīng)成為技能，他們無須將大部分的認(rèn)知資源放在路面上，許多簡單的任務(wù)可以同時(shí)進(jìn)行。盡管經(jīng)驗(yàn)豐富的司機(jī)可以同時(shí)處理多項(xiàng)任務(wù)，但是遇到不熟悉及惡劣環(huán)境時(shí)仍是需要非常專注地開車，因?yàn)檫@時(shí)他對(duì)環(huán)境的理解處于知識(shí)層面。

以態(tài)勢(shì)感知和耶德定律結(jié)合為例，在手動(dòng)駕駛狀態(tài)下，駕駛員的開車過程就是對(duì)周圍環(huán)境進(jìn)行數(shù)據(jù)采集（感知），然后加工處理（預(yù)測和決策）并采取行動(dòng)操作車輛。當(dāng)汽車處于智能駕駛狀態(tài)時(shí)，由于駕駛員很可能沒有把注意力放在駕駛?cè)蝿?wù)上，一旦出現(xiàn)問題需要駕駛員接管，此時(shí)駕駛員需要在極短時(shí)間對(duì)環(huán)境進(jìn)行感知、預(yù)測和決策并做出行動(dòng)，認(rèn)知負(fù)荷很可能從較低瞬間提升到較高甚至過高水平，從而導(dǎo)致分心或者焦慮。

從多重資源理論的角度來看，好的駕駛體驗(yàn)應(yīng)該是將需要駕駛員關(guān)注的信息通過不同通道去呈現(xiàn),從而降低駕駛員的認(rèn)知負(fù)荷除了認(rèn)知負(fù)荷，前面提及的人臉識(shí)別、姿態(tài)識(shí)別、心電監(jiān)測、呼吸監(jiān)測等交互和識(shí)別手段都是為了保障駕駛員處于一個(gè)良好的駕駛狀態(tài)，從而保障乘客和車輛安全。

方向盤按鍵、語音交互、隔空手勢(shì)和眼動(dòng)追蹤等交互方式都能有效提高駕駛員的操作效率，并且讓駕駛員可以在背部不離開座椅的前提下操控整輛汽車有效提升操作時(shí)的舒適度，而這些目的的背后依然是讓駕駛員更安全地操控車輛。

二、設(shè)計(jì)多模交互體驗(yàn)的4個(gè)要點(diǎn)

如何通過多屏交互、語音交互、氛圍燈交互、觸覺交互等交互方式實(shí)時(shí)讓用戶清晰地知道當(dāng)前發(fā)生了什么？這一直是目前學(xué)術(shù)界和工業(yè)界都在探討的前沿課題。下面是行業(yè)內(nèi)總結(jié)的在設(shè)計(jì)多模交互時(shí)需要關(guān)注的四個(gè)要點(diǎn)。

1、信息可以通過多通道冗余的方式呈現(xiàn)，尤其是高優(yōu)先級(jí)甚至緊急的信息

通過研究證明，“視覺+聽覺”或者“視覺+振動(dòng)觸覺”警告已證明比單模態(tài)警告的響應(yīng)時(shí)間快，這跟多模交互的冗余增益可加快信息的處理時(shí)間有關(guān)。

聽覺或振動(dòng)觸覺信號(hào)是短暫的，因此信息可能會(huì)被遺漏或遺忘，這在關(guān)鍵信息的情況下尤其重要。而當(dāng)駕駛員因自身原因或者環(huán)境原因?qū)е乱曈X或者聽覺接收信息存在障礙，例如黑暗環(huán)境或者吵鬧環(huán)境，多通道傳遞信息能盡可能避免駕駛員無法接收信息的問題

2、重要信息應(yīng)該在感知上最顯著，尤其是警告信息應(yīng)引導(dǎo)用戶朝向危險(xiǎn)源

由于駕駛過程中有大量的信息發(fā)生在不同方位上，當(dāng)即將有緊急事件發(fā)生時(shí)，應(yīng)當(dāng)讓駕駛員在適當(dāng)?shù)臅r(shí)候看向即將發(fā)生危險(xiǎn)的方向，例如車輛的前/側(cè)/后方位此時(shí)基于視覺的氛圍燈和基于聽覺的警示音都能有效引導(dǎo)用戶朝向危險(xiǎn)源。

3、每個(gè)模態(tài)傳達(dá)的信息是可理解的，尤其是模態(tài)聯(lián)動(dòng)時(shí)

座艙HMI中很多信息都會(huì)通過GUI界面的文字和符號(hào)表示，但這些信息被轉(zhuǎn)化成語音甚至對(duì)話時(shí)是否容易被理解是個(gè)問題，尤其是符號(hào)為非標(biāo)準(zhǔn)符號(hào)或者具有二義性。因此在設(shè)計(jì)GUI信息時(shí)應(yīng)當(dāng)考慮等效的語音信息是什么。另外，不同優(yōu)先級(jí)的信息應(yīng)當(dāng)可以相互區(qū)分，尤其是觸覺信息，因?yàn)榇蟛糠謱?shí)現(xiàn)觸覺反饋的器件分辨率較低，用戶很難區(qū)分相近的振動(dòng)反饋差異點(diǎn)在哪。

4、信息的輸入和輸出是合理的，避免引起人的不適

在黑暗環(huán)境下突然出現(xiàn)一道高亮的光線容易引起人的眼部不適，同理聽覺、觸覺和嗅覺的輸出也要考慮避免引起人的不適。過高響度的聽覺信號(hào)讓人難以受甚至致聾；過高強(qiáng)度的觸覺信號(hào)會(huì)讓人感受到疼痛；過高濃度的嗅覺信號(hào)容易引起刺鼻甚至嗅覺失靈。

在信息輸入方面，輸入效率過低和文化差異也會(huì)引起人的不適。例如語音交互過程中用戶發(fā)出的指令拗口或者朗讀時(shí)長需要數(shù)秒會(huì)引起用戶的不滿；同一個(gè)手勢(shì)在不同文化習(xí)俗中可能有著不一樣的解讀。以“OK”手勢(shì)為例，在美國、英國、中國的文化中該手勢(shì)意為“沒問題”，但是在土耳其、希臘、巴西和德國的部分地區(qū)，“OK”手勢(shì)是一種極具侮辱的冒犯性手勢(shì)，該問題在涉及國際化設(shè)計(jì)時(shí)尤其突出。

三、多模交互的未來發(fā)展趨勢(shì)與突破點(diǎn)

目前不同車企已經(jīng)有較多的多模態(tài)技術(shù)投入到智能座艙中，例如語音交互、手勢(shì)識(shí)別、人臉識(shí)別、姿態(tài)追蹤等，但如眼動(dòng)追蹤、心率識(shí)別等技術(shù)因?yàn)榫炔粔驎何词褂玫街悄茏撋稀．?dāng)缺乏了眼動(dòng)追蹤技術(shù)，AR-HUD的內(nèi)容與路面信息貼合會(huì)存在較大問題，從而使駕駛員在做決策時(shí)發(fā)生誤判。盡管以上多模態(tài)技術(shù)已經(jīng)投入使用，但精度會(huì)隨著環(huán)境和不同駕駛員之間的個(gè)體差異發(fā)生改變，例如2022年一位小鵬汽車車主在使用NGP輔助駕駛功能時(shí)，因自己眼睛小，被系統(tǒng)判定為“開車睡覺”，智駕分因此被扣掉了4分。

要大幅度實(shí)現(xiàn)技術(shù)精度的提升并不是一件容易的事情。以語音識(shí)別準(zhǔn)確率為例，在2015年，中文語音識(shí)別準(zhǔn)確率在實(shí)驗(yàn)室環(huán)境下已經(jīng)達(dá)到97%，但后續(xù)幾年內(nèi)并沒有看到這一數(shù)字有明顯的變化。

當(dāng)單個(gè)模態(tài)因精度問題導(dǎo)致結(jié)果不準(zhǔn)確時(shí)，模態(tài)與模態(tài)之間融合則存在更大問題，尤其部分模態(tài)涉及環(huán)境和人為因素時(shí)。例如一位駕駛員正在“聚精會(huì)神”看著前方道路，而且方向盤旋轉(zhuǎn)角度、道路偏移等參數(shù)都沒有異常，那么我們可以判定這位駕駛員正在認(rèn)真開車嗎？

答案是否定的，因?yàn)檫@位駕駛員可能正在發(fā)呆，此時(shí)已經(jīng)處于分神狀態(tài)。為什么出現(xiàn)這種情況?因?yàn)槿嗽诎l(fā)呆時(shí)，他的眨眼、頭動(dòng)等動(dòng)作并不會(huì)表現(xiàn)出分神和疲勞現(xiàn)象，系統(tǒng)無法感知到這名駕駛員是否在正常開車。因此通過模態(tài)融合實(shí)現(xiàn)的各種“黑科技”背后很有可能存在較多不確定性者在解決類似問題時(shí)一定要關(guān)注方案的客觀性和準(zhǔn)確性。

除了多模交互仍有大量技術(shù)問題需要攻克，在落地過程中還有一個(gè)最大的阻力，就是算力不足。盡管車企將更多的攝像頭和傳感器接入到座艙中，但是算法是否足夠成為問題。在智能座艙中，除了多個(gè)屏幕、界面和動(dòng)效渲染、以及各種常見應(yīng)用占用算力，多模態(tài)使用到的技術(shù)，例如語音交互的聲源定位、喚詞識(shí)別、聲音降噪、ASR（語音識(shí)別）離線指令識(shí)別、人臉識(shí)別、手勢(shì)識(shí)別、DMS（駕駛員監(jiān)測系統(tǒng)）、AR-HUD 導(dǎo)航地圖導(dǎo)航等，同時(shí)運(yùn)行在一顆車載芯片上并保證用戶體驗(yàn)流暢是不容易的。

目前車載芯片要比當(dāng)前手機(jī)芯片晚2~3代，盡管在未來算力帶來的瓶頸問題將逐漸減少，但不可否認(rèn)的是未來定會(huì)有更多新問題出現(xiàn)，例如輔助駕駛和自動(dòng)駕駛更加成熟，AR-HUD、影音、游戲娛樂會(huì)對(duì)算力有更多的要求，此時(shí)預(yù)留給多模交互技術(shù)的算力剩下多少也是一個(gè)問題。

總的來說，多模交互的難點(diǎn)不僅在于各種計(jì)算機(jī)技術(shù)的研究，還有對(duì)人類行為特別是人機(jī)工程學(xué)的研究，更重要的是將這些行為及背后的意圖正確地識(shí)別出來，因此多模交互是一項(xiàng)涉及心理學(xué)、人機(jī)工程、計(jì)算機(jī)等多個(gè)學(xué)科的系統(tǒng)工程。在各個(gè)技術(shù)尚未成熟前，多模交互如何提升智能座艙駕駛體驗(yàn)將是一個(gè)長期值得探索的課題。