近期，Apple 發(fā)布了關(guān)于 AI 手機端應(yīng)用的論文，其中一篇是講 Ferret-UI 的研發(fā)成果。蘋果為什么要做 Ferret-UI，它會顛覆交互設(shè)計么？

最近，Apple 在一周內(nèi)發(fā)布了兩篇 AI 手機端應(yīng)用的論文，其中一篇是講 Ferret-UI 的研發(fā)成果。

作為交互設(shè)計師，我們有必要將該技術(shù)可以看作是 AI 在交互設(shè)計領(lǐng)域的全新嘗試，會對未來的界面交互體驗產(chǎn)生顛覆性的影響。?

一、為什么蘋果要做 Ferret-UI

一直以來，ChatGPT 等大型語言模型都主要依賴于文本和圖象數(shù)據(jù)進行訓(xùn)練，而這些數(shù)據(jù)大多來源于已存在的網(wǎng)絡(luò)信息和頁面。但是，移動應(yīng)用的界面和交互方式與直觀的網(wǎng)頁信息不同，最主要的兩個區(qū)別如下：

一是移動界面的寬高比、圖標(biāo)和按鈕的尺寸有各種規(guī)范和設(shè)計原則；

二是移動應(yīng)用的功能語意需要理解，每個元素都存在不同的交互方式。

正是這兩點導(dǎo)致傳統(tǒng)的大語言模型在處理和設(shè)計移動應(yīng)用界面信息時往往會力不從心。而蘋果開發(fā) Ferret-UI 想要解決的就是AI 在理解移動應(yīng)用界面方面的問題。蘋果的研究人員在論文中提到，F(xiàn)erret-UI 采用多模態(tài)大型語言模型的技術(shù)路線，并對其進行了三點針對性的優(yōu)化：

1. Ferret-UI 能夠識別和處理不同寬高比的屏幕，可以理解同一個頁面不同尺寸的適配方案：???

2. Ferret-UI 增強了識別小尺寸圖像的能力，比如 icon、按鈕、文本等等，能夠更準(zhǔn)確地識別和定位屏幕上的各個元素及其功能：

3. Ferret-UI 在識別圖像后更進一步，能夠理解對話和推斷任務(wù)，也即理解屏幕內(nèi)容變化與用戶操作結(jié)果之間的關(guān)系，更好地響應(yīng)用戶的指令：

二、Ferret-UI 的應(yīng)用場景

我們可以從蘋果對于 Ferret-UI 的核心技術(shù)描述推斷出其能夠應(yīng)用的幾類場景：

1. 建立更標(biāo)準(zhǔn)、通用的底層規(guī)范

Ferret-UI 通過學(xué)習(xí)大量優(yōu)秀的 UI 界面以及交互設(shè)計規(guī)則，可以建立起更為標(biāo)準(zhǔn)、更為理性的界面設(shè)計通用準(zhǔn)則和基礎(chǔ)規(guī)范。而 AI 對于規(guī)則的記憶和掌握也一定比人類開發(fā)者和設(shè)計師更加輕松，能夠最大程度上保證界面設(shè)計的規(guī)范性。???

2. 快速繪制 UI demo 稿或設(shè)計稿

通過對大量 UI 界面的理解學(xué)習(xí)， Ferret-UI 可以相對準(zhǔn)確地生產(chǎn)出交互設(shè)計界面，以滿足產(chǎn)品的基礎(chǔ)版本，提升產(chǎn)品的產(chǎn)研和設(shè)計效率。

3. 評估檢驗 UI 設(shè)計的問題和質(zhì)量

Ferret-UI 可以幫助產(chǎn)品的開發(fā)者讓和設(shè)計師評估 UI 的有效性和界面設(shè)計的易用性。你可以將交互界面給 Ferret-UI 進行測試，更快地找出 UI 設(shè)計中存在的問題；也可以將設(shè)計稿和開發(fā)上線后的版本放到 Ferret-UI 進行對比檢測，更加快速地完成設(shè)計走查。

4. 改變界面的交互方式和使用體驗

Ferret-UI 在頁面的交互方式上也有著無限的可提升空間：比如對整個 UI 界面進行語音朗讀或語音操作指引；對于復(fù)雜功能進行講解等等，這也會為視覺障礙或是認(rèn)知障礙的用戶提供便利。

5. 推動 AI 新智能手機的發(fā)展

Ferret-UI 還可以為 Siri 賦能，未來的 Siri 不僅僅能夠提供給你想要的信息，還能夠理解你的語音指令，并與你手機上的應(yīng)用程序進行交互，代替你完成相關(guān)的操作。未來你可以告訴 Siri：“幫我預(yù)訂一晚位于上海靜安區(qū)的酒店，一間雙床房加兩份早餐，價格不超過 600 元?！?Siri 便可以通過 Ferret-UI 的能力與酒店應(yīng)用或是旅行應(yīng)用進行交互，自動完成酒店的預(yù)訂。

這樣的交互方式讓真正的 AI 新智能手機的概念成為可能，而不再是停留在現(xiàn)階段裝了 AI 應(yīng)用的智能手機。

三、設(shè)計師該如何應(yīng)對？

看到這里，很多交互設(shè)計師朋友大概又要開始焦慮了。然而比起擔(dān)心失業(yè)或被替代，更重要的是認(rèn)清我們自己的優(yōu)勢所在。

Ferret-UI 會帶來的智能設(shè)備的交互變革，是我認(rèn)為它對交互設(shè)計影響最核心的方面，但具體如何讓新的 AI 智能設(shè)備更加人性化、擁有更好的使用體驗，還得是由人類設(shè)計師來定義和判斷。我相信蘋果的設(shè)計師會借助 Ferret-UI 讓下一代 iPhone 再次驚艷四方。

一方面，我們可以利用 AI 的技術(shù)優(yōu)勢，為產(chǎn)研過程降本增效，將更多的精力用于對產(chǎn)品和用戶的深入洞察和思考上。

另一方面，我們要不斷發(fā)揮人類特有的主觀能動性，時刻關(guān)注這些技術(shù)和行業(yè)的發(fā)展與變革，將技術(shù)作為我們自身能力的延伸，拓寬自身能力的邊界。

不論 AI 如何強大，人類的未來都需要由人類自己定義。