在人工智能的快速發(fā)展中，a16z的華裔合伙人Jennifer Li帶來(lái)了她對(duì)生成式AI的最新洞察。她預(yù)測(cè)，小型模型結(jié)合邊緣AI將在2025年成為定義技術(shù)發(fā)展的關(guān)鍵趨勢(shì)。

a16z 合伙人 Jennifer Li 最近分享了她對(duì)生成式 AI 的最新見解，特別提到了設(shè)備端運(yùn)行的小型模型在未來(lái)的重要性。

去年 4 月，Jennifer 升任為 a16z 第 27 位普通合伙人，并在 a16z 新成立的 12.5 億美元 AI 基礎(chǔ)設(shè)施基金扮演關(guān)鍵角色。

Jennifer 表示，生成圖像、語(yǔ)音和視頻的生成式模型將在基礎(chǔ)設(shè)施和設(shè)備計(jì)算能力方面變得更加普及，這為小型模型的崛起提供了絕佳條件，而在設(shè)備端運(yùn)行的小型生成式 AI 模型將在 2025 年更加流行。

許多日常使用的應(yīng)用程序，比如Uber、Instacart、Lyft或Airbnb，已經(jīng)在設(shè)備端運(yùn)行了大量機(jī)器學(xué)習(xí)模型。然而，她特別想強(qiáng)調(diào)的是生成式模型，它們正在逐漸實(shí)現(xiàn)類似傳統(tǒng)機(jī)器學(xué)習(xí)模型的設(shè)備端運(yùn)行。

Jennifer 表示，如今的智能手機(jī)計(jì)算能力相當(dāng)于 10～20 年前的電腦，加上摩爾定律的作用，像 20 億或 80 億參數(shù)的小型模型，已經(jīng)足夠在設(shè)備端高效運(yùn)行，并提供強(qiáng)大的功能，這一變化得益于設(shè)備計(jì)算能力的提升和模型優(yōu)化技術(shù)的進(jìn)步 。

此外，她還提到蒸餾技術(shù)發(fā)展也是一大關(guān)鍵。這項(xiàng)技術(shù)可以將一個(gè)功能強(qiáng)大的大型模型壓縮成較小的模型，同時(shí)保留大部分能力，這種技術(shù)結(jié)合設(shè)備計(jì)算能力的提升，為小型模型的廣泛應(yīng)用奠定了基礎(chǔ)。

相比云端運(yùn)行，設(shè)備端運(yùn)行生成式模型有許多顯著優(yōu)勢(shì)。首先是實(shí)時(shí)性。用戶希望與聊天機(jī)器人互動(dòng)時(shí)能夠立即收到響應(yīng)，或者在社交媒體中添加濾鏡時(shí)無(wú)需等待幾秒鐘加載。設(shè)備端運(yùn)行能夠顯著減少延遲，為用戶提供更加流暢和直觀的體驗(yàn)。

然后是隱私保護(hù)。如果數(shù)據(jù)處理可以完全在本地完成，比如會(huì)議記錄功能，大多數(shù)用戶會(huì)更加愿意使用這些應(yīng)用，而不用擔(dān)心隱私數(shù)據(jù)被上傳到服務(wù)器進(jìn)行處理。

經(jīng)濟(jì)性和效率也是重要因素。雖然云端推理的成本正在下降，但設(shè)備端運(yùn)行可以進(jìn)一步優(yōu)化開發(fā)者的效率，加快迭代速度，并降低一部分基礎(chǔ)設(shè)施的依賴。

某些計(jì)算密集型任務(wù)可能仍需要云端支持，但許多日常應(yīng)用場(chǎng)景完全可以通過(guò)本地模型實(shí)現(xiàn)，從而減少對(duì)網(wǎng)絡(luò)和服務(wù)器的依賴。

她還提到，設(shè)備端模型的潛力正在釋放，在未來(lái)我們可能會(huì)看到以下應(yīng)用場(chǎng)景的廣泛普及：

• 實(shí)時(shí)語(yǔ)音助手與對(duì)話 AI：這些助手能夠流暢地處理與用戶的互動(dòng)，例如個(gè)性化的AI教練或客戶服務(wù)支持。
• 增強(qiáng)現(xiàn)實(shí)（AR）體驗(yàn)：通過(guò)攝像頭和生成式AI的結(jié)合，用戶可以實(shí)時(shí)重新設(shè)計(jì)空間，例如更改墻紙、家具擺放等。
• 混合現(xiàn)實(shí)與創(chuàng)意表達(dá)：生成3D模型和視頻的新技術(shù)將改變我們與現(xiàn)實(shí)世界的互動(dòng)方式，使得虛擬體驗(yàn)更加生動(dòng)有趣。
• 可穿戴設(shè)備創(chuàng)新：智能手表和其他可穿戴設(shè)備將通過(guò)小型化生成模型解鎖更多個(gè)性化功能。

雖然設(shè)備端模型帶來(lái)了諸多可能性，但仍面臨一些挑戰(zhàn)。例如，設(shè)備端模型需要隨著硬件和應(yīng)用的更新而同步迭代，開發(fā)和部署成本也可能有所增加。

另外，云端和設(shè)備端結(jié)合的經(jīng)濟(jì)模式需要重新設(shè)計(jì)，這將對(duì)整個(gè)供應(yīng)鏈產(chǎn)生深遠(yuǎn)影響。

Jennifer 認(rèn)為生成式 AI 在設(shè)備端的普及正在重塑用戶體驗(yàn)、隱私保護(hù)和開發(fā)生態(tài)。

隨著技術(shù)和基礎(chǔ)設(shè)施的進(jìn)一步發(fā)展，混合現(xiàn)實(shí)和生成式 AI 的結(jié)合將為我們創(chuàng)造前所未有的沉浸式體驗(yàn)，并開創(chuàng)全新的消費(fèi)領(lǐng)域。