最近，OpenAI春季更新可以說是如期而至，而在這次更新里出現(xiàn)的GPT-4o，更是引起了多方關(guān)注。那么，GPT-4o究竟有哪些來頭？

“GPT-4o的特別之處，在于它將GPT-4級別的智能帶給了所有人，包括我們的免費用戶?！?/p>

北京時間5月13日凌晨，早有預(yù)告的OpenAI春季更新如期而至。

在這次總時長不到半個小時的發(fā)布會中，圈內(nèi)最熟悉的公司首席執(zhí)行官山姆 奧特曼（Sam Altman）并未現(xiàn)身，首席技術(shù)官穆里 穆拉蒂（Muri Murati）及兩名研究主管馬克 陳（Mark Chen）和巴雷特 佐夫（Barret Zoph）三人圍坐，共同介紹了這次更新：

推出桌面版ChatGPT & 網(wǎng)頁端UI更新，以及最重要的，發(fā)布GPT-4o。

其中的“o”代表“omni”，意為全能的。根據(jù)OpenAI官網(wǎng)給出的介紹，GPT-4o可以處理文本、音頻和圖像任意組合作的輸入，并生成對應(yīng)的任意組合輸出。特別是音頻，它可以在短至232毫秒的時間內(nèi)響應(yīng)用戶的語音輸入，平均320毫秒的用時已經(jīng)接近人類在日常對話中的反應(yīng)時間。

與現(xiàn)有模型相比，GPT-4o在視覺和音頻理解方面尤其出色。

此外，GPT-4o在英語文本和代碼上的性能也與GPT-4 Turbo處于同一水平線，在非英語文本上的性能有著顯著提高，同時API速度快，速率限制高出5倍，成本則降低了50%。

做交互设计10年，我为何转岗到产品经理？

真正转岗之后，我发现很多工作还是超出了自己的想象。产品经理的工作确实比较杂。理论上，产品经理的工作包括了产品的方方面面，从市场研究、用户调研、数据分析...

查看详情 >

穆里 穆拉蒂表示，OpenAI使命的一個非常重要的部分，是讓他們的高級人工智能工具能夠向所有人免費提供，讓人們對技術(shù)的能力有“直觀的感受”。

關(guān)鍵詞：更快，更強，還免費。

當(dāng)然，目前官方給出的免費限制在一定的消息數(shù)量上，超過這個消息量后，免費用戶的模型將被切換回ChatGPT，也就是GPT3.5，而付費用戶則將擁有五倍的GPT-4o消息量上限。

實際上，早在去年九月末，OpenAI團(tuán)隊就已在官網(wǎng)發(fā)布過一片文章，介紹當(dāng)時的ChatGPT的語音對話和看圖識圖功能。

在此前參加播客節(jié)目“All-in Podcast”時，山姆 奧特曼曾談及了ChatGPT的多模態(tài)交互能力，以及對包括GPT-5在內(nèi)新一代AI產(chǎn)品更新的態(tài)度。

對于ChatGPT已有的語音功能，播客主持人表示他和家人很喜歡這個功能，盡管應(yīng)用時不時還會出現(xiàn)一些延遲問題。

奧特曼當(dāng)時回應(yīng)稱，OpenAI會繼續(xù)改進(jìn)并提升語音功能的質(zhì)量：“我相信，語音交互是通向未來交互方式的一個重要線索。如果能夠?qū)崿F(xiàn)真正優(yōu)質(zhì)的語音互動體驗，將會是一種與計算機互動的全新方式。”

對于響應(yīng)速度不夠快、對話缺乏流暢度和不自然的感覺，奧特曼表示團(tuán)隊正努力改進(jìn)，致力力于讓這些方面的體驗得到顯著提升。

現(xiàn)在，就像他本人在X平臺上的預(yù)告，新發(fā)布的GPT-4o“像魔法一樣”。

在此前的模型中，用戶使用語音模式與ChatGPT對話的平均延遲為2.8秒(GPT-3.5)和5.4秒(GPT-4)。造成延遲的原因是：語音模式是由三個獨立模型組成的通道，第一個簡單模型將音頻轉(zhuǎn)錄為文本，GPT-3.5或GPT-4接收并輸出文本，第三個簡單模型再將該文本轉(zhuǎn)換回音頻。

這個轉(zhuǎn)錄再轉(zhuǎn)回的過程，導(dǎo)致GPT-4丟失了其中的大量信息，無法直接觀察音調(diào)、多個說話者（的音色區(qū)別）或背景噪音，也無法輸出笑聲、歌唱或表達(dá)情感。

而借助GPT-4o，OpenAI跨文本、視覺和音頻，端到端地訓(xùn)練了一個新模型。所有輸入和輸出都在該模型中交由同一神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。

因此，新發(fā)布的GPT-4o模型，可以做到隨時開始或打斷對話，識別說話人的語氣、情緒，根據(jù)場景或指令生成多種音調(diào)、帶有豐富人類情緒特征的音頻回復(fù)（甚至可以要求GPT-4o唱歌）。

圖像處理層面，在傳統(tǒng)意義上識圖的基礎(chǔ)上，GPT-4o可以識別手寫體（如解答手寫的方程組）、精準(zhǔn)分析數(shù)據(jù)，并能夠讀懂畫面中人物的面部表情。

數(shù)據(jù)層面，根據(jù)傳統(tǒng)基準(zhǔn)測試，GPT-4o的性能對比GPT-4 Turbo基本都處于優(yōu)勢，對比其他模型更是大幅領(lǐng)先。

根據(jù)官網(wǎng)給出的資料，目前GPT-4o已經(jīng)支持包括中文在內(nèi)的20種語言進(jìn)行音頻等多模態(tài)交互。OpenAI表示，這次更新“是朝著實用性的方向發(fā)展”，此次發(fā)布會主要聚焦于免費用戶，新功能將在未來幾周內(nèi)逐步推送給所有用戶。

多模態(tài)交互的上限再次被拉高，OpenAI仍是那個擁有頂級理解，總能先一步給出范式的玩家。

接下來要期待的，或許是第一個在發(fā)布會上打出“對標(biāo)GPT-4o”的大模型廠商，會何時出現(xiàn)了。畢竟，這恐怕不只是改個PPT的事兒。

會是明天的谷歌嗎？