GPT-4o和谷歌Gemini不斷宣傳現(xiàn)階段AI能力大幅度提高，那么這兩家，誰的大模型能力更強(qiáng)呢？這篇文章里，作者就展開了多維度的測試和體驗，想了解的同學(xué)，可以來看一下。

在中美AI大模型的競爭上，正衍生出兩種不同的路徑。

繼北京時間5月14日凌晨OpenAI春季發(fā)布會上，OpenAI推出兼具聽、看、說能力的GPT-4o后。北京時間5月15日凌晨谷歌I/O開發(fā)者大會上，谷歌CEO桑達(dá)爾·皮查伊發(fā)布數(shù)十款Google和AI 結(jié)合產(chǎn)品，堪稱“全家桶”級別，全面圍剿Open AI。

其中包括支持200萬token長文本的Gemini 1.5 Pro和 Gemini 1.5 Flash，對標(biāo)Sora的Veo，開源模型Gemma 2，支持生成式搜索的AI Overviews、第六代TPU等。

整場開發(fā)者大會最大的看點為，谷歌推出的AI語音助手——Astra，它能夠通過攝像頭識別物體、代碼和各種東西?，F(xiàn)場演示視頻中，用戶要求Astra在看到發(fā)出聲音的東西時告訴她，助手回答說，它可以看到一個發(fā)出聲音的揚聲器。對于一閃而過的蘋果，Astra居然也能夠準(zhǔn)確回答出在眼鏡旁邊。

除Astra外，谷歌還推出基于Gemini的多款通用AI Agent子系列產(chǎn)品。如音頻的NotebookLM、音樂的Music AI Sandbox、視頻的Veo、圖像的Imagen 3，直接對標(biāo)OpenAI發(fā)布的GPT-4o、Dall-E和Sora。

和谷歌、OpenAI圍繞技術(shù)之爭不同的是，國內(nèi)大模型或?qū)⒂瓉韮r格戰(zhàn)時代。在5月15日字節(jié)舉辦2024春季火山引擎Force原動力大會上，字節(jié)推出3款A(yù)I產(chǎn)品，包括AI生圖產(chǎn)品 PicPic、AI 教育產(chǎn)品河馬愛學(xué)、AI 劇情互動產(chǎn)品貓箱。

除這三款產(chǎn)品外，字節(jié)面向TOC端的產(chǎn)品還包括定位AI教育的Gauth，定位AI對話的豆包和CiCi；定位AI工具的小悟空ChitChop；定位Al Bot創(chuàng)建平臺的Coze和扣子；定位AI互動劇情的BagelBel等。

但字節(jié)率先啟動行業(yè)價格戰(zhàn)，火山引擎總裁譚待表示，豆包大模型將開啟付費商業(yè)化，且定價遠(yuǎn)低于行業(yè)價格。以豆包通用模pro-32k版為例，模型推理輸入價格僅為0.0008元/千Tokens。市面上同規(guī)格模型的定價一般為0.12元/千Tokens，是豆包模型價格的150倍。

字節(jié)本輪降價后，后續(xù)國內(nèi)其他大模型廠商或?qū)⒏S。但降價能否幫助國內(nèi)大模型廠商帶來更多新增用戶和付費用戶，仍值得商榷。

GPT-4o和谷歌Gemini不斷宣傳現(xiàn)階段AI能力大幅度提高，兩家誰的大模型能力更強(qiáng)呢？基于此，我們也對GPT-4o和Gemini展開了多維度的測試。

01 文本輸出：Gemini和GPT-4o愈發(fā)接近，部分能力已趕超

因GPT-4o和Gemini均屬于世界TOP級的大模型，在測試兩家大模型的文本輸出能力上，我們直接將難度升級。

為什么很多國家仍以油車為主？你覺得影響新能源汽車海外滲透率提高的因素有哪些？我們將這一問題同時給到GPT-4o和Gemini，二者均指出充電基礎(chǔ)設(shè)施建設(shè)、購置成本、技術(shù)進(jìn)步、政策支持、消費者文化習(xí)慣是很多國家仍以燃油車為主的原因。

但相較于GPT-4o，Gemini不僅識別到我們提問的是兩個問題，且均給出答案，也回答出GPT-4o沒有指出的車企方面、宣傳教育方面的問題。也就是說，Gemini的回答可能更為完整。

圖源：基于Gemini和GPT-4o生成內(nèi)容整理 DoNews制圖

我們繼續(xù)追問要求兩個大模型同時給我們撰寫一份10000字全球新能源汽車報告，并要求報告中需要包括行業(yè)價格戰(zhàn)、電池技術(shù)、未來發(fā)展方向、產(chǎn)業(yè)趨勢。

但此時兩個大模型的表現(xiàn)已經(jīng)出現(xiàn)明顯差異，GPT-4o給我們生成七大章節(jié)的框架，每個框架下也要對應(yīng)的小框架。但就是不輸出我們要求的內(nèi)容，這或許和當(dāng)前GPT-4o在長文本能力上的欠佳有關(guān)。

圖源：GPT-4o官網(wǎng)

Gemini雖給我們具體的文本內(nèi)容，但全文1679字和我們要求的萬字報告差距較大。內(nèi)容被大幅度壓縮后，整個內(nèi)容質(zhì)量也相對欠佳。

如在提到新能源汽車產(chǎn)業(yè)趨勢發(fā)展上，Gemini給出的內(nèi)容為產(chǎn)業(yè)鏈整合、跨界合作、國際化競爭，每條內(nèi)容僅有一句話進(jìn)行概括。換言之，在真正涉及行業(yè)專業(yè)性問題上，Gemini和GPT-4o均存在不同程度的短板。

圖源：Gemini官網(wǎng)

當(dāng)我們將難度繼續(xù)提高后，詢問為什么今年以來全球大宗商品價格持續(xù)上漲？這種漲幅帶來的影響有哪些？未來價格是否會回落？在首問中GPT-4o和Gemini給出的答案有所相同，均指出和供應(yīng)鏈、地緣沖突、全球經(jīng)濟(jì)等因素有關(guān)。且在未來價格走勢預(yù)測中，兩者給到的答案也基本相同。

但在漲幅所帶來的影響上，Gemini給出的答案可能更為完整。尤其是在金融、企業(yè)利潤、社會等方面的影響，GPT-4o并未指出。

圖源：基于Gemini和GPT-4o生成內(nèi)容整理 DoNews制圖

在文本內(nèi)容快速分析上，我們讓兩款大模型同時給我們分析安克創(chuàng)新2024年Q1財報中存在的風(fēng)險點，GPT-4o生成的風(fēng)險點包括現(xiàn)金流減少、高額的銷售費用和管理費用、財務(wù)費用大幅度波動、公允價值帶來損失這四點。

圖源：GPT-4o官網(wǎng)

但Gemini給出的內(nèi)容卻包括營收增速放緩、經(jīng)營活動大幅度下降、銷售費用和管理費用大幅度增加、存貨跌價損失增加、匯兌大幅度增加、對政府補(bǔ)助依賴這六點。這也不能看出，Gemini的回答更為完整。

圖源：Gemini官網(wǎng)

而當(dāng)我們要求兩款大模型同時以如何幫助失戀的人走出陰影，寫一篇2000字的文章。要求文章有觀點，并且文章內(nèi)需要配上對應(yīng)的圖片和音頻，Gemini的表現(xiàn)可以說完全吊打GPT-4o。

在文章開頭，Gemini直接放入一曲舒緩的音樂，且這個音樂也支持播放。每個細(xì)分章節(jié)下，Gemini直接從網(wǎng)站上檢索到和內(nèi)容相關(guān)的圖片，實現(xiàn)OpenAI提到的文本、音頻、圖像的任意組合。

圖源：Gemini官網(wǎng)

對比之下，GPT-4o給到的內(nèi)容就有些遜色。除文章開始處能看到圖片外，其余正文處均未看到任何和內(nèi)容相關(guān)的圖片，且全文中也看不到音頻。

圖源：GPT-4o官網(wǎng)

整體測試下來后我們發(fā)現(xiàn)，谷歌在生成式AI領(lǐng)域尤其在文本能力輸出上已經(jīng)從“落后”到追趕，甚至內(nèi)容質(zhì)量上、內(nèi)容組合等能力上已經(jīng)超過GPT-4o。

02 對比之下，Gemini綜合能力不容忽視

在測試過程中，我們發(fā)現(xiàn)Gemini不僅支持文本內(nèi)容提問，且也支持語音提問。但因國內(nèi)網(wǎng)絡(luò)受限，暫無法對語音功能進(jìn)行測試，也無法判斷這是否為谷歌發(fā)布會上提到的Astra。相較于谷歌的快速，GPT-4o目前仍是支持單一的文本內(nèi)容提問。

圖源：Gemini官網(wǎng)

圖源：GPT-4o官網(wǎng)

深耕搜索行業(yè)多年的谷歌，讓目前的Gemini也能實現(xiàn)AI檢索。且這種檢測不僅包括圖文網(wǎng)頁也包括視頻。當(dāng)我們要求Gemini以汽車安全為核心，生產(chǎn)一個20-30S的視頻時，Gemini先是給出了我們具體的視頻腳本。

當(dāng)我們繼續(xù)追問你能我們直接生成視頻嗎？Gemini的回答有些超過我們的預(yù)期，直接給到我們幾個YouTube的相關(guān)鏈接。且這些鏈接居然也無須跳轉(zhuǎn)YouTube上觀看，在Gemini大模型內(nèi)也能實現(xiàn)自動播放。

圖源：Gemini官網(wǎng)

圖源：Gemini官網(wǎng)

對比之下，GPT-4o雖也能根據(jù)我們的要求輸出對應(yīng)的視頻腳本，但卻并不具備Gemini的這些功能。

圖源：GPT-4o官網(wǎng)

值得注意的是，Gemini和GPT-4o目前均不支持音頻、視頻內(nèi)容識別，且Gemini目前也不支持圖片生成功能。支持圖片生成功能的GPT-4o，目前也存在部分問題。

如當(dāng)我們要求GPT-4o輸出一張同時包含中國傳統(tǒng)神話故事中四大神獸的照片時，圖片內(nèi)容雖出現(xiàn)四大神獸，但除青龍稍微符合神話故事原型外，其他三大神獸均和神話故事中的原型相差極大，這可能也和OpenAI團(tuán)隊對中國傳統(tǒng)神話故事學(xué)習(xí)能力欠佳的有關(guān)。

圖源：GPT-4o官網(wǎng)

但在圖片的識別能力上，Gemini正以圖片識別為基礎(chǔ)場景，衍生出更多場景服務(wù)。我們選取網(wǎng)絡(luò)平臺常見的面條圖片，Gemini在識別出這張圖片為雞蛋面后，又給到我們雞蛋面、中國面條等關(guān)鍵詞方便我們二次檢索。更重要的是，Gemini還直接推薦各種雞蛋面的做法。

圖源：Gemini官網(wǎng)

對比之下，GPT-4o在識別出圖片內(nèi)容為拌面下，僅是簡單地對拌面進(jìn)行介紹，并未展開過多敘述。

圖源：GPT-4o官網(wǎng)

當(dāng)我們將識圖能力難度升級后，在網(wǎng)絡(luò)平臺上選取常見的竹林照片，并詢問Gemini圖片的拍攝地點時，Gemini給出包括日本京都嵐山竹林、日本京都嵯峨野竹林、日本沖繩八重山竹林、中國四川毛竹林、中國安吉竹林、南美或東南亞等地點，并指出竹林的重要性。

圖源：Gemini官網(wǎng)

GPT-4o僅指出，這樣的景色在中國、日本等東亞國家極其常見。如日本的京都嵐山竹林和中國的安吉竹海都是著名的竹林景區(qū)。不僅地點相對Gemini較少，還反問到你知道具體的拍攝地點嗎？

圖源：GPT-4o官網(wǎng)

在測試邏輯推理上，我們選取2023年全國卷數(shù)學(xué)高考真題中難度較大的壓軸題時，GPT-4o給出的答案可以用失望來形容。

圖源：2023年全國卷數(shù)學(xué)真題

如在全國高考卷第20題的兩問中，GPT-4o僅是簡單地給出不完整的解題步驟，沒有輸出任何一個準(zhǔn)確答案。

圖源：GPT-4o官網(wǎng)

第21題的三問中，GPT-4o不僅將三小問變成兩小問，且前兩問求概率的問題上，本應(yīng)為具體數(shù)字的答案，在GPT-4o這里卻是帶有變量N的不確定答案。

但Gemini的表現(xiàn)同樣欠佳，如在第20題首問的求通項公式中，Gemini雖給出兩種解法，但兩種解法給出的答案完全不同。換言之，Gemini有可能僅是簡單地抓取國內(nèi)網(wǎng)站的相關(guān)鏈接，并未對信息內(nèi)容和準(zhǔn)確度進(jìn)行二次審核。

圖源：Gemini官網(wǎng)

整體來看，目前Gemini在很多方面的綜合能力，以及產(chǎn)品上線速度方面比GPT-4o更加能打。且在價格方面，谷歌的Gemini 1.5 Flash 的價格定為每100萬個token 35 美分，比GPT-4o的每100萬個token 5 美元的價格低很多。產(chǎn)品組合性能表現(xiàn)不輸GPT-4o疊加低價，谷歌或許正在放出王炸。

但按照OpenAl在大模型上積累的強(qiáng)大技術(shù)能力來看，谷歌在某些方面稍微領(lǐng)先的優(yōu)勢能保持多久，仍有待商榷。谷歌和OpenAI在AI大模型技術(shù)上的持續(xù)博弈下，可能會將美國AI大模型的技術(shù)能力推向新高度。

03 國內(nèi)卷價格，或?qū)⑼苿有袠I(yè)加速洗牌

對于字節(jié)率先發(fā)起行業(yè)價格戰(zhàn)也不能理解，目前國內(nèi)大模型在TOC端的商業(yè)化落地，正朝著當(dāng)年的移動互聯(lián)網(wǎng)方向發(fā)展。

依靠價格戰(zhàn)，移動互聯(lián)網(wǎng)廠商（大模型廠商）不斷提高新增用戶和日活用戶的同時，后續(xù)逐漸衍生出如廣告、電商、與核心業(yè)務(wù)場景高度契合的其他場景收入。這在保證平臺實現(xiàn)單個用戶價值最大化的同時，也能幫助移動互聯(lián)網(wǎng)廠商（大模型廠商）提高現(xiàn)金流，持續(xù)減少企業(yè)虧損。

后續(xù)移動互聯(lián)網(wǎng)廠商（大模型廠商）繼續(xù)發(fā)動行業(yè)價格戰(zhàn)，資金能力不足的中小廠商被洗牌出清，行業(yè)份額繼續(xù)朝著頭部廠商集中。頭部廠商獲得高話語下，對供需兩側(cè)衍生更多商業(yè)化，最終讓行業(yè)形成強(qiáng)者愈強(qiáng)的馬太效應(yīng)。

不僅僅是TOC端，大模型價格戰(zhàn)未來也將同樣出現(xiàn)在TOB端。對標(biāo)SaaS產(chǎn)業(yè)來看，價格仍是國內(nèi)SaaS企業(yè)的核心優(yōu)勢之一，尤其在SaaS產(chǎn)業(yè)產(chǎn)品和場景同質(zhì)化嚴(yán)重、國內(nèi)企業(yè)主付費意識不強(qiáng)、中小客群存在流失率高、合規(guī)性差、決策集中一人等現(xiàn)狀下，頭部SaaS廠商想要從價格戰(zhàn)的泥潭中走出，面臨著不小的阻力。

但需指出的是，互聯(lián)網(wǎng)時代面向TOC端的價格戰(zhàn)，更多是建立在細(xì)分場景下的服務(wù)上。這種服務(wù)下，消費者真正關(guān)注的也就是服務(wù)好壞。剛需場景下，這種服務(wù)好壞更是被淡化。

但AI大模型時代，類似于美圖這種圖片場景類的服務(wù)，消費者的要求可能不高。但其他場景下，本質(zhì)是用戶愿意為大模型的高質(zhì)量內(nèi)容進(jìn)行付費。

換言之，消費者真正看重的仍是大模型的處理能力以及能否高效完成任務(wù)，而非價格。若在完成任務(wù)能力上表現(xiàn)欠佳，價格再低實則也是無用。

尤其是對于金融類、研投類對大模型輸出的內(nèi)容質(zhì)量要求高、數(shù)據(jù)質(zhì)量生成快且專業(yè)的行業(yè)來說，更是如此。更別提企業(yè)端定制大模型，更不允許大模型的生產(chǎn)內(nèi)容和數(shù)據(jù)存在絲毫偏差了。

或許國內(nèi)大模型廠商是想借助價格戰(zhàn)，盡快讓大模型幫助企業(yè)帶動營收增長，進(jìn)而對沖大模型前期高昂的研發(fā)成本投入，以及相關(guān)硬件方面的投入。

但隨著國內(nèi)大模型廠商在價格上持續(xù)內(nèi)卷，或?qū)⒂绊懙讲簧偌夹g(shù)能力優(yōu)越但資金實力不足的初創(chuàng)企業(yè)，這又是否會讓中美在大模型方面的技術(shù)能力差距被拉開得更高呢？