國(guó)內(nèi)大模型在局部能力上,已超ChatGPT
AI浪潮已經(jīng)席卷國(guó)內(nèi)外,在國(guó)內(nèi),許多廠商或互聯(lián)網(wǎng)大廠更是爭(zhēng)相布局大模型。那么時(shí)間到了現(xiàn)在,國(guó)內(nèi)大模型的產(chǎn)品能力是否有所突破?在這篇文章里,作者就對(duì)中文大模型的發(fā)展進(jìn)行了解讀,一起來(lái)看看吧。
從GPT3.5徹底出圈后,大模型的影響力開(kāi)始蜚聲國(guó)際。一段時(shí)間內(nèi),國(guó)內(nèi)科技公司可謂被ChatGPT按在地上打,毫無(wú)還手之力。
彼時(shí),很多企業(yè)還不知大模型為何物,GPT3.5就已夠生成諸如營(yíng)銷(xiāo)文案、小說(shuō)、詩(shī)歌等高質(zhì)量的中文文本。一時(shí)間,買(mǎi)課小販和相關(guān)開(kāi)發(fā)者大行其道。
現(xiàn)如今,在國(guó)內(nèi)廠商嚴(yán)肅對(duì)待OpenAI后,情況發(fā)生了變化。
在公開(kāi)資料中,就有360、復(fù)旦大學(xué)、科大訊飛等企業(yè)表達(dá)了在中文能力上超越ChatGPT的消息?,F(xiàn)在,時(shí)間進(jìn)入2023年8月份,號(hào)稱(chēng)超越國(guó)外競(jìng)品的公司變得越來(lái)越多。
一、中文模型進(jìn)擊:ChatGPT“不香”了
客觀地說(shuō),在GPT-3推出后,OpenAI曾經(jīng)在中文文本輸出中占得先機(jī)。其一經(jīng)推出,便可覆蓋諸如營(yíng)銷(xiāo)文案、小說(shuō)和詩(shī)歌等領(lǐng)域的文生文需求。幾個(gè)月前,這種先手優(yōu)勢(shì)養(yǎng)活了國(guó)內(nèi)一眾賣(mài)課達(dá)人以及相關(guān)產(chǎn)品。
不過(guò),很快,這些功能便被國(guó)內(nèi)眾多廠商超越,變成了大模型的“標(biāo)配”功能。
根據(jù)第三方監(jiān)測(cè)機(jī)構(gòu)SimilarWeb的數(shù)據(jù)顯示,ChatGPT從4月開(kāi)始就呈現(xiàn)出了明顯放緩的趨勢(shì)。以至于在2023年的第二季度,人們的朋友圈內(nèi)幾乎沒(méi)有了OpenAI的蹤影。在科技圈,這被歸結(jié)為競(jìng)爭(zhēng)對(duì)手大批量涌入、垂直模型興起和新技術(shù)迭代所導(dǎo)致。
8月初,中文大模型的“千模大戰(zhàn)”已進(jìn)入白熱化階段。以數(shù)科星球團(tuán)隊(duì)所掌握的信息來(lái)看,越來(lái)越多的企業(yè)開(kāi)始關(guān)注下沉市場(chǎng)、并致力于推進(jìn)具體行業(yè)和大模型產(chǎn)品的結(jié)合。
這種趨勢(shì)的結(jié)果是,可能會(huì)有更多的企業(yè)和機(jī)構(gòu)選擇使用本土產(chǎn)品,同時(shí)也對(duì)國(guó)外模型的市場(chǎng)份額造成一定影響。在數(shù)科星球團(tuán)隊(duì)體驗(yàn)二十余款中文大模型后,所得到的觀感和上述言論趨同:即中文大模型正在變得越來(lái)越好用,并變得越來(lái)越聰明。
更為關(guān)鍵的是,政策層面對(duì)國(guó)內(nèi)產(chǎn)品的扶植力度正在加強(qiáng),而出于安全和自主可控等因素,ChatGPT的“沒(méi)落”(至少在國(guó)內(nèi))似乎已成板上釘釘。
但國(guó)內(nèi)廠商的野心還遠(yuǎn)不止“內(nèi)卷”國(guó)內(nèi)市場(chǎng)——一些公司已然將目光瞄準(zhǔn)了海外。
科大訊飛董事長(zhǎng)劉慶峰此前表示,其星火大模型中文已超越ChatGPT,在英文中也已接近,雖還有細(xì)微差別,但目前在進(jìn)一步優(yōu)化中。
二、中文大模型變聰明的背后
為了探求國(guó)內(nèi)中文大模型的發(fā)展情況,在過(guò)去的幾個(gè)月中,數(shù)科星球團(tuán)隊(duì)與幾十家公司進(jìn)行了百余次溝通。結(jié)果是,科技圈的大佬和創(chuàng)業(yè)新星們對(duì)待OpenAI的態(tài)度嚴(yán)肅且認(rèn)真。
除了在產(chǎn)品上進(jìn)行了洗心革面式的改進(jìn),還對(duì)模型的評(píng)價(jià)體系進(jìn)行了優(yōu)化。
為了彌補(bǔ)中文大模型在評(píng)測(cè)領(lǐng)域的缺失,日前由清華大學(xué)、上海交通大學(xué)和愛(ài)丁堡大學(xué)合作構(gòu)建的面向中文語(yǔ)言模型的綜合性考試評(píng)測(cè)集于不久前推出,該評(píng)測(cè)名為C-Eval,受到了行業(yè)內(nèi)的廣泛關(guān)注。
在一些專(zhuān)業(yè)人士看來(lái),此評(píng)測(cè)的初衷是用“錙銖必較”的方式找出中文大模型的比較優(yōu)勢(shì)。和以往由第三方咨詢(xún)公司所主導(dǎo)的、帶有傾向性甚至定制化的行業(yè)評(píng)比所不同的是,無(wú)論在過(guò)程和結(jié)果上,C-Eval更加透明和公開(kāi)。
據(jù)了解,全套測(cè)驗(yàn)包含13948道多項(xiàng)選擇題,涵蓋52個(gè)不同學(xué)科和四個(gè)難度級(jí)別。其中前四名包括為清華智譜的ChatGLM2、OpenAI的GPT-4、商湯的SenseChat,APUS的AiLMe-100Bv1。
對(duì)比由微軟亞洲研究院(Microsoft Research Asia)開(kāi)發(fā)的基準(zhǔn)測(cè)試AGIEval,C-Eval覆蓋的領(lǐng)域更廣。APUS技術(shù)專(zhuān)家張旭稱(chēng):“AGIEval只覆蓋了中國(guó)高考題、公務(wù)員考試題等幾個(gè)類(lèi)別,而C-Eval覆蓋了注冊(cè)電氣工程師、注冊(cè)計(jì)量師……等領(lǐng)域”,覆蓋范圍的拓寬意味著,除高考、公務(wù)員考試等場(chǎng)景外,在其他特定職業(yè)領(lǐng)域也可以測(cè)定大模型的能力。
從另一個(gè)角度說(shuō),C-Eval是一個(gè)對(duì)大模型從人文到社科到理工多個(gè)大類(lèi)的綜合知識(shí)能力進(jìn)行測(cè)評(píng)的競(jìng)賽。通常,高階難度測(cè)試是考驗(yàn)大模型性能的關(guān)鍵動(dòng)作,面對(duì)復(fù)雜且有挑戰(zhàn)性的任務(wù),大多大模型性能會(huì)大幅下降。在C-Eval公布的評(píng)比結(jié)果中,APUS的AiLMe-100Bv1除了在平均分上進(jìn)入四強(qiáng),還在難題處理方面超越GPT-4*,排名第一。
據(jù)悉,C-Eval Hard(難題)類(lèi)別是首個(gè)提供中文復(fù)雜推理能力的測(cè)試,“即便是GPT-4來(lái)做這個(gè)題也會(huì)很吃力,”張旭提及,“這是‘閉卷考試’,而以往如AGIEval和MMLU是‘開(kāi)卷考試’,也就是說(shuō),AGIEval和MMLU是各公司自己測(cè)試、自己打分、自己公布成績(jī),而C-Eval Hard的評(píng)比顯然更加客觀、可信。”
的確,C-Eval測(cè)評(píng)難度比其他測(cè)評(píng)更高且更嚴(yán)格。在打分流程上,C-Eval更像是學(xué)校中為學(xué)生準(zhǔn)備的大考模式,各個(gè)公司參加統(tǒng)一考試并由系統(tǒng)自動(dòng)打分、C-Eval團(tuán)隊(duì)人工審核成績(jī)并公布,所以,就結(jié)果上看,其測(cè)評(píng)所公布的成績(jī)真實(shí)性更高。
三、國(guó)內(nèi)大模型的未來(lái)
放眼行業(yè),大模型對(duì)于國(guó)內(nèi)人工智能產(chǎn)業(yè)的意義非凡。
在NLP行業(yè)出現(xiàn)范式變革后,Transformer為主導(dǎo)的新一代通用大模型產(chǎn)品大行其道,讓人們看到了AGI的曙光。甚至可以說(shuō),中國(guó)版的ChatGPT3.5/4.0的問(wèn)世是我國(guó)正式邁向人工智能時(shí)代的重要標(biāo)志。
在過(guò)去,一、二級(jí)資本市場(chǎng)對(duì)國(guó)內(nèi)大模型產(chǎn)業(yè)意見(jiàn)頗多。討論最多的是,國(guó)內(nèi)公司沒(méi)有在前沿技術(shù)投入太多,反而將精力側(cè)重于“蹭”數(shù)字人、AIGC等概念之上。
客觀地說(shuō),上述評(píng)價(jià)不無(wú)道理,其中不乏因大環(huán)境不好,企業(yè)對(duì)前沿投入審慎和相關(guān)技術(shù)積累薄弱等問(wèn)題所導(dǎo)致。
但近期,隨著對(duì)大模型行業(yè)認(rèn)識(shí)的深入,以上問(wèn)題正在得到改變:首先,以智源研究院、百度文心一言、商湯和APUS等企業(yè)的持續(xù)投入,我國(guó)已有多家企業(yè)具備大模型制作和運(yùn)營(yíng)能力(此前大多為小模型);其次,隨著上半年密集的模型發(fā)布大會(huì)逐漸落幕,新模型開(kāi)始迭代積累,并向著ChatGPT能力靠攏。
在我們所知的大模型產(chǎn)業(yè)上下游企業(yè)中,針對(duì)數(shù)據(jù)處理、清洗、標(biāo)注、模型訓(xùn)練、推理加速等方面的技術(shù)也正在加速追趕之中;最后,政策層面已注意到發(fā)展大模型和ChatGPT的必要性,開(kāi)始著手調(diào)集更多資源應(yīng)對(duì),相關(guān)生態(tài)和創(chuàng)新土壤也正在完備的過(guò)程中。
可以肯定的是,本次人工智能革命的核心就是通用大模型。目前,我國(guó)眾多企業(yè)正在加速追趕。
現(xiàn)在,超越ChatGPT已成為國(guó)內(nèi)AI從業(yè)者們心中的圖騰。想必若假以時(shí)日,這個(gè)目標(biāo)將有機(jī)會(huì)實(shí)現(xiàn)。而到那時(shí),一個(gè)屬于人工智能時(shí)代的大幕才徹底拉開(kāi)。
作者:苑晶,編輯:大兔;公眾號(hào):數(shù)科星球(ID:digital-planet)
本文由 @數(shù)科星球 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!