可以說在Kimi的刺激下，國內(nèi)的大模型也開始在長文本能力上下功夫了，那么，國產(chǎn)大模型的長文本能力究竟如何？不妨來看看本文的測評結(jié)果。

最近，受到Kimi大火的刺激，國內(nèi)大模型們又開始了新一輪“我有多長”的比賽了。

在Kimi 目前200萬文本長度打底的情況下，其他各家沒個四五百萬打底，都不好意思見人了。

比如360那個“智腦”，號稱能處理500萬字長文本，而百度稍微低調(diào)些，打算下個月開放200萬-400萬的長文本能力。

最狂的是通義千問，直接升級到了1000萬文本長度，成了全球文檔處理容量第一的AI。

但是，“越長”就真的“越強(qiáng)”嗎？

在長文本方面，想成為真正的“大家伙”，可不僅僅只是把所有知識都灌進(jìn)肚子里就行了。光是囫圇吞不算啥，得能穿針引線，理解和應(yīng)用其中的內(nèi)容、知識，才能幫用戶解決真正的問題。

如何定义B端产品及B端产品经理方法论

相较于C端产品，B端产品最大的特点是：面向特定领域用户，且数量少得多，但更注重对用户专业领域操作流程的深度挖掘——也就是专业性更强，与业务的结合更紧密。

查看详情 >

所以，今天我們不妨先拿通義千問這個“出頭鳥”來開開刀，用幾個最為常見的長文本任務(wù)，好好拿捏一下這上千萬的文本能力，究竟有多少含金量。

一、三大考驗(yàn)

1. 新聞?wù)?/h3>

今天咱們要干的第一個長文本活兒，就是最常見的新聞?wù)獨(dú)w納。

因?yàn)槟切┟襟w搞的大新聞啊、深度調(diào)查啊，為了把事情說透徹，堆砌了一大堆事實(shí)、數(shù)據(jù)、例子，文章就賊拉長。

現(xiàn)在呢，咱們得把這些長文章濃縮一下，簡單直白地說說重點(diǎn)。

在這里，我們選擇的文章，是36氪的文章《卷進(jìn)前1%，誰能拿下新藥出海下一個百億美元交易？》

首先來看看通義千問的表現(xiàn)。

從這個總結(jié)的結(jié)果來看，通義千問基本覆蓋了文章的主要信息點(diǎn)，并簡要地對每個要點(diǎn)進(jìn)行了摘要，行文還算流暢。

但是，仔細(xì)看下來，這樣的總結(jié)長度較長，缺乏清晰的層次結(jié)構(gòu)，用戶需要投入更多時間和精力去梳理歸納要點(diǎn)。

此外，其在總結(jié)時，很多地方是直接摘錄了原文的風(fēng)格，沒有對內(nèi)容進(jìn)行高度壓縮概括，效率相對較低。

接下來再看看kimi的表現(xiàn)。

相較之下，Kimi的總結(jié)結(jié)構(gòu)層次分明，將要點(diǎn)分為多個方面進(jìn)行陳述，使得用戶可以快速掌握文章的框架和重點(diǎn)內(nèi)容。

同時，從覆蓋面來看，Kimi總結(jié)的要點(diǎn)一共有9個，涉及了出海形式、創(chuàng)新要求、BD對比IPO、長期發(fā)展等核心內(nèi)容，反映了對文章信息的更全面梳理。

而通義千問的總結(jié)雖然內(nèi)容也算完整，但遺漏了一些重點(diǎn)，比如沒有涉及創(chuàng)新和專利、國際化能力等等等。

2. 研報(bào)分析

如果說，對長篇新聞的總結(jié)，體現(xiàn)的是大模型在長文本方面的主旨概括能力，那么接下來的研報(bào)分析，考驗(yàn)的則是在長文本下，大模型推理能力的表現(xiàn)。

在這里，我們上傳了一份長達(dá)60頁的企業(yè)研報(bào)，來分別測試通義千問和Kimi的表現(xiàn)。

這份研報(bào)這份研報(bào)主要包括了一家名為元隆雅圖的企業(yè)的業(yè)務(wù)戰(zhàn)略、財(cái)務(wù)表現(xiàn)、以及市場前景。

在測試中，我們要求通義千問對該企業(yè)在AI時代可能具有的潛在優(yōu)勢進(jìn)行分析。

從結(jié)果來看，雖然其生成了一段“看似”詳細(xì)和具體的答案，但如果仔細(xì)觀察，就會發(fā)現(xiàn)這樣的回答，在很多要點(diǎn)上，都是比較重復(fù)的。

例如“IP資源智能化運(yùn)營” 與“IP資產(chǎn)數(shù)字化轉(zhuǎn)型”，以及“新媒體營銷智能化”與“一體化營銷服務(wù)升級”，這些實(shí)際上都可以合并成一個點(diǎn)。

那相較之下，Kimi的表現(xiàn)怎樣呢？

可以看到，Kimi所分析出的要點(diǎn)，明顯比通義千問范圍更廣，維度更多，并且每個點(diǎn)都直擊主題。這點(diǎn)在進(jìn)行長文本分析時，就顯得尤為重要。

對短文本來說，集中精力、深入挖掘一兩個重點(diǎn)就可以搞定。但長文本就不一樣了，首先,長文本內(nèi)容豐富、層次繁多，單一視角顯然是捕捉不了全貌的。

再者，從概率上說，切入的角度越多，區(qū)別度越大，碰撞出新思路和想法的可能性也就越大。這也很符合某種智能的“涌現(xiàn)”規(guī)律。

3. 小說閱讀

最后，咱們再來個有點(diǎn)挑戰(zhàn)的。

這不像之前某些簡單的測試，光讓模型復(fù)述下小說情節(jié)就完事了。還得在通讀全文的基礎(chǔ)上，按咱說的特殊文風(fēng)，把情節(jié)重新講出來。這考驗(yàn)的就是一個指令遵循能力。

這里，我們選擇的是科幻小說《沙丘》。

我們的要求是：《史記》的風(fēng)格，概述《沙丘》的主要情節(jié)。

雖然通義千問在剛開始時，勉強(qiáng)保持了相應(yīng)的文風(fēng)，但從第三段開始，整個文風(fēng)又變成了現(xiàn)代文，沒能一以貫之地保持。

可以看出，在這一回合，Kimi幾乎完勝，不僅情節(jié)敘述得更為完整、詳細(xì)，而且?guī)缀鯊氖贾两K地保持了接近《史記》的敘述風(fēng)格。

這顯示了Kimi在閱讀長文本時，強(qiáng)大的信息提取能力和指令遵循能力。

二、跟風(fēng)與內(nèi)卷，救不了國產(chǎn)大模型

可以看出，在長文本方面，Kimi無論是總結(jié)能力、分析能力，還是理解執(zhí)行指令的能力，目前都把通義千問給壓下去了。

以通義千問為代表的這類國產(chǎn)大模型，一上來就號稱數(shù)百萬，乃至上千萬的文本長度，結(jié)果在實(shí)測中搞出了“長文本室溫超導(dǎo)”的感覺，這說明了，長文本這事兒，還真不是“越長越強(qiáng)?！?/strong>