只有10億參數(shù)的xLAM-1B在特定任務(wù)中擊敗了LLM霸主：OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上個(gè)月剛發(fā)布的蘋(píng)果智能模型只有30億參數(shù)，就連奧特曼都表示，我們正處于大模型時(shí)代的末期。那么，小語(yǔ)言模型（SLM）會(huì)是AI的未來(lái)嗎？

大語(yǔ)言模型的Scaling Law被一些人視為「金科玉律」，但另一些人卻不以為意。前陣子，香港大學(xué)馬毅教授就公開(kāi)宣稱，「如果相信只靠Scaling Law就能實(shí)現(xiàn)AGI，你該改行了」。

確實(shí)有很多模型不是單純靠資源的堆砌，而是憑借創(chuàng)新能力脫穎而出。驗(yàn)證了一條不同于Scaling Law的道路——少即是多。

xLAM-1B就是如此，只有10億參數(shù)，但是在功能調(diào)用任務(wù)中表現(xiàn)優(yōu)于更大規(guī)模的模型，包括OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。

它也因此被稱為「Tiny Giant」——小巨人！

憑借遠(yuǎn)超預(yù)期的卓越性能，這個(gè)小模型或許會(huì)改變端側(cè)AI的格局。

西方將這種以弱勝?gòu)?qiáng)的故事稱之為「David-versus-Goliath」（大衛(wèi)迎戰(zhàn)歌利亞），這源于一個(gè)圣經(jīng)故事——大衛(wèi)與巨人歌利亞作戰(zhàn)時(shí)還是個(gè)孩子，他不像歌利亞那樣穿著盔甲，他撿了一塊石頭，放在投石器里。把石頭甩出去，擊中歌利亞的額頭，擊倒了這個(gè)巨人。

科技媒體Venturebeat在報(bào)道這個(gè)小模型時(shí)，就將之比喻為人工智能領(lǐng)域的「大衛(wèi)迎戰(zhàn)歌利亞」時(shí)刻。

我們最關(guān)心的一點(diǎn)是，xLAM-1B是如何做到的？

簡(jiǎn)言之，這得益于在數(shù)據(jù)處理上的創(chuàng)新方法。其背后團(tuán)隊(duì)開(kāi)發(fā)了APIGen，這是一套自動(dòng)化流程，可以生成高質(zhì)量、多樣化且可驗(yàn)證的數(shù)據(jù)集，用于訓(xùn)練AI模型在函數(shù)調(diào)用任務(wù)中的表現(xiàn)。

論文地址：https://arxiv.org/pdf/2406.18518

一、小而強(qiáng)大：高效AI的力量

xLAM-1B最令人欣喜的在于，它不占地兒。因?yàn)槟Ｐ鸵?guī)模小，所以適合設(shè)備上的應(yīng)用。這對(duì)企業(yè)人工智能的影響是巨大的，它有可能使AI助手功能更強(qiáng)大、反應(yīng)更靈敏，并且能在計(jì)算資源有限的智能手機(jī)或其他設(shè)備上本地運(yùn)行。

訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性是支撐xLAM-1B強(qiáng)大性能的關(guān)鍵。APIGen自動(dòng)數(shù)據(jù)生成流水線利用21個(gè)不同類別的3673個(gè)可執(zhí)行API，對(duì)每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行了嚴(yán)格的三階段驗(yàn)證：格式檢查、實(shí)際函數(shù)執(zhí)行和語(yǔ)義驗(yàn)證。

各種AI模型在不同評(píng)估指標(biāo)下的性能對(duì)比圖

GPT-4-0125-Preview在總體準(zhǔn)確性方面遙遙領(lǐng)先，而xLAM-7B等較小的模型在特定任務(wù)中表現(xiàn)出了競(jìng)爭(zhēng)力，這對(duì)大模型總是表現(xiàn)更好的說(shuō)法提出了挑戰(zhàn)

這種方法代表了人工智能發(fā)展戰(zhàn)略的重大轉(zhuǎn)變。

雖然許多公司都在競(jìng)相建立越來(lái)越大的模型，但xLAM-1B所使用的方法表明，更智能的數(shù)據(jù)處理可以帶來(lái)更高效、更有效的人工智能系統(tǒng)。

通過(guò)關(guān)注數(shù)據(jù)質(zhì)量而非模型大小，xLAM-1B提供了一個(gè)很好的例子，它可以用比競(jìng)爭(zhēng)對(duì)手少得多的參數(shù)執(zhí)行復(fù)雜的任務(wù)。

二、顛覆AI現(xiàn)狀：從LLM到SLM

這一突破的潛在影響絕不僅限于xLAM-1B這個(gè)模型的推出。

通過(guò)證明更小、更高效的模型可以與更大的模型競(jìng)爭(zhēng)，xLAM-1B正在挑戰(zhàn)人工智能行業(yè)的主流觀點(diǎn)，作為小語(yǔ)言模型（SLM）的新軍，和一統(tǒng)江湖的大語(yǔ)言模型（LLM）開(kāi)戰(zhàn)。

科技公司一直在爭(zhēng)相建立最大的大語(yǔ)言模型。例如，今年4月，Meta公司發(fā)布了擁有4000億參數(shù)的Llama 3，它所包含的參數(shù)數(shù)量是2022年OpenAI最初的ChatGPT模型的兩倍。

盡管尚未得到證實(shí)，但GPT-4估計(jì)擁有約1.8萬(wàn)億個(gè)參數(shù)。

不過(guò)，在過(guò)去幾個(gè)月里，包括蘋(píng)果和微軟在內(nèi)的一些最大的科技公司都推出了小語(yǔ)言模型。

這些模型的大小僅為L(zhǎng)LM對(duì)應(yīng)模型的一小部分，但在許多基準(zhǔn)測(cè)試中，它們?cè)谖谋旧煞矫婵梢耘cLLM相媲美，甚至更勝一籌。

6月10日，在蘋(píng)果公司的全球開(kāi)發(fā)者大會(huì)上，發(fā)布了擁有約30億參數(shù)的蘋(píng)果智能模型。

4月底，微軟發(fā)布了其Phi-3 SLM系列，擁有38億到140億個(gè)參數(shù)。

在一系列測(cè)試中，微軟最小的模型Phi-3-mini與OpenAI的GPT-3.5（1750億個(gè)參數(shù)）不相上下，其表現(xiàn)也優(yōu)于谷歌的Gemma（70億個(gè)參數(shù)）。

測(cè)試通過(guò)向模型提出有關(guān)數(shù)學(xué)、哲學(xué)、法律等方面的問(wèn)題，評(píng)估了模型對(duì)語(yǔ)言的理解能力。

更有趣的是，擁有70億個(gè)參數(shù)的微軟Phi-3-small在許多基準(zhǔn)測(cè)試中的表現(xiàn)都明顯優(yōu)于GPT-3.5。

波士頓東北大學(xué)研究語(yǔ)言模型Aaron Müller并不驚訝SLM在某些功能上可以與LLM相提并論。

Müller說(shuō)，「這是因?yàn)橐晃对黾訁?shù)數(shù)量并不是提高模型性能的唯一方法，在更高質(zhì)量的數(shù)據(jù)上進(jìn)行訓(xùn)練也能產(chǎn)生類似的結(jié)果。」

例如，微軟的Phi模型是在經(jīng)過(guò)微調(diào)的「教科書(shū)質(zhì)量」數(shù)據(jù)上訓(xùn)練出來(lái)的，這些數(shù)據(jù)的風(fēng)格更加一致，比LLM通常依賴的來(lái)自互聯(lián)網(wǎng)的高度多樣化文本更容易學(xué)習(xí)。

同樣，蘋(píng)果公司也在高質(zhì)量、更復(fù)雜的數(shù)據(jù)集上訓(xùn)練SLM。

Müller表示，更重要的是，SLM可以使語(yǔ)言模型的使用平民化。

迄今為止，人工智能的開(kāi)發(fā)一直集中在幾家有能力部署高端基礎(chǔ)設(shè)施的大公司手中，而其他規(guī)模較小的公司和實(shí)驗(yàn)室則不得不支付高昂的費(fèi)用來(lái)獲得授權(quán)。

由于SLM可以在價(jià)格更低廉的硬件上輕松訓(xùn)練，因此資源有限的人更容易獲得SLM。

SLM的興起正值LLM之間的性能差距迅速縮小，科技公司希望能在Scaling Law之外，探索其他性能升級(jí)途徑。

在4月份的一次活動(dòng)中，OpenAI 的首席執(zhí)行官Altman表示，他相信我們正處于大模型時(shí)代的末期。「我們將以其他方式讓模型變得更好?！?/p>

也就是說(shuō)，經(jīng)過(guò)精心策劃的SLM向構(gòu)建可解釋性人工智能更近了一步。

對(duì)于像蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)科學(xué)研究員Alex Warstadt這樣的研究人員來(lái)說(shuō)，SLM還能為一個(gè)長(zhǎng)期存在的科學(xué)問(wèn)題提供新的見(jiàn)解：兒童是如何用很少的文字?jǐn)?shù)據(jù)就學(xué)會(huì)語(yǔ)言和思維的。

Warstadt和包括東北大學(xué)Müller在內(nèi)的一批研究人員一起組織了BabyLM挑戰(zhàn)賽，參賽者要在小數(shù)據(jù)上優(yōu)化語(yǔ)言模型訓(xùn)練。

SLM不僅有可能揭開(kāi)人類認(rèn)知的新秘密，還有助于改進(jìn)生成式人工智能。

在兒童13歲時(shí)，他們已經(jīng)接觸了約1億個(gè)單詞，在語(yǔ)言方面比聊天機(jī)器人更勝一籌，但他們只能獲得0.01%的數(shù)據(jù)。

Warstadt說(shuō)，雖然沒(méi)人知道是什么讓人類如此高效，但「在小規(guī)模上進(jìn)行高效的類人學(xué)習(xí)，當(dāng)擴(kuò)展到LLM規(guī)模時(shí)，可能會(huì)帶來(lái)巨大的改進(jìn)」。

三、重塑AI的未來(lái)：從云到設(shè)備

xLAM-1B展現(xiàn)出的端側(cè)AI的發(fā)展?jié)摿Γ芸赡軜?biāo)志著人工智能領(lǐng)域的重大轉(zhuǎn)變——挑戰(zhàn)「模型越大越好」的觀念，讓人工智能在消耗有限資源的條件下也能持續(xù)生長(zhǎng)。

目前，由于所涉及模型的規(guī)模和復(fù)雜性，許多先進(jìn)的人工智能功能都依賴于云計(jì)算。

如果像xLAM-1B這樣的較小模型也能提供類似的功能，就能讓更強(qiáng)大的人工智能助手直接在用戶的設(shè)備上運(yùn)行，從而提高響應(yīng)速度，并解決與基于云的人工智能相關(guān)的隱私問(wèn)題。

隨著邊緣計(jì)算和物聯(lián)網(wǎng)設(shè)備的激增，對(duì)更強(qiáng)大的設(shè)備上人工智能功能的需求也將激增。

xLAM-1B的成功可能會(huì)催生新一輪的人工智能開(kāi)發(fā)浪潮，其重點(diǎn)是創(chuàng)建為特定任務(wù)量身定制的超高效模型，而不是「樣樣通」的龐然大物。

這可能會(huì)帶來(lái)一個(gè)更加分布式的人工智能生態(tài)系統(tǒng)，在這個(gè)生態(tài)系統(tǒng)中，專業(yè)模型在設(shè)備網(wǎng)絡(luò)中協(xié)同工作，可能會(huì)提供更強(qiáng)大、反應(yīng)更快、更能保護(hù)隱私的人工智能服務(wù)。

這一發(fā)展還能使人工智能能力民主化，讓較小的公司和開(kāi)發(fā)人員無(wú)需大量計(jì)算資源就能創(chuàng)建復(fù)雜的人工智能應(yīng)用。

此外，它還可以減少人工智能碳足跡，因?yàn)檩^小的模型在訓(xùn)練和運(yùn)行時(shí)所需的能源要少得多。

xLAM-1B給業(yè)界帶來(lái)的沖擊有很多，但有一點(diǎn)是顯而易見(jiàn)的：在人工智能的世界里，大衛(wèi)剛剛證明了他不僅可以與歌利亞競(jìng)爭(zhēng)，還有可能將其淘汰。人工智能的未來(lái)可能不在被巨頭所操控的云端，而是在你自己手中。

參考資料：

https://venturebeat.com/ai/salesforce-proves-less-is-more-xlam-1b-tiny-giant-beats-bigger-ai-models/

https://x.com/SFResearch/status/1807811770267971984?t=j_LOjgVPy41ZpjwkoXmRiQ&s=19