就在最近，Meta宣布和微軟深化合作，推出了新一代開源大型語言模型Llama 2，這一模型還將免費開放給商業(yè)和研究使用，而這一動作無疑引發(fā)了許多網(wǎng)友的討論。那么，Meta是否可以在大模型競賽中掀起波瀾？一起來看看作者的解讀。

Meta最近“殺紅眼”了。

在上周Meta推出Threads對戰(zhàn)Twitter、以史上最快速度突破1億用戶之后，今天，Meta又在大語言模型方面和微軟強強聯(lián)手，向谷歌和OpenAI發(fā)起了新的挑戰(zhàn)。

在今天的微軟的Inspire 合作伙伴大會上，Meta宣布和微軟深化合作，正式推出新一代開源大型語言模型Llama 2，并將該模型免費開放給商業(yè)和研究使用。

此次Meta高調開源Llama 2，無疑是在正面硬剛走“技術保密路線”的GPT-4和谷歌的PaLM 2。扎克伯格在Facebook上發(fā)帖表示：“Meta有著悠久的開源歷史，開源推動創(chuàng)新，它讓更多開發(fā)人員能夠使用新技術進行開發(fā)，同時提高了技術的安全性。我們相信如果生態(tài)系統(tǒng)更加開放，將會帶來更多進步，這就是我們開源 Llama 2 的原因。”

面對OpenAI和谷歌正在努力構建的技術圍墻，Meta似乎想要另辟蹊徑、通過生態(tài)開放來切入這場巨頭間的大模型競賽。

一、模型升級+開源可商用，Meta拿出LLaMA2 “大殺器”

今年2 月，Meta 首次發(fā)布了自家的大語言模型LLaMA（Large Language Model Meta AI）系列，包含 70 億、130億、330億 和 650 億4個版本。

當時Meta表示LLaMA擁有超高性能，使用130億參數(shù)的LLaMA在規(guī)模僅為ChatGPT 的十分之一的情況下，性能表現(xiàn)可以優(yōu)于GPT-3。使用650 億參數(shù)的 LLaMA 則可以與 DeepMind700 億參數(shù)的 Chinchilla模型和谷歌5400 億參數(shù)的 PaLM模型比肩。

LLaMA模型表現(xiàn)，圖片來自Meta

但2月版本的LLaMA并不是ChatGPT的直接競爭對手，LLaMA定位于“開源的研究工具”，所使用的是各類公開可用的數(shù)據(jù)集。它當時更多的著眼于研究領域，僅在非商業(yè)許可下提供給政府、社區(qū)和學術界的研究人員。

值得注意的是，LLaMA發(fā)布后還出現(xiàn)了一個“泄露風波”，從而在業(yè)界推動了一波GPT平替風潮。雖然當時Meta稱LLaMA是開源的，但研究人員仍然需要向Meta提出申請和審核。但就LLaMA發(fā)布不久后，其模型源代碼的文件卻在技術論壇上瘋傳，直接助推了包括斯坦福大學Alpaca、加州大學伯克利分校ColossalChat等基于LLaMA構建的語言模型和產(chǎn)品的出現(xiàn)。

當時因為泄漏的種子文件還被一度合并到了 Meta Research官方GitHub 上，并得到了一些項目維護者的批準，也有人猜測LLaMA的泄露是Meta有意為之，其目的就是為了日后的商業(yè)化做鋪墊。

但不論此前LLaMA的泄露是否是Meta的試水之舉，今天，Llama 2正式開啟了開源商用版本。

根據(jù)Meta的官方數(shù)據(jù)，Llama 2 相較于上一代其訓練數(shù)據(jù)提升了40%，包含了70億、130億和700億參數(shù) 3個版本。Llama 2 預訓練模型接受了 2 萬億個 tokens 的訓練，上下文長度是 Llama 1 的兩倍，其微調模型已經(jīng)接受了超過 100 萬個人類注釋的訓練。

在訓練流程方面，跟 ChatGPT類似，Llama 2也經(jīng)歷了預訓練階段（PT）、指令微調（SFT）以及人類反饋強化學習（RLHF）三個階段。在包括推理、編碼、熟練程度和知識測試等外部基準測試中，Llama 2 在許多方面都顯著高于MMLU、TriviaQA等其他開源語言模型。

Meta 表示Llama 2可免費用于研究和商業(yè)用途，開發(fā)者們可以直接在Llama 2官方網(wǎng)站下下載該模型。為了避免此前LLaMA泄漏后帶來的深度偽造和色情聊天機器人等不良信息和產(chǎn)品的出現(xiàn)，Llama 2已經(jīng)經(jīng)過了紅隊測試，避免模型產(chǎn)出不良和有害內(nèi)容，并且為開發(fā)者們制定了使用指南和守則。

圖片來自Meta

二、Meta搞免費開源，攪動大模型池水

Meta發(fā)布首個開源可商用大語言模型的消息，無疑是在行業(yè)內(nèi)釋放了一個重磅炸彈。

用Yann LeCun的話來說，Meta此舉可能將就此改變大模型行業(yè)的競爭格局。

眾所周知，OpenAI和Google目前是大語言模型領域中的兩大霸主，但他們在最新、最先進的模型上都選擇了“閉源”，OpenAI目前只是以API付費的方式向開發(fā)者提供服務。而此次，Meta在性能上足以比肩GPT-3.5的Llama 2免費開放給所有人，這肯定會吸引大量的開發(fā)者和創(chuàng)業(yè)者使用拋棄OpenAI和谷歌轉向Llama 2。

對于Meta來說，在AI用戶爭奪戰(zhàn)上的落后讓它不能再和OpenAI、谷歌一樣走非開源語言模型路線，開放生態(tài)則是目前一個很好的切入點。開源之后，Meta將擁有更多的可訓練數(shù)據(jù)，開發(fā)人員能夠幫助Llama 2去發(fā)現(xiàn)和解決漏洞，并且能夠很快打開市場，為未來的商業(yè)化鋪路。一定程度上來說，Meta此次也是在反向施壓OpenAI和谷歌。

此次，為了鼓勵更多開發(fā)者加入Llama生態(tài)，Meta還開放了人工智能研究社區(qū)和Llama影響力挑戰(zhàn)賽，鼓勵開發(fā)者們基于Llama 2來進行創(chuàng)建、交流和討論，并進一步解決環(huán)境、教育和其他公共領域的問題。

除了Meta官方以及合作伙伴微軟之外，Llama 2 還可以通過亞馬遜AWS、Hugging Face 和其他提供商獲取。

三、“雙M”聯(lián)盟走向深化，微軟或成最大贏家？

除了Llama此次的開源、商業(yè)特點之外，Meta 和微軟（Microsoft）的聯(lián)盟也尤其引人注目。

Meta和微軟向來關系不錯，此前Meta搞元宇宙時，納德拉就為其站臺并且率先帶著微軟的一眾產(chǎn)品進入Meta的VR平臺。在AI領域，兩家巨頭也有著長期的合作歷史。從2017年兩家共同推出了可互換人工智能框架的開放生態(tài)系統(tǒng)，到ONNX Runtime 與 PyTorch 的集成等，Azure一直都是Meta的云業(yè)務上的戰(zhàn)略合作伙伴。

此次，兩家就Llama 2進行了更加深入、全面的合作。微軟表示，Llama 2將在Azure AI模型目錄中提供，使得使用Microsoft Azure的開發(fā)者能夠構建并使用Llama 2，同時利用他們的云原生工具進行內(nèi)容過濾和安全功能。Llama 2也已優(yōu)化為可在Windows本地運行，為開發(fā)者提供無縫的工作流，將更廣泛地提供給企業(yè)并可由企業(yè)定制。

值得注意的是，Meta和微軟也是今年以來股價漲幅最大的科技巨頭之一，Meta今年上漲了154%，微軟上漲了48%。

總體來看，一邊抓著OpenAI閉門研究、探索商業(yè)化變現(xiàn)，另一邊跟Meta聯(lián)合搞開源生態(tài)，微軟或許是此次AI熱潮中最得意的人。