就在最近，Meta宣布推出新一代開(kāi)源大型語(yǔ)言模型Llama 2，此外，Llama 2還可供免費(fèi)商用。那么，Llama 2的出現(xiàn)會(huì)對(duì)大型語(yǔ)言模型的市場(chǎng)格局帶來(lái)什么改變？Llama 2的誕生又經(jīng)歷了怎樣的過(guò)程？一起來(lái)看看作者的解讀。

一覺(jué)醒來(lái)，Meta直接丟了一顆重磅核彈：Llama 2！

繼LLaMA開(kāi)源后，Meta聯(lián)手微軟高調(diào)開(kāi)源Llama 2，一共有7B、13B、70B三個(gè)版本。

據(jù)介紹，Llama 2接受了2萬(wàn)億個(gè)token訓(xùn)練，上下文長(zhǎng)度4k，是Llama 1的2倍。微調(diào)模型已在超100萬(wàn)個(gè)人類標(biāo)注中進(jìn)行了訓(xùn)練。

Llama 2的表現(xiàn)更是秒殺許多開(kāi)源語(yǔ)言模型，在推理、編碼、能力和知識(shí)測(cè)試上取得了SOTA。

最最最重要的是，這次Llama 2不僅可以研究，甚至能免費(fèi)商用?。▌澲攸c(diǎn)）

今年2月，Llama 1開(kāi)源后，Meta收到了10萬(wàn)多個(gè)訪問(wèn)大型語(yǔ)言模型的請(qǐng)求。

沒(méi)想到，Llama的開(kāi)放瞬間讓AI社區(qū)模型大爆發(fā)，UC 伯克利的Vicuna、斯坦福Alpaca等各種系列「羊駝」蜂擁而出。

這次，Llama 2的開(kāi)源直接向OpenAI和谷歌發(fā)起挑戰(zhàn)。

在OpenAI和谷歌獨(dú)占鰲頭下，Meta此舉想通過(guò)另辟蹊徑改變大模型AI之爭(zhēng)的格局。

LeCun表示，Llama 2免費(fèi)商用將直接改變大型語(yǔ)言模型的市場(chǎng)格局。

一、一夜封神，但還不如GPT-3.5

Llama 2的橫空出世，沒(méi)想到，直接被一眾網(wǎng)友「封神」。

就連GPT-4，被推下了戰(zhàn)場(chǎng)。

但是，就客觀來(lái)講，Llama 2真的無(wú)所不能嗎？

英偉達(dá)科學(xué)家Jim Fan稱，Llama 2還沒(méi)有達(dá)到GPT-3.5的水平，主要是因?yàn)槠浯a能力較弱。

關(guān)于Llama 2更多細(xì)節(jié)，Jim Fan和做了一個(gè)太長(zhǎng)不愛(ài)看版：

– Llama 2的訓(xùn)練費(fèi)用可能超過(guò)200萬(wàn)美元。

Meta發(fā)布商業(yè)友好許可的模型，為社區(qū)提供了令人難以置信的服務(wù)。由于許可問(wèn)題，大公司的AI研究員對(duì)Llama-1持謹(jǐn)慎態(tài)度，但現(xiàn)在我認(rèn)為他們中的很多人都會(huì)加入進(jìn)來(lái)，貢獻(xiàn)自己的力量。

– Meta團(tuán)隊(duì)對(duì)4K提示進(jìn)行了人類研究，以評(píng)估Llama-2的實(shí)用性。

他們使用「勝率」（win rate）作為比較模型的指標(biāo)，與Vicuna基準(zhǔn)類似。70B模型與GPT-3.5-0301大致持平，表現(xiàn)明顯強(qiáng)于Falcon、MPT和Vicuna。

與學(xué)術(shù)基準(zhǔn)相比，我更相信真實(shí)的人類評(píng)級(jí)。

– Llama-2還沒(méi)有達(dá)到GPT-3.5的水平。

在HumanEval上，它還不如StarCoder或其他許多專門為編碼而設(shè)計(jì)的模型。盡管如此，我毫不懷疑Llama-2將因其開(kāi)放的權(quán)重而得到顯著改善。

– Meta團(tuán)隊(duì)在人工智能安全問(wèn)題上不遺余力。

事實(shí)上，這篇論文幾乎有一半的篇幅都在談?wù)摪踩o(hù)欄、紅隊(duì)和評(píng)估。

在之前的研究中，有用性和安全性之間非常難平衡。Meta通過(guò)訓(xùn)練2個(gè)獨(dú)立的獎(jiǎng)勵(lì)模型來(lái)緩解這一問(wèn)題。這些模型還沒(méi)有開(kāi)源，但對(duì)社區(qū)來(lái)說(shuō)非常有價(jià)值。

– Llama-2將極大地推動(dòng)多模態(tài)人工智能和機(jī)器人研究。

這些領(lǐng)域需要的不僅僅是黑盒子訪問(wèn)API。到目前為止，研究人員必須將復(fù)雜的感官信號(hào)（視頻、音頻、三維感知）轉(zhuǎn)換為文本描述，然后再輸入到 LLM，這樣做既笨拙又會(huì)導(dǎo)致大量信息丟失。

而將感官模塊直接「嫁接」到強(qiáng)大的LLM主干上會(huì)更有效。

– 技術(shù)報(bào)告本身就是一部杰作。

GPT-4的技術(shù)報(bào)告只分享了很少的信息，而Llama-2則不同，它詳細(xì)介紹了整個(gè)recipe，包括模型細(xì)節(jié)、訓(xùn)練階段、硬件、數(shù)據(jù)管線和標(biāo)題過(guò)程。例如，論文對(duì) RLHF 的影響進(jìn)行了系統(tǒng)分析，并提供了漂亮的可視化效果。

二、Llama 2如何誕生？

Llama 2最新技術(shù)報(bào)告也同在今天發(fā)布，足足有70多頁(yè)。

GenAI首次以團(tuán)隊(duì)名稱出現(xiàn)

針對(duì)模型訓(xùn)練，與ChatGPT相同，Llama 2也是經(jīng)歷了預(yù)訓(xùn)練（Pretraining）、微調(diào)（Fine-tuing）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）三個(gè)階段。

除了開(kāi)源了Llama 2，Meta基于Llama 2微調(diào)了Llama 2-Chat模型。

在各大基準(zhǔn)測(cè)試上，Llama 2在推理等方面表現(xiàn)相當(dāng)出色。

接下來(lái)，具體看看Llama 2是如何誕生的吧。

1. 預(yù)訓(xùn)練

為了創(chuàng)建新的Llama 2，Meta的研究人員首先采用了Touvron等人所使用的預(yù)訓(xùn)練方法，應(yīng)用了優(yōu)化的自回歸Transformer。

但是，為了進(jìn)一步提高性能，Meta團(tuán)隊(duì)做了一些改動(dòng)。

具體來(lái)說(shuō)，研究人員進(jìn)行了更穩(wěn)健的數(shù)據(jù)清理，更新了數(shù)據(jù)組合，且訓(xùn)練的標(biāo)記總數(shù)增加了40%，上下文長(zhǎng)度增加了一倍，還使用了GQA（Group Query Attention）來(lái)提高大型模型推理的可擴(kuò)展性。

下表比較了Llama 2和Llama 1的屬性差異。

在預(yù)訓(xùn)練數(shù)據(jù)方面，Meta的訓(xùn)練語(yǔ)料庫(kù)包括公開(kāi)來(lái)源的各種新數(shù)據(jù)組合，但并不包括來(lái)自Meta自家產(chǎn)品或服務(wù)中的數(shù)據(jù)。

另外，研究人員努力刪除了某些已知包含大量個(gè)人隱私信息的網(wǎng)站的數(shù)據(jù)信息。

Meta團(tuán)隊(duì)在2萬(wàn)億個(gè)token的數(shù)據(jù)上進(jìn)行了訓(xùn)練（如上表所示），這樣做可以很好地權(quán)衡性能和成本，并對(duì)最真實(shí)的數(shù)據(jù)源進(jìn)行取樣，以增加知識(shí)和減少幻覺(jué)。

訓(xùn)練細(xì)節(jié)方面，Meta團(tuán)隊(duì)既有沿用也有創(chuàng)新。

研究人員沿用了Llama 1中的大部分預(yù)訓(xùn)練設(shè)置和模型架構(gòu)，使用標(biāo)準(zhǔn)的Transformer架構(gòu)，以及RMSNorm進(jìn)行預(yù)規(guī)范化，還用了SwiGLU激活函數(shù)和旋轉(zhuǎn)位置嵌入。

與Llama 1在結(jié)構(gòu)上的主要區(qū)別在于，增加了上下文長(zhǎng)度和GQA（Group Query Attention）（如上表所示）。

下圖則展示了Llama 2的訓(xùn)練損耗。

研究人員比較了Llama 2系列不同大小模型的訓(xùn)練損耗分別是多少，Meta團(tuán)隊(duì)發(fā)現(xiàn)，在對(duì)2T數(shù)量的token進(jìn)行預(yù)訓(xùn)練后，模型依舊沒(méi)有出現(xiàn)任何飽和的跡象。

評(píng)估

接下來(lái)研究人員報(bào)告了Llama 1和Llama 2、MPT和Falcon模型在一些標(biāo)準(zhǔn)的學(xué)術(shù)基準(zhǔn)上的性能測(cè)試結(jié)果。

在所有評(píng)估中，Meta團(tuán)隊(duì)都應(yīng)用了內(nèi)部評(píng)估庫(kù)，在內(nèi)部重現(xiàn)了MPT和Falcon模型的測(cè)試結(jié)果。

對(duì)于這些模型，研究人員總是在評(píng)估框架和任何公開(kāi)報(bào)告的結(jié)果之間選取最高分進(jìn)行比較。

在表3中，研究人員總結(jié)了LlaMa 2在一系列常用基準(zhǔn)上的總體性能表現(xiàn)。以下是這些常用的基準(zhǔn)大致介紹：

• 代碼：研究人員報(bào)告了模型在HumanEval和MBPP上的平均pass@1分?jǐn)?shù)。
• 常識(shí)推理：研究人員人員報(bào)告了PIQA、SIQA、HellaSwag、WinoGrande、ARC easy and challenge、OpenBookQA和CommonsenseQA等項(xiàng)目的平均得分，還有CommonSenseQA的7-shot測(cè)試結(jié)果和所有其他基準(zhǔn)的0-shot測(cè)試結(jié)果。
• 知識(shí)面：研究人員評(píng)估了NaturalQuestions和TriviaQA的5-shot成績(jī)，以及平均成績(jī)。
• 閱讀理解能力：研究人員報(bào)告了SQuAD、QuAC和BoolQ的0-shot平均成績(jī)。
• 數(shù)學(xué)能力：研究人員報(bào)告了GSM8K（8-shot）和MATH（4-shot）基準(zhǔn)的平均成績(jī)，報(bào)告第一。
• 其它熱門的綜合基準(zhǔn)：研究人員報(bào)告了MMLU（5-shot）、Big Bench Hard（BBH）（3-shot）和AGI Eval（3-5shot）的總體結(jié)果。其中，對(duì)于AGI Eval，研究人員只對(duì)英語(yǔ)相關(guān)的任務(wù)進(jìn)行了評(píng)估并報(bào)告了平均值。

具體數(shù)據(jù)

從上表中可以看出，Llama 2要優(yōu)于Llama 1。尤其是和Llama 1-65B的模型相比，Llama 2-70B在MMLU和BBH上的成績(jī)分別提高了5分和8分。

除代碼基準(zhǔn)外，Llama 2-7B和30B的模型在所有測(cè)試上都優(yōu)于同等規(guī)模的MPT模型。

就Falcon模型而言，在所有基準(zhǔn)測(cè)試中，Llama 2-7B和34B的表現(xiàn)都要比Falcon-7B和40B的模型更好。

此外，Llama 2-70B模型也優(yōu)于所有開(kāi)源模型。

除了和開(kāi)源模型作比，Meta團(tuán)隊(duì)還將Llama 2-70B的結(jié)果與閉源模型進(jìn)行了比較。

如下表所示，Llama 2-70B在MMLU和GSM8K上的得分接近GPT-3.5，但在編碼基準(zhǔn)上有明顯差距。

在幾乎所有的基準(zhǔn)測(cè)試上，Llama 2-70B的結(jié)果都與PaLM 540B相當(dāng)，甚至更好。

而Llama 2-70B與GPT-4和PaLM-2-L之間的性能差距仍然很大。

2. 微調(diào)

Llama 2-Chat是Meta團(tuán)隊(duì)數(shù)月研究，并迭代應(yīng)用了對(duì)齊技術(shù)（包括指令微調(diào)和RLHF）的成果，需要大量的計(jì)算和標(biāo)注。

監(jiān)督微調(diào) (SFT)：

第三方的SFT數(shù)據(jù)可以從許多不同來(lái)源獲得，但Meta團(tuán)隊(duì)發(fā)現(xiàn)，其中許多數(shù)據(jù)的多樣性和質(zhì)量都不夠，尤其是讓LLM與對(duì)話指令保持一致這一方面。

因此，研究人員首先重點(diǎn)收集了數(shù)千個(gè)高質(zhì)量的SFT數(shù)據(jù)示例，如上圖所示。通過(guò)撇開(kāi)來(lái)自第三方數(shù)據(jù)集的數(shù)百萬(wàn)個(gè)示例，使用質(zhì)量較高的示例，研究結(jié)果得到了明顯改善。

研究人員發(fā)現(xiàn)，在總共收集到27540條標(biāo)注后，SFT標(biāo)注獲得了高質(zhì)量的結(jié)果。

為了驗(yàn)證數(shù)據(jù)質(zhì)量，研究人員仔細(xì)檢查了一組180個(gè)示例，比較了人類提供的標(biāo)注和模型通過(guò)人工檢查生成的樣本。

出乎意料的是，研究人員發(fā)現(xiàn)SFT模型生成的樣本輸出，往往能與人類標(biāo)注者手寫的SFT數(shù)據(jù)相媲美。

這表明研究人員可以調(diào)整優(yōu)先級(jí)，將更多的注釋精力投入到基于偏好的RLHF標(biāo)注中。

在監(jiān)督微調(diào)中，研究人員使用余弦學(xué)習(xí)率計(jì)劃（cosine learning rate schedule），初始學(xué)習(xí)率為2乘以10的負(fù)5次方，權(quán)重衰減為0.1，批量大小為64，序列長(zhǎng)度為4096個(gè)標(biāo)記。

在微調(diào)過(guò)程中，每個(gè)樣本包括一個(gè)提示和一個(gè)答案。

為確保模型序列長(zhǎng)度得到適當(dāng)填充，研究人員將訓(xùn)練集中的所有提示和答案連接起來(lái)，并使用一個(gè)特殊的標(biāo)記來(lái)分隔提示和答案片段。

研究人員利用自回歸目標(biāo)，將來(lái)自用戶提示的標(biāo)記損失歸零，因此，只對(duì)答案標(biāo)記進(jìn)行反向的傳播。

最后，研究人員對(duì)模型進(jìn)行了2次微調(diào)。

人類反饋強(qiáng)化學(xué)習(xí) (RLHF)：

Meta團(tuán)隊(duì)收集的數(shù)據(jù)代表了人類偏好的經(jīng)驗(yàn)取樣，人類標(biāo)注者可以根據(jù)這個(gè)來(lái)選擇他們更喜歡的2種模型輸出。

這種人類反饋隨后被用于訓(xùn)練獎(jiǎng)勵(lì)模型，該模型可學(xué)習(xí)人類標(biāo)注者的偏好模式，然后自動(dòng)做出偏好決定。

與其他方案相比，團(tuán)隊(duì)選擇了二進(jìn)制比較協(xié)議（binary comparison protocol），主要是因?yàn)樗茏屟芯咳藛T最大限度地提高所收集提示的多樣性。

研究人員列出了用于獎(jiǎng)勵(lì)建模的開(kāi)源數(shù)據(jù)，以及內(nèi)部收集的人類偏好數(shù)據(jù)。

請(qǐng)注意，二進(jìn)制人類偏好比較包含共享相同提示的2個(gè)響應(yīng)（選擇和不選）。每個(gè)示例都由一個(gè)prompt和一個(gè)回復(fù)組成，后者是獎(jiǎng)勵(lì)模型的輸入。

研究人員報(bào)告了比較的次數(shù)、每次對(duì)話的平均回合數(shù)、每個(gè)示例、每個(gè)prompt和每個(gè)回復(fù)的平均標(biāo)記數(shù)。

用于獎(jiǎng)勵(lì)建模的人類偏好數(shù)據(jù)統(tǒng)計(jì)：

下表即是準(zhǔn)確率方面的結(jié)果。

獎(jiǎng)勵(lì)模型結(jié)果

Meta自己的獎(jiǎng)勵(lì)模型在基于Llama 2-Chat收集的內(nèi)部測(cè)試集上表現(xiàn)最佳，其中有用性獎(jiǎng)勵(lì)模型在元有用性（Mega Helpful）測(cè)試集上表現(xiàn)最佳。

同樣，安全性獎(jiǎng)勵(lì)模型在元安全性（Mega Safety）測(cè)試集上表現(xiàn)最佳。

總體而言，Meta的獎(jiǎng)勵(lì)模型優(yōu)于包括GPT-4在內(nèi)的所有模型。

有趣的是，盡管GPT-4沒(méi)有經(jīng)過(guò)直接訓(xùn)練，也沒(méi)有專門的針對(duì)獎(jiǎng)勵(lì)建模任務(wù)，但它的表現(xiàn)卻優(yōu)于其它模型。

在每一批用于獎(jiǎng)勵(lì)建模的人類偏好標(biāo)注中，研究人員都會(huì)拿出1000個(gè)例子作為測(cè)試集來(lái)評(píng)估模型。

研究人員將相應(yīng)測(cè)試集的所有提示的集合分別稱為元有用性（Meta Helpful）和元安全性（Meta Safety）。

作為參考，研究人員還評(píng)估了其他公開(kāi)的替代方案：基于FLAN-T5-xl的SteamSHP-XL、基于DeBERTa V3 Large的 Open Assistant的獎(jiǎng)勵(lì)模型以及GPT4。

請(qǐng)注意，推理時(shí)與訓(xùn)練時(shí)不同，所有獎(jiǎng)勵(lì)模型都可以預(yù)測(cè)單個(gè)輸出的標(biāo)量，而無(wú)需訪問(wèn)其配對(duì)輸出。

當(dāng)然，更多的數(shù)據(jù)和更大的模型通常會(huì)提高準(zhǔn)確率，而Meta的模型目前似乎還沒(méi)有從訓(xùn)練數(shù)據(jù)的學(xué)習(xí)中達(dá)到飽和。

如下圖所示。

更多有關(guān)RLHF的內(nèi)容請(qǐng)參看論文原文。

多輪一致性系統(tǒng)消息：

在對(duì)話設(shè)置中，有些指令應(yīng)該適用于所有的對(duì)話場(chǎng)合，例如，簡(jiǎn)明扼要地做出回應(yīng)，或者扮演某個(gè)公眾人物等等。

當(dāng)研究人員向Llama 2-Chat提供這樣的指令時(shí)，給出的回應(yīng)應(yīng)始終遵守該約束。

然而，最初的RLHF模型往往會(huì)在幾輪對(duì)話后忘記最初的指令，如下圖所示。

為了解決這些局限性，Meta團(tuán)隊(duì)提出了「幽靈注意力」（GAtt），這是一種非常簡(jiǎn)單的方法，利用微調(diào)數(shù)據(jù)幫助模型的注意力在多階段過(guò)程中保持集中。

應(yīng)用了GAtt后，結(jié)果如下圖所示，我們可以看到，GAtt能在多個(gè)回合中實(shí)現(xiàn)對(duì)話控制。

下圖為應(yīng)用了GAtt和沒(méi)有應(yīng)用GAtt的對(duì)話注意力可視化圖。

研究人員考慮了整個(gè)網(wǎng)絡(luò)的最大激活度，并將相鄰的標(biāo)記放在一起。

為了說(shuō)明GAtt是如何在微調(diào)過(guò)程中幫助重塑注意力，上圖顯示了模型的最大注意力激活。每幅圖的左側(cè)都對(duì)應(yīng)著系統(tǒng)信息。

我們可以看到，與未安裝GAtt的模型（左）相比，安裝了GAtt的模型（右）在對(duì)話的大部分時(shí)間里都能對(duì)系統(tǒng)信息保持較大的注意力激活。

但是，盡管GAtt很有用，但它目前的實(shí)現(xiàn)過(guò)程還很粗糙，對(duì)這項(xiàng)技術(shù)進(jìn)行更多的開(kāi)發(fā)和迭代才會(huì)使模型進(jìn)一步受益。

RLHF的結(jié)果：

當(dāng)然，評(píng)估LLM是一個(gè)具有挑戰(zhàn)性的開(kāi)放性研究問(wèn)題。人工評(píng)估雖然是一個(gè)不錯(cuò)的標(biāo)準(zhǔn)，但會(huì)因各種人機(jī)交互考慮因素而變得復(fù)雜，而且并不總是可擴(kuò)展的。

因此，為了在從RLHF-V1到V5的每次迭代中從多個(gè)模型中選出表現(xiàn)最佳的模型，Meta的研究人員首先觀察了最新獎(jiǎng)勵(lì)模型的獎(jiǎng)勵(lì)改進(jìn)情況，以節(jié)約成本并提高迭代速度。

隨后，在通過(guò)人工評(píng)估對(duì)主要模型版本進(jìn)行了驗(yàn)證。

下圖是Llama 2-Chat的演變。

研究人員展示了經(jīng)過(guò)多次迭代微調(diào)后，Llama 2-Chat與ChatGPT對(duì)比勝率百分比的演變。

左邊的裁判是Meta的獎(jiǎng)勵(lì)模型，可能會(huì)向著他們自己的模型，右圖的裁判則是GPT-4，其結(jié)果應(yīng)該會(huì)更中立。

而就像上面提到的一樣，人工評(píng)估通常被認(rèn)為是評(píng)判自然語(yǔ)言生成模型（包括對(duì)話模型）的黃金標(biāo)準(zhǔn)。

為了評(píng)估主要模型版本的質(zhì)量，Meta請(qǐng)人類評(píng)估員對(duì)它們的有用性和安全性進(jìn)行了評(píng)分。

研究人員將Llama 2-Chat模型與開(kāi)源模型（Falcon、MPT），以及閉源模型（ChatGPT) 和PaLM在超過(guò)4000個(gè)單輪和多輪的prompt上進(jìn)行了比較。

對(duì)于ChatGPT，研究人員在各代中都使用了gpt-3.5-turbo-0301的模型。對(duì)于PaLM，則使用的是chat-bison-001模型

下圖即為評(píng)估結(jié)果——

可以看到，Llama 2-Chat模型在單匝和多匝提示上的表現(xiàn)都明顯優(yōu)于開(kāi)源模型。

特別是，在60%的提示中，Llama 2-Chat 7B模型都優(yōu)于MPT-7B-chat。

而Llama 2-Chat 34B與同等大小的Vicuna-33B和Falcon 40B相比，總體勝率超過(guò)75%。

此外，最大的Llama 2-Chat模型與ChatGPT相比，70B版本的勝率為36%，平局率為31.5%。

在Meta研究人員的pompt集上，Llama 2-Chat 70B模型在很大程度上都優(yōu)于PaLM-bison的聊天模型。

三、商用限制：不超過(guò)7億用戶

Llama-2商業(yè)免費(fèi)用，對(duì)Meta來(lái)說(shuō)，還是首次。

不過(guò)，并非是絕對(duì)免費(fèi)。

根據(jù)許可條款，Meta規(guī)定不能Llama-2的數(shù)據(jù)或輸出來(lái)改進(jìn)任何其他 LLM，與OpenAI類似，但在OSS模型中并不常見(jiàn)。

另外，如果產(chǎn)品MAU在2023年6月超過(guò)7億用戶，必須申請(qǐng)?zhí)厥馍虡I(yè)許可。

除上述情況外，使用、復(fù)制、分發(fā)、拷貝、創(chuàng)作衍生作品和修改 Llama-2 都是免版稅的。

具體可參見(jiàn)：https://github.com/facebookresearch/llama/blob/main/LICENSE

四、強(qiáng)強(qiáng)聯(lián)手，微軟成人生贏家

要說(shuō)最大的人生贏家，非微軟莫屬了。

一邊聯(lián)手OpenAI推出GPT-4加持的付費(fèi)版Office，另一邊牽著Meta的手，歡迎Llama 2在Azure和Windows登臺(tái)。

今天，小扎還在Ins上發(fā)布了自己和納德拉合影。

再把上半年，納德拉和Sam Altman的合照拿出來(lái)，瞬間有種OpenAI遭到背刺的感覺(jué)。

再加上網(wǎng)友的配文：納德拉在開(kāi)放式和封閉式Al之間，做出了令人驚訝和贊嘆的舉動(dòng)。（是高手）

據(jù)Meta官博介紹，我們將與微軟的合作伙伴關(guān)系提升到一個(gè)新的水平，成為L(zhǎng)lama 2的首選合作伙伴。

Llama 2在Azure人工智能模型庫(kù)中可用。使用微軟Azure的開(kāi)發(fā)人員能夠使用它進(jìn)行構(gòu)建，并利用云原生工具進(jìn)行內(nèi)容過(guò)濾。

它還經(jīng)過(guò)優(yōu)化，可以在Windows上本地運(yùn)行，為開(kāi)發(fā)人員提供無(wú)縫的工作流程。

另外，Llama 2也可以通過(guò)AWS、Hugging Face和其他平臺(tái)獲得。

據(jù)稱，Llama 2在亞馬遜AWS上運(yùn)行70B模型，1年，最低要求大約需要8.50萬(wàn)美元。

此外，今天Meta還宣布了與高通聯(lián)手合作，計(jì)劃從2024年起在旗艦智能手機(jī)和個(gè)人電腦上提供基于Llama 2的能力。

讓開(kāi)發(fā)人員能夠利用Snapdragon平臺(tái)的AI，推出令人興奮的新生成式人工智能應(yīng)用。

五、網(wǎng)友試玩，Mac可跑

Llama 2的開(kāi)源，就是AI社區(qū)的大狂歡。

許多網(wǎng)友紛紛用Midjourney各種AI工具生成羊駝，來(lái)致敬這一重要時(shí)刻。

小扎也被封神了。

HuggingFace的負(fù)責(zé)人稱，Meta在開(kāi)源人工智能領(lǐng)域的影響力不斷擴(kuò)大，已經(jīng)在Hugging Face上發(fā)布了600+模型，如MusicGen、Galactica、Wav2Vec等。

Llama 2開(kāi)源后，第一步，開(kāi)啟試玩。

已確認(rèn)。Llama 2-70B可在48GB的單GPU上輕松訓(xùn)練。70B 4位QLoRA和A6000暢通無(wú)阻。

Llama 2-7B已轉(zhuǎn)換為Core ML，并以每秒~6.5個(gè)token的速度在Mac本地運(yùn)。

我剛才使用這個(gè)項(xiàng)目的最新版本在我的Mac上運(yùn)行了Llama 2：https://github.com/jmorganca/ollama

很多人都在問(wèn)Llama 2與其他流行模型相比如何？

與其他類似規(guī)模的模型相比，Llama 2顯然更勝一籌，而且根據(jù)基準(zhǔn)測(cè)試，Llama 2 是最佳的OS模型！

參考資料：

https://ai.meta.com/llama/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_content=video