今日，海外AI圈開始流傳一篇文章，文章詳細介紹了最近在Discord群組由匿名人士泄露的一份Google內(nèi)部的文件，該文件聲稱，開源AI將擊敗谷歌和OpenAI，同時谷歌聲稱：“我們沒有護城河，OpenAI也沒有”。這篇文章在海外引起了熱議，有人認同，也有人反對，本文作者借助GPT-4快速翻譯了這篇文章，一起來看一下吧。

就在今天美國時間早上，海外AI圈開始流傳一篇SemiAnalysis博客的文章，這篇文章詳細介紹了最近在Discord群組由匿名人士泄露的一份Google內(nèi)部的文件，該文件聲稱，開源AI將擊敗谷歌和OpenAI，同時谷歌聲稱：“我們沒有護城河，OpenAI也沒有”。一石激起千層浪，這篇文章在海外引發(fā)了熱議，有人認同，也有人反對。筆者在此借助GPT-4快速翻譯了這篇文章，希望能夠給大家也帶來最新的思考和啟發(fā)。

來自SemiAnalysis博客的聲明翻譯：

以下內(nèi)容源自最近泄露的一份文件，由一位匿名人士在一個公共Discord服務器上分享，并已獲得轉(zhuǎn)載許可。文件來自谷歌內(nèi)部的一名研究員，我們已核實了其真實性。所作的唯一修改是調(diào)整格式和刪除指向內(nèi)部網(wǎng)頁的鏈接。這份文件僅代表谷歌員工的觀點，而非整個公司。我們并不同意以下觀點，我們咨詢的其他研究人員也并不認同，但我們將為訂閱者撰寫一篇單獨的文章發(fā)表我們的觀點。我們只是作為一個平臺來分享這份引起廣泛關注的文件。

01 我們沒有護城河，OpenAI也沒有

我們一直在關注OpenAI的動向。誰將達到下一個里程碑？下一步將會是什么？然而，不得不承認的事實是，我們無法贏得這場競賽，OpenAI也同樣如此。在我們爭執(zhí)的同時，第三方力量悄然取得了優(yōu)勢。

我當然是在談論開源了。簡而言之，他們正在超越我們。我們認為的“重大開放性問題”如今已經(jīng)解決，并投入人們的使用。以下僅列舉一些：

• 手機上的LLMs：人們在Pixel 6手機上以每秒5個token的速度運行基礎模型。
• 可擴展的個人AI：你可以在一個晚上用筆記本電腦微調(diào)個性化AI。
• 負責任的發(fā)布：這一點并不是“解決”了，而是“消除”了。整個互聯(lián)網(wǎng)上有許多沒有任何限制的藝術模型網(wǎng)站，文本也緊隨其后。

多模態(tài)：當前多模態(tài)ScienceQA的最新技術水平在一個小時內(nèi)就得到了訓練。

雖然我們的模型在質(zhì)量上仍然略占優(yōu)勢，但差距正在驚人的速度縮小。開源模型更快、更可定制、更具隱私性，性能更強。他們用100美元和130億參數(shù)做到了我們在1000萬美元和5400億參數(shù)下仍在努力的事情。而且他們只用了幾周時間，而不是幾個月。這對我們意味著：

• 我們沒有秘密武器。我們最好的希望是向谷歌以外的其他人學習并與之合作。我們應該優(yōu)先考慮支持第三方集成。
• 當有免費、無限制的替代品質(zhì)量相當時，人們不會為受限制的模型付費。我們應該考慮我們真正的價值在哪里。
• 龐大的模型拖慢了我們的步伐。從長遠來看，最好的模型是那些可以快速迭代的模型。既然我們知道在參數(shù)少于200億的情況下有什么可能，我們應該更關注小型變體。

02 發(fā)生了什么

三月初，開源社區(qū)得到了他們的第一個真正有能力的基礎模型，因為Meta的LLaMA被泄露給了公眾。它沒有指令或?qū)υ捳{(diào)整，也沒有RLHF。然而，社區(qū)立即認識到了他們所得到的東西的重要性。隨后迅速涌現(xiàn)出大量創(chuàng)新，每隔幾天就有重大發(fā)展（詳見《時間線》）。僅僅一個月后，我們看到了具有指令調(diào)整（instruction tuning）、量化（quantization）、質(zhì)量改進（quality improvements）、人類評估（human evals）、多模態(tài)、RLHF等功能的變體，其中許多變體是相互依賴的。

最重要的是，他們已經(jīng)在很大程度上解決了規(guī)模問題，使得任何人都可以參與其中。許多新想法來自普通人。訓練和實驗的門檻已經(jīng)從一個大型研究機構的全部產(chǎn)出降低到一個人、一個晚上和一臺性能強大的筆記本電腦。

03 為什么我們本可以預見到

在很多方面，這對于任何人來說都不應該是一個驚喜。當前開源LLM的復興緊隨著圖像生成領域的復興之后。社區(qū)對這兩者之間的相似之處并不陌生，許多人將這稱為LLM的“Stable Diffusion Moment”。在這兩種情況下，低成本的公共參與得以實現(xiàn)，因為有一種稱為低秩適應（Low rank adaptation，LoRA）的大大降低成本的微調(diào)機制，結(jié)合了規(guī)模方面的重大突破（圖像合成的Latent Diffusion，LLM的Chinchilla）。在這兩種情況下，獲得足夠高質(zhì)量模型的訪問引發(fā)了來自世界各地個人和機構的大量想法和迭代。在這兩種情況下，這些迅速超過了大型參與者。

在圖像生成領域，這些貢獻起到了關鍵作用，使Stable Diffusion走上了與Dall-E不同的道路。擁有開放模型導致了產(chǎn)品整合、市場、用戶界面和創(chuàng)新，而這些對于Dall-E來說并未發(fā)生。

效果是明顯的：在文化影響方面迅速占據(jù)主導地位，與之相比，OpenAI的解決方案變得越來越無關緊要。是否會發(fā)生在LLM上同樣的事情還有待觀察，但總體結(jié)構元素是相同的。

04 我們錯過了什么

推動開源近期成功的創(chuàng)新直接解決了我們?nèi)栽谂獙Φ膯栴}。更多關注他們的工作可以幫助我們避免重復發(fā)明輪子。LoRA是一種我們應該更加關注的非常強大的技術。

LoRA通過將模型更新表示為低秩分解（low-rank factorizations）來工作，從而將更新矩陣的大小減小多達數(shù)千倍。這使得模型微調(diào)的成本和時間大大減少。在消費者硬件上花幾個小時個性化語言模型是一件大事，尤其是對于涉及近乎實時地整合新的、多樣化知識的愿景。這項技術的存在在谷歌內(nèi)部被低估了，盡管它直接影響了我們一些最雄心勃勃的項目。

05 從頭開始重新訓練模型是困難的途徑

使LoRA如此有效的部分原因是它（與其他微調(diào)形式一樣）是可堆疊的。諸如指令調(diào)整之類的改進可以應用，然后在其他貢獻者添加對話、推理或工具使用時加以利用。雖然單個微調(diào)的秩較低（low rank），但它們的總和不必如此，從而允許隨著時間的推移累積對模型進行全秩（full-rank）更新。這意味著隨著新的、更好的數(shù)據(jù)集和任務變得可用，模型可以以較低的成本保持最新狀態(tài)，而無需支付完整運行的成本。

相比之下，從頭開始訓練巨型模型不僅會丟棄預訓練，還會丟棄已經(jīng)在頂部進行的迭代改進。在開源世界，這些改進很快就會占據(jù)主導地位，使得完全重新訓練變得極其昂貴。

我們應該認真思考每個新的應用或想法是否真的需要一個全新的模型。如果我們確實有重大的架構改進，使得無法直接重用模型權重，那么我們應該投資于更具侵略性的蒸餾形式（distillation），以便盡可能保留前一代的能力。

06 從長遠來看，如果我們能在小模型上更快地迭代，大型模型并不會更有能力

LoRA更新對于最受歡迎的模型尺寸非常便宜（約100美元）。這意味著幾乎任何有想法的人都可以生成一個并將其發(fā)布。培訓時間少于一天是常態(tài)。在這個速度下，這些微調(diào)的累積效果很快就能彌補起始尺寸劣勢。事實上，從工程師小時的角度來看，這些模型的改進速度遠遠超過了我們在最大型號上所能做到的，而且最好的模型已經(jīng)與ChatGPT幾乎無法區(qū)分。專注于維護地球上一些最大的模型實際上讓我們處于劣勢。

07 數(shù)據(jù)質(zhì)量比數(shù)據(jù)規(guī)模更具可擴展性

許多項目通過在小型、精選數(shù)據(jù)集上進行訓練來節(jié)省時間。這表明數(shù)據(jù)擴展規(guī)律具有一定的靈活性。這些數(shù)據(jù)集的存在源于《數(shù)據(jù)并非如你所想》一文中的思考線，它們正迅速成為谷歌以外進行訓練的標準方式。這些數(shù)據(jù)集是通過合成方法（例如從現(xiàn)有模型中篩選最佳響應）和從其他項目中收集而來，谷歌在這兩者中都不占主導地位。幸運的是，這些高質(zhì)量數(shù)據(jù)集是開源的，所以我們可以自由使用。

08 與開源直接競爭是輸不起的游戲

近期的進展對我們的商業(yè)策略有直接、即時的影響。如果有一個免費的、高質(zhì)量的、沒有限制的替代方案，誰會為帶有使用限制的谷歌產(chǎn)品付費？而且我們不應該指望能夠迎頭趕上?，F(xiàn)代互聯(lián)網(wǎng)之所以依賴開源，是有原因的。開源有一些我們無法復制的顯著優(yōu)勢。

09 我們需要他們勝過他們需要我們

保密我們的技術一直是一個脆弱的命題。谷歌的研究人員定期離開公司去其他公司，所以我們可以假設他們知道我們所知道的一切，并將繼續(xù)這樣做，只要這個渠道還在。但在LLM領域的尖端研究變得負擔得起的情況下，保持技術競爭優(yōu)勢變得更加困難。全球各地的研究機構在彼此的工作基礎上進行建設，以廣度優(yōu)先的方式探索解決方案空間，遠超我們自身的能力。我們可以試著緊緊抓住我們的秘密，而外部創(chuàng)新會削弱它們的價值，或者我們可以試著互相學習。

10 與公司相比，個人受許可限制的程度較小

許多創(chuàng)新都是基于Meta泄露的模型權重發(fā)生的。雖然這肯定會隨著真正的開源模型變得更好而改變，但關鍵是他們不必等待。法律規(guī)定的“個人使用”以及起訴個人的實際困難意味著個人在這些技術熾熱時就能獲得這些技術。

11 作為自己的客戶意味著你了解用例

瀏覽人們在圖像生成領域創(chuàng)建的模型，有大量的創(chuàng)意涌現(xiàn)，從動漫生成器到HDR風景。這些模型由深入特定子類型的人使用和創(chuàng)建，賦予了我們無法企及的知識深度和共鳴。

12 擁有生態(tài)系統(tǒng)：讓開源為我們服務

矛盾的是，所有這些事情中唯一明確的贏家是Meta。因為泄露的模型是他們的，所以他們實際上獲得了相當于整個星球的免費勞動力。由于大部分開源創(chuàng)新都是基于他們的架構進行的，所以沒有什么能阻止他們直接將其納入自己的產(chǎn)品中。擁有生態(tài)系統(tǒng)的價值不可估量。谷歌本身在其開源產(chǎn)品（如Chrome和Android）中成功地利用了這一范式。通過擁有創(chuàng)新發(fā)生的平臺，谷歌鞏固了自己作為思想領袖和方向制定者的地位，贏得了塑造比自己更大的想法敘事的能力。

我們對模型的控制越嚴格，開放替代品就越有吸引力。谷歌和OpenAI都在朝著保留對模型使用方式的嚴格控制的發(fā)布模式做出防御性反應。但這種控制只是虛構的。任何試圖將LLMs用于未經(jīng)批準的目的的人都可以選擇自由提供的模型。

谷歌應該在開源社區(qū)確立自己的領導地位，通過與更廣泛的對話合作，而不是忽略它們，來起到引領作用。這可能意味著采取一些令人不安的步驟，例如發(fā)布小型ULM變體的模型權重。這必然意味著放棄對我們模型的一些控制。但這種妥協(xié)是不可避免的。我們不能既希望建立創(chuàng)新又控制創(chuàng)新。

13 尾聲：OpenAI呢？

所有關于開源的討論可能讓人覺得不公平，因為OpenAI目前的政策是封閉的。如果他們不分享，為什么我們必須分享呢？但事實是，我們已經(jīng)通過源源不斷地被挖走的高級研究人員與他們分享了一切。除非我們遏制這種趨勢，否則保密就毫無意義了。最后，OpenAI并不重要。他們在與開源的相對立場上犯了與我們相同的錯誤，他們保持優(yōu)勢的能力必然受到質(zhì)疑。開源替代品可以并最終會取代他們，除非他們改變立場。至少在這方面，我們可以先行一步。

14 時間線

2023年2月24日 – LLaMA發(fā)布

Meta發(fā)布LLaMA，開源代碼，但不開源權重。此時，LLaMA尚未進行指令或?qū)υ捳{(diào)優(yōu)。與許多當前模型一樣，它是一個相對較小的模型（參數(shù)分別為7B、13B、33B和65B），經(jīng)過相對較長時間的訓練，因此與其大小相比具有相當強大的能力。

2023年3月3日 – 不可避免的事情發(fā)生了

一周內(nèi)，LLaMA被泄露給公眾。這對社區(qū)的影響不可估量。雖然現(xiàn)有許可證阻止了它被用于商業(yè)目的，但突然之間任何人都可以嘗試進行實驗。從此時開始，創(chuàng)新進展迅速。

2023年3月12日 – 語言模型在烤箱上運行

一個多星期后，Artem Andreenko讓模型在樹莓派上運行。此時，模型運行速度太慢，因為權重必須在內(nèi)存中分頁，實用性不強。盡管如此，這為一系列的模型縮小工作奠定了基礎。

2023年3月13日 – 筆記本電腦上的微調(diào)

第二天，斯坦福大學發(fā)布了Alpaca，為LLaMA增加了指令調(diào)優(yōu)。然而，更重要的是Eric Wang的alpaca-lora倉庫，它使用低秩微調(diào)在“單個RTX 4090上幾小時內(nèi)”完成了這個訓練。

突然之間，任何人都可以微調(diào)模型以執(zhí)行任何操作，這引發(fā)了一場關于低成本微調(diào)項目的競爭。論文中自豪地描述了他們總共花費了幾百美元。更重要的是，低秩更新可以輕松地與原始權重分開分發(fā)，使它們擺脫了Meta原始許可的約束。任何人都可以分享和應用它們。

2023年3月18日 – 現(xiàn)在它變快了

Georgi Gerganov使用4位量化使LLaMA在MacBook CPU上運行。這是第一個“無GPU”解決方案，速度足夠快，實用性很強。

2023年3月19日 – 一臺13B模型實現(xiàn)了與Bard的“平衡”

第二天，一個跨大學合作推出了Vicuna，并使用GPT-4驅(qū)動的評估來提供模型輸出的定性比較。雖然評估方法值得懷疑，但該模型比早期版本的表現(xiàn)要好得多。培訓成本：300美元。

值得注意的是，他們能夠使用來自ChatGPT的數(shù)據(jù)，同時規(guī)避其API的限制 – 他們只需從像ShareGPT這樣的網(wǎng)站上獲取“令人印象深刻”的ChatGPT對話樣本。

2023年3月25日 – 選擇您自己的模型

Nomic創(chuàng)建了GPT4All，這既是一個模型，更重要的是一個生態(tài)系統(tǒng)。這是我們第一次看到模型（包括Vicuna）聚集在一個地方。培訓成本：100美元。

2023年3月28日 – 開源GPT-3

Cerebras（不要與我們自己的Cerebra混淆）使用Chinchilla暗示的最佳計算計劃（optimal compute schedule）和μ參數(shù)化（u-parameterization）暗示的最佳縮放（optimal scaling）來訓練GPT-3架構。這在很大程度上優(yōu)于現(xiàn)有的GPT-3克隆，并且代表了μ參數(shù)化在實際應用中的首次確認使用。這些模型是從零開始訓練的，這意味著社區(qū)不再依賴于LLaMA。

2023年3月28日 – 一小時內(nèi)完成多模態(tài)訓練

使用一種新穎的參數(shù)有效微調(diào)（PEFT）技術，LLaMA-Adapter在一個小時內(nèi)引入了指令調(diào)優(yōu)和多模態(tài)。令人印象深刻的是，他們只用了120萬可學習參數(shù)。該模型在多模態(tài)ScienceQA上刷新了新的SOTA。

2023年4月3日 – 真實的人類無法分辨13B開放模型和ChatGPT之間的區(qū)別

伯克利推出了Koala，這是一個完全使用免費可用數(shù)據(jù)訓練的對話模型。

他們采取了衡量真實人類在他們的模型和ChatGPT之間的偏好的關鍵步驟。雖然ChatGPT仍然稍占上風，但超過50%的時間，用戶要么更喜歡Koala，要么無所謂。培訓成本：100美元。

2023年4月15日 – 開源RLHF達到ChatGPT水平

Open Assistant發(fā)布了一個模型，更重要的是，發(fā)布了一個用于通過RLHF進行對齊的數(shù)據(jù)集。在人類偏好方面，他們的模型接近ChatGPT（48.3%與51.7%）。除了LLaMA之外，他們展示了該數(shù)據(jù)集可以應用于Pythia-12B，為人們提供了使用完全開放堆棧運行模型的選擇。此外，由于數(shù)據(jù)集是公開可用的，它使得對于小型實驗者來說，RLHF從不可實現(xiàn)變得便宜且容易。

本文為深思圈編譯文章，轉(zhuǎn)載請聯(lián)系公眾號后臺參考材料

[1]https://www.semianalysis.com/p/google-we-have-no-moat-and-neither