ChatGPT:受驚駭?shù)木揞^們與焦慮中的軍備競賽
生成模型未來會成為一種基礎設施,帶給這個世界更多驚喜,但對單個公司影響力有限,處于產(chǎn)業(yè)鏈更上游的英偉達和臺積電很可能成為最大贏家;同時機會也可能來自那些最在乎確定性的行業(yè),因為該行業(yè)的傳統(tǒng)公司預計很難給予基于概率統(tǒng)計的人工智能技術以充足的投資,正如當年柯達不會給予基于數(shù)字圖像的數(shù)碼相機技術以充足的投資一樣,但也同當年數(shù)字技術一樣,人工智能技術在飛速發(fā)展。
ChatGPT 給微軟帶來了一張王牌,也讓 Google 等手握籌碼的大廠被迫加快了下注的速度和幅度。
由于大模型對算力、人才、數(shù)據(jù)有極高的需求,因此雖然新一代 AI 應用可能來自創(chuàng)業(yè)公司和開源社區(qū),但大公司在這一波科技浪潮中捕獲價值的能力不容忽視。
Ben Thompson 是美國知名科技評論作者,多年來對 FAANG 和其他科技公司進行了很多追蹤和分析。最近他從顛覆式創(chuàng)新的角度,分析了科技巨頭們在大模型和 AI 時代的優(yōu)勢和挑戰(zhàn)。
海外獨角獸一直在探索未來十年最重要的趨勢,如果要尋找新時代的蘋果和微軟,就需要更深入理解當下新技術與舊巨頭相遇碰撞出的火花。因此我們對 Ben Thompon 的觀點進行編譯,并對五大科技巨頭的布局補充說明。
2022 年蘋果從開源世界收到了一份令人難以置信的禮物:Stable Diffusion,這個模型未來有望集成進 iPhone 手機,開啟 APP Store 新一輪繁榮。
與蘋果面向消費者的業(yè)務相反,亞馬遜會通過 AWS 收到許多云端推理的訂單,但短期會有 GPU 算力不足的焦慮,長期則面臨推理成本久居不下,和下游公司自建數(shù)據(jù)中心的巨大變量。
Meta 應該加大對 GPU 數(shù)據(jù)中心的投資,從長期來看,無論是對于加深自身的廣告業(yè)務的護城河,還是將社交媒體和集成式 VR 設備作為生成式 AI 技術的入口而言,都會有極大的幫助。
對于 Google 而言,這家曾發(fā)明了 Transformer 模型的偉大企業(yè)和當年的柯達遭遇了同樣的困境,后者也是顛覆式技術數(shù)碼相機的發(fā)明者。因為聊天機器人無需用戶點擊,這顛覆了傳統(tǒng)的按點擊量付費的搜索 – 廣告商業(yè)模式。
不過,未來無法精準預測,曾經(jīng)被認為是顛覆式創(chuàng)新受害者典型代表的微軟,如今反而借助云計算等技術抵達新的浪潮之巔,同時,在生成式 AI 的新一輪技術革命中,微軟處在一個最好的生態(tài)位置,也正通過 Bing 結合 Chat GPT 的方式成為新的顛覆者。
生成模型未來會成為一種基礎設施,帶給這個世界更多驚喜,但對單個公司影響力有限,處于產(chǎn)業(yè)鏈更上游的英偉達和臺積電很可能成為最大贏家;同時機會也可能來自那些最在乎確定性的行業(yè),因為該行業(yè)的傳統(tǒng)公司預計很難給予基于概率統(tǒng)計的人工智能技術以充足的投資,正如當年柯達不會給予基于數(shù)字圖像的數(shù)碼相機技術以充足的投資一樣,但也同當年數(shù)字技術一樣,人工智能技術在飛速發(fā)展。
以下為本文目錄,建議結合要點進行針對性閱讀。
- 01 蘋果
- 02 亞馬遜
- 03 Meta
- 04 谷歌
- 05 微軟
- 06 英偉達
2022 年堪稱 AIGC 元年,首先出現(xiàn)了圖像生成模型,包括 DALL-E、MidJourney 以及開源的 Stable Diffusion,然后是 ChatGPT,發(fā)布僅兩個月用戶便已經(jīng)突破 1 億,擴張速度前所未見,表明我們已經(jīng)進入一個新的技術紀元。
為了確定 AI 時代可能的發(fā)展走向,不妨回顧一下 26 年前最著名的戰(zhàn)略書籍之一,克萊頓·克里斯坦森的《創(chuàng)新者的窘境》,他在其中提出了顛覆式創(chuàng)新(disruptive innovation)的概念:
大多數(shù)新技術促進了產(chǎn)品性能的提高,我把這些技術稱為漸進式(sustaining)技術,它們的共同點是沿著主要市場的主流客戶歷來重視的性能維度,改善現(xiàn)有產(chǎn)品的性能。在特定行業(yè)中,大多數(shù)技術進步是漸進的。
顛覆性技術為市場帶來了與以往截然不同的價值主張。一般來說,顛覆性技術在主流市場上的表現(xiàn)不如成熟產(chǎn)品。但它們有一些局部的,邊緣的(一般是新的)客戶看重的其他特點。一般情況下,基于顛覆性技術的產(chǎn)品更便宜,更簡單,更小,使用起來更方便。
通過觀察創(chuàng)新進入市場后現(xiàn)有公司的表現(xiàn),便很容易回顧歷史,并確定一項創(chuàng)新是漸進性創(chuàng)新還是顛覆性創(chuàng)新:如果創(chuàng)新是漸進的,那么現(xiàn)有公司變得更強大;如果是顛覆性的,那么估計初創(chuàng)公司會抓住大部分的價值。
回顧過去科技時代的節(jié)點:
- 個人電腦對幾乎所有的當時的大公司都是顛覆性的,這些相對便宜和低功率的設備在能力和利潤率方面甚至比不上微型計算機,更不用說大型機。所以 IBM 最初很樂意把個人電腦的芯片和操作系統(tǒng)分別外包給英特爾和微軟,然后將產(chǎn)品集成后滿足自己的企業(yè)客戶;但個人電腦的速度越來越快,當市場將過去的一切都甩在了身后,英特爾和微軟反超 IBM 占據(jù)了上風。
- 互聯(lián)網(wǎng)幾乎完全是顛覆式的市場創(chuàng)新,因此由全新的公司來定義,它們顛覆的領域,是在遠離技術的行業(yè),特別是涉及信息的行業(yè)(即媒體),這是谷歌、Facebook、在線市場和電子商務等的時代,所有這些應用都運行在由 Windows 和 Intel 驅動的個人電腦上。
- 云計算雖然是互聯(lián)網(wǎng)的一部分,但我認為它也是極具顛覆性的:商業(yè) X86 架構壟斷了專用服務器硬件,一大批 SaaS 初創(chuàng)公司從現(xiàn)有的公司中剝離出功能來建立公司。值得注意的是,云計算的核心基礎設施主要是由上個時代的贏家建造的:亞馬遜、微軟和谷歌,尤其是微軟,他們已經(jīng)把其傳統(tǒng)軟件業(yè)務已過渡到訂閱模式,逐漸 SaaS 化。
- 雖然移動互聯(lián)網(wǎng)最終被蘋果和谷歌主導,但這并不意味著它不是顛覆性的,蘋果創(chuàng)新了 UI 范式,要求消費者們不會把手機看作是小型電腦;谷歌則創(chuàng)新了商業(yè)模式,要求公司們不能把手機終端當作操作系統(tǒng)的直接利潤來源,而是看作廣告業(yè)務的護城河 。
這段歷史值得注意的是,顛覆性創(chuàng)新確實一直來自于市場的新進入者,但這些新進入者未必是初創(chuàng)企業(yè):以往的科技時代,一些最大的贏家往往是現(xiàn)有的大公司利用其現(xiàn)有業(yè)務優(yōu)勢進入新領域。同時,克里斯坦森理論在其他方面也是成立的:微軟在移動互聯(lián)網(wǎng)領域十分掙扎,是因為移動互聯(lián)網(wǎng)本身是顛覆性的,但由于微軟及時調(diào)整了自身的商業(yè)模式,所以云計算時代它并沒有被顛覆,反而在 SaaS 領域始終有漸進性創(chuàng)新。
鑒于現(xiàn)有公司在新世紀的成功,在思考人工智能的影響時,最明顯的起點是五個大廠:蘋果、亞馬遜、Facebook(Meta)、谷歌和微軟。
一、蘋果
著名的科技戰(zhàn)略書籍,喬爾·斯波爾斯基的《戰(zhàn)略信條》 第五章曾提到:
聰明的公司試圖讓它們產(chǎn)品的互補品商品化(commoditize their products’ complements)。
互補品是指兩種商品必須組合在一起才能滿足需要。例如,在相機價格不變時,如果作為其互補品的膠卷的價格大幅度上漲,則人們對相機的需求也會減少;膠卷價格下降,人們對相機的需求則會相應增加。
通俗一些理解,商品化就是用價值換錢的行為。產(chǎn)品商業(yè)化的過程就是產(chǎn)品尋求商品變現(xiàn)的過程,所有對產(chǎn)品的投入只有通過變現(xiàn)才能最終體現(xiàn)商業(yè)價值。
而斯波爾斯基是在解釋為什么大公司會投資開源軟件時寫下這句話:
無論是否開源,完成調(diào)試的代碼都是有成本的,即使你不為它支付現(xiàn)金,它也有機會成本、時間成本等。畢竟可用于開源工作的開發(fā)人員是有限的,每個開源項目都在與其他開源項目競爭同樣有限的編程資源,只有最有前景的項目才擁有足夠多的開發(fā)人員??傊覍δ切┰噲D證明免費軟件的狂熱經(jīng)濟性的人不感冒,一道“N 除以零”的數(shù)學計算題注定是錯誤的。
開源代碼依舊需要遵守經(jīng)濟規(guī)律,我們在 Eazel、ArsDigita、之前知名的 VA Linux 公司和其他許多公司中看到了這一點。但是許多非常大的上市公司,縱然負有使股東價值最大化的責任,但它們正在投入大量資金支持開源軟件,通常是通過支付大量的程序員團隊來進行工作。
這可以用“互補原則”作為解釋:在經(jīng)濟學中,當一個產(chǎn)品的互補品的價格下降時,對該產(chǎn)品的需求就會增加。一般來說,一個公司的戰(zhàn)略利益是讓它的補充產(chǎn)品的價格盡可能地低,理論上可持續(xù)的最低價格是 “商業(yè)價格”——即有一群競爭對手飽和式競爭后的產(chǎn)生的價格。因此,聰明的公司試圖讓它產(chǎn)品的互補品商品化,增加自己的產(chǎn)品的需求,賺取更多的利潤。
蘋果公司投資開源技術,比如開源操作系統(tǒng)的 Darwin 內(nèi)核和 WebKit 瀏覽器引擎,后者符合斯波爾斯基的分析,因為保證網(wǎng)絡與蘋果設備的良好運行可以使蘋果的設備更具價值。
與此同時,蘋果在人工智能方面的努力在很大程度上是閉源的:傳統(tǒng)的機器學習模型被用于推薦、圖像識別和語音識別等方面,但這些東西無法對蘋果的業(yè)務產(chǎn)生重大影響,不過,2022 年蘋果從開源世界收到了一份令人難以置信的禮物:Stable Diffusion。
Stable Diffusion 之所以引人注目,不僅僅因為它是開源的,還因為它的模型出奇地?。寒斔话l(fā)布時,它已經(jīng)可以在一些消費級顯卡上運行,在幾周內(nèi),它已經(jīng)被優(yōu)化到可以在 iPhone 上運行 。
這里壓縮至 iPhone 端運行的說法有些夸張,據(jù)官網(wǎng)展示信息,可以判斷目前該模型可以 Mac 端運行,且圖片生成時間較慢。
相比于大語言模型動輒千億的參數(shù)量,圖像生成模型事實上要小一些,OpenAI 基于擴散模型的閉源模型 DALL-E2 只有 35 億參數(shù)大小,而開源模型 Stable Diffusion 則在保持了生成質量的情況下將模型大小壓縮至 8.9 億 ;主流筆記本電腦集成顯卡顯存標準為 2GB ,剛剛滿足經(jīng)過專業(yè)優(yōu)化后的模型運行。
目前移動端設備顯存要低于筆記本電腦一個數(shù)量級,綜合技術進步,預計圖像生成模型 1-2 年后能集成進入手機終端,且體驗良好。
蘋果公司已經(jīng)抓住了這個機會,上個月其機器學習小組宣布了這個消息:
今天,我們很高興在 macOS 13.1 和 iOS 16.2 中發(fā)布對 Stable Diffusion 的 Core ML 的優(yōu)化,以及開始部署到蘋果設備的代碼……
Stable Diffusion 在任何應用程序中的一個關鍵問題是模型在哪里運行,在應用程序中,相比于基于服務器的方法,在設備上部署 Stable Diffusion 模型更有優(yōu)勢,原因有三條:首先,這能夠更好地保護終端用戶的隱私,因為用戶向模型輸入的任何數(shù)據(jù)都會留在用戶的設備上;其次,在初始下載后,用戶不需要互聯(lián)網(wǎng)連接就可以使用該模型;最后,在本地部署這個模型使開發(fā)者能夠減少或消除他們的服務器相關成本……
為 Stable Diffusion 優(yōu)化 Core ML 并簡化模型轉換,使開發(fā)者更容易以保護隱私和經(jīng)濟可行的方式將這項技術納入他們的應用程序,同時在蘋果設備上獲得最佳性能。該版本包括一個 Python 包,用于使用 diffusers 和 coremltools 將 Stable Diffusion 模型從 PyTorch 轉換到 Core ML,以及一個 Swift 包,用于部署這些模型。
值得注意的是,這一宣布分為兩部分:首先,蘋果對開源模型 Stable Diffusion 模型本身進行了優(yōu)化;其次,蘋果更新了其操作系統(tǒng),并針對蘋果自己的芯片進行了調(diào)整。
此外,似乎可以假設這只是一個開始:雖然蘋果多年來一直在自己的芯片上搭載所謂的 “神經(jīng)網(wǎng)絡引擎”,但這種人工智能專用硬件是根據(jù)蘋果自己的需求調(diào)整的,似乎未來的蘋果芯片(如果不是今年,可能是明年)也會為 Stable Diffusion 進行調(diào)整。同時,”Stable Diffusion” 本身也可以內(nèi)置于蘋果的操作系統(tǒng)中,任何應用程序的開發(fā)者都可以很容易地獲得 API。
這就帶來了這樣的前景:“足夠好 “的圖像生成能力將有效地內(nèi)置到蘋果的設備中,因此任何開發(fā)者都可以使用,而不需要像病毒式流行的 Lensa(Lensa 是一個多合一的圖像編輯應用程序) 那樣需要忙著擴大后端服務器的規(guī)模,最終贏家看起來像 App Store,蘋果公司贏在生態(tài)優(yōu)勢,而小型獨立應用程序制造商則擁有 API 和分銷渠道來建立新的業(yè)務。
另一方面,輸家將是像 Dall-E 或 MidJourney 這樣的集中式圖像生成服務,以及支撐它們的云供應商(以及迄今為止支撐上述 Lensa 等 Stable Diffusion 應用程序的云供應商)。雖然 Dall-E 和 MidJourney 都比 Stable Diffusion “好”,至少在我的估計中是這樣,蘋果設備上的 Stable Diffusion 不會占領整個市場,但內(nèi)置的本地能力將影響集中式服務和集中式計算的最終可處理市場。
二、亞馬遜
在圖像和文本生成這樣的 C 端場景中,亞馬遜的優(yōu)勢似乎不太明顯,重要的是 AWS,它可以在云中出售 GPU 的算力。
其中一些用于訓練,包括 Stable Diffusion, 根據(jù) Stability AI 的創(chuàng)始人兼首席執(zhí)行官 Emad Mostaque 的說法 ,該公司使用了 256 臺 Nvidia A100,所有顯卡總計耗時 15 萬小時,市場價格為 60 萬美元(這是個令人驚訝的低價),不過,更大的需求是推理,即實際應用模型來產(chǎn)生圖像(或文本,在 ChatGPT 的情況下),每次你在 MidJourney 中生成圖像,或在 Lensa 中生成頭像時,推理都是在云端的 GPU 上運行。
目前英偉達 80GB 顯存的 A100 顯卡售價約 1.7 萬美元,每張卡在云計算平臺租用約為 4 美元/小時。
Stable Diffusion 需要 256 張 A100 訓練,約 24 天,并向 AWS 支付 15 萬小時的價格,相比于動輒千億參數(shù)幾百上千萬美元開銷的語言生成模型,的確是很低的價格。
在過去兩年半里,類似 GPT-3 等模型的訓練成本下降了 80% 以上,目前僅需要 140 萬美元(首次訓練開銷約為 1200 億美元),高性能大語言模型的訓練成本將進一步降低。
亞馬遜在這一領域的前景將取決于若干因素:首先最明顯的是這些產(chǎn)品最終在現(xiàn)實世界中的實用性如何,除此之外,蘋果直接在終端生成 AI 也會對亞馬遜產(chǎn)生重大影響。好在亞馬遜本身就是一個芯片制造商:雖然它迄今為止的大部分努力都集中在其 Graviton CPU 上,但它可以為 Stable Diffusion 等模型建立的專用硬件,并在價格上競爭,同時 AWS 和 Nvidia 建立了良好的合作伙伴關系。
AWS Graviton 是由 AWS 設計的基于 ARM 架構的 64 位CPU。第一代于 2018 年推出的,第二代產(chǎn)品于2019年12月推出,已在AWS EC2 實例中得到廣泛應用,產(chǎn)品目前已迭代至第三代。
AWS 與 NVIDIA 已合作超過 10 年,提供基于 GPU 的解決方案,從云(使用 NVIDIA GPU 支持的 Amazon EC2 實例)到邊緣(使用部署了 NVIDIA Jetson Nano 模塊的 AWS IoT Greengrass 之類的服務)不等。
亞馬遜的短期大問題將是對于需求的衡量:他們目前沒有足夠的 GPU 滿足客戶的計算需求,但如果購買太多閑置的 GPU ,又會大大提高公司的運營成本。
更有挑戰(zhàn)的是:人工智能的挑戰(zhàn)之一是推理要花錢,換句話說,不同于傳統(tǒng)軟件,用人工智能做東西有邊際成本。
我認為在開發(fā)人工智能產(chǎn)品時邊際成本問題被大大低估了。
雖然云服務一直都有成本,但 AIGC 可能會使它難以實現(xiàn) product-market fit ,我并不認為 ChatGPT 對終端用戶是免費的,并可以由 OpenAI 的一家公司提供,實際上背后還有 Azure 的支持,OpenAI 不僅建立了自己的模型,還與微軟達成了計算能力的優(yōu)惠協(xié)議,這并不是一個偶然,長遠來看,或許 AWS 不得不廉價出售 GPU 算力,才會刺激更加繁榮的生成式應用。
當然,隨著時間的推移,這些成本應該會下降:模型會隨著芯片的進步變得更有效,而市場上需求的繁榮會給云服務帶來應有的規(guī)模回報。不過,除了上述蘋果在設備端推理的可能性之外,AWS 長期同樣會受到全棧集成的模型供應商的影響,這一切都是不確定的。
對于模型供應商而言,AI 計算的需求不同于傳統(tǒng)上所說的“云計算”:AI 訓練一般會占滿物理機,并不要求特別強的虛擬化,需要更高的性能和帶寬,同時很多任務是離線的。
換言之,對于以 Midjourney 為代表的既自己訓練模型又直接面向用戶的公司,未來未必會選擇公有云平臺,同時 AWS 在 AI 云計算方面能力并不領先于微軟云和谷歌云。
三、Meta
在 Meta Myth 中,我詳細說明了為什么對 Meta 來說,人工智能是一個巨大的機會,值得該公司巨額投資:
Meta 有巨大的數(shù)據(jù)中心,但主要是 CPU 集群,用來支撐 Meta 基于確定性的廣告模型和網(wǎng)絡內(nèi)容推薦算法業(yè)務。
不過,ATT(蘋果的透明跟蹤技術)的長期解決方案是建立概率模型,不僅要弄清楚客戶目標,還要了解哪些廣告轉化了,哪些沒有。這些概率模型將由大規(guī)模的 GPU 數(shù)據(jù)中心建立,一張 Nvidia 顯卡成本為五位數(shù),如果是過去那樣的確定性的廣告模型,Meta 并不需要投資更多的 GPU ,但技術在進步,Meta 需要面對全新的時代,在客戶定位和轉化率層面投入更多。
此外,基于概率模型的算法對網(wǎng)絡飛輪的持續(xù)增長至關重要:從互聯(lián)網(wǎng)中推薦內(nèi)容比只從你的朋友和家人那里推薦內(nèi)容要困難許多,特別 Meta 打算不僅推薦視頻,還推薦所有類型的媒體,并將其與你關心的內(nèi)容穿插在一起,這種情況下,人工智能模型也將是關鍵,而建立這些模型需要花費大量資金購買設備。
長遠看,關于顯卡的投資能得到豐富回報:首先,更精準的客群定位和轉化率可以幫助 Meta 重啟收入增長,其次,一旦這些人工智能數(shù)據(jù)中心建成,后續(xù)只需要支付維護和升級成本,這遠低于其建造成本;第三,這種大規(guī)模投資是其他競爭對手無法做到的,除了谷歌(不巧的是,谷歌的資本支出也將上升)。
ATT(蘋果的透明跟蹤技術) 對 Meta 的傷害比任何其他公司都大,因為后者是美國市場投放第一大平臺,但從長遠來看,它會加深 Meta 的護城河:自建 AI 數(shù)據(jù)中心這種水平的投資對于像 Snap 或 Twitter 或數(shù)字廣告領域的任何失敗的競爭者來說根本不可行,一方面是 Meta 的廣告算法水平會和其他競爭對手(谷歌除外)拉開差距,另一方面是由于自建數(shù)據(jù)中心它的費用又可以大大降低,到最后廣告商往往別無他選。
2021年 4 月 26 日,蘋果“應用追蹤透明” (App Tracking Transparency,簡稱 ATT) 隱私采集許可新政正式實施,用戶可以有權利自主選擇是否被應用開發(fā)者追蹤的自主權利,即模糊歸因了廣告的投放效果。
在 ATT 之前, 可以從內(nèi)部收集數(shù)據(jù)廣告商的應用和網(wǎng)站,非常確定哪些廣告導致了哪些結果。這反過來又讓廣告商有信心在廣告上花錢,不在乎成本投入,而是著眼于可以產(chǎn)生多少收入。ATT 切斷了 Meta 廣告與轉化之間的聯(lián)系,將后者標記為第三方數(shù)據(jù)并因此進行跟蹤。這不僅降低了公司廣告的價值,還增加了廣告轉化的不確定性。
蘋果政策發(fā)布當日,F(xiàn)acebook 股價應聲下跌 4.6%。
讓 Meta 的人工智能發(fā)揮作用的一個重要因素,不是簡單地建立基礎模型,而是不斷地針對個別用戶進行調(diào)整,這是最復雜的一部分,Meta 必須弄清怎么低成本地提供個性化用戶服務,同時 Meta 的產(chǎn)品也愈發(fā)集成化,它們不僅宣布自研 VR 設備芯片, 還打算自研服務器芯片,并發(fā)布上層 AI 軟件工具以簡化 Nvidia 、AMD 芯片之間的切換,同時也在開發(fā)自己的 AI 芯片。
長遠來看,雖然 Meta 之前投資人工智能的主線是個性化推薦,但這些與生成模型 2022 年的突破相結合,最終歸宿是個性化內(nèi)容,這些內(nèi)容將會通過 Meta 的渠道。 正如薩姆-萊辛(Sam Lessin)曾說:算法的終局是 AIGC,我在談到 Metaverse 時也表達了類似的觀點。
目前,看 Meta 的廣告工具如何發(fā)展將很有趣:生成模型和 A/B 測試的整個過程都可以由人工智能完成,在大規(guī)模提供這類能力方面,Meta 是領導者。從業(yè)務角度來說,Meta 的廣告更側重于吸引消費者的眼球,更追求瀏覽量而非高效地轉化,這也意味著有很多迭代的空間,也很方便人工智能技術切入,縱然上文提到第一代人工智能產(chǎn)品可能有邊際成本,但這些成本已經(jīng)遠低于人類。
Meta 從 2013 年便開始大規(guī)模投入 AI 研究,由神經(jīng)網(wǎng)絡提出者 Yann LeCun 主導成立的 FAIR,在很長一段時間里和 DeepMind、OpenAI 并肩走在時代前列,2022年1月,F(xiàn)AIR 并入 Reality lab 成為下屬子部門。
近一年 Meta 在生成模型層面進展加速:
- 2022年 1 月發(fā)布語音生成模型 Data2vec,該模型可以以相同的方式學習語音,視覺和文本,并于2022 年發(fā)布 Data2Vec2.0,大大提高了其訓練和推理速度;
- 2022年 5 月發(fā)布開源的語言生成模型 OPT(Open Pre-trained Transformer),同 GPT3 一樣使用了 1750 億參數(shù),并于2022年 12月 發(fā)布其更新版本 OPT-IML,還將為非商業(yè)研究用途免費開放;
- 2022年 7 月發(fā)布圖片生成模型 Make-A-Scene;
- 2022年 9 月發(fā)布視頻生成模型 Make-A-Video;
- 2023年 1 月發(fā)布首個 4D 場景生成模型 Make-A-Video3D,直接從文本描述中生成 3D 動態(tài)場景;
在 2022 財年報告上,扎克伯格說,Meta計劃將新技術集成到幾乎所有產(chǎn)品中,例如生成圖像,視頻,頭像和 3D 資產(chǎn),營銷人員可以使用生成式人工智能來幫助他們的付費帖子提供書面副本或創(chuàng)建圖像和視頻,從 2022 年 Q3 季度財報至今,Meta 股價已經(jīng)翻了一番(如下圖所示):
四、谷歌
《創(chuàng)新者的窘境》出版于 1997 年,當年柯達的股票達到了 94.25 美元的最高價,從技術看起來十分合理:柯達公司不僅主導了膠片技術,還發(fā)明了下一個浪潮產(chǎn)品:數(shù)碼相機;但問題出在了商業(yè)端:鹵化銀膠片利潤率非常高,讓柯達賺了很多錢,但數(shù)碼相機不需要膠片。當年柯達的管理層非常有動力說服自己:數(shù)碼相機永遠只適合業(yè)余愛好者,還需要等它們成本降下來,這需要很長的時間。
其實柯達的管理層是對的:從數(shù)碼相機的發(fā)明到數(shù)碼相機的銷售超過膠片相機的銷售,花了 25 年多的時間;而數(shù)碼相機在專業(yè)領域的應用,則花了更長的時間。在此期間,柯達賺了很多錢,并支付了數(shù)十億美元的分紅,雖然該公司在 2012 年破產(chǎn),但這是因為消費者有機會獲得更好的產(chǎn)品:首先是數(shù)碼相機,最后是內(nèi)置相機的手機。
除了這種快樂的結局,還有另一種相反的觀點:大多數(shù)人認為柯達是一個失敗,因為我們期望公司能夠永遠活著。在這種觀點中,柯達是一個警示,說明一個創(chuàng)新的公司如何因為商業(yè)模式導致最終滅亡,即使消費者在公司覆滅的過程中得到更好的東西。
因此,今天看谷歌和人工智能,谷歌發(fā)明了 Transformer 模型,這是支撐大模型浪潮的關鍵技術。據(jù)傳聞,谷歌有一款對話聊天產(chǎn)品,效果遠優(yōu)于 ChatGPT,同時谷歌聲稱其圖像生成能力比 Dall-E 或市場上的任何其他人都要好,然而,這些都只是說法,市場上沒有見到實際產(chǎn)品。
2022 年 12 月,谷歌 CEO 宣布內(nèi)部拉響“紅色警報”以應對來自 Chat GPT 的挑戰(zhàn),2023 年 1 月 21 日,紐約時報報道已經(jīng)退出日常工作的谷歌創(chuàng)始人 Larry Page 和 Sergey Brin 受現(xiàn)任 CEO 邀請回公司參加 AI 戰(zhàn)略和產(chǎn)品會議,總共約 20 個項目將在 23 年推出。
2023 年 2 月 6 日谷歌母公司 Alphabet 的首席執(zhí)行官桑達爾·皮查伊發(fā)文稱,該公司將推出一項名為 Bard 的對話式人工智能服務,Bard 將由谷歌開發(fā)的大型語言模型 LaMDA 驅動。22 年 5 月時,一名谷歌軟件工程師公開宣稱這一人工智能是“有感知力的”,這一引發(fā)爭議的說法后來受到了審查。
從技術儲備層面講,谷歌是領先于 OpenAI 的,只不過很多前沿進展沒有和業(yè)務結合:
? 生成模型端:
? 對話模型 LaMDA;
? 目前最大的參數(shù)量(5400億)通用語言生成模型 PaLM;
- Ⅰ. 2022年8月,PaLM-saycan,具身機器人,基于機器人動作序列數(shù)據(jù)集;
- Ⅱ. 2022年12月,Med-PaLM,醫(yī)療機器人,基于醫(yī)療領域數(shù)據(jù)集;
- Ⅲ.(正在開發(fā))PaLM-Coder 2,代碼生成工具;
? 圖像生成模型 Imagen;
? 音樂生成模型 MusicLM。
? AI 系統(tǒng)端:
? 大模型訓練系統(tǒng) Pathway 平臺;
? 自研 Tensorflow 和 Jax 框架;
? 谷歌云和 TPU 芯片。
同時 Google 于 2022 年底向 OpenAI 競爭對手 Anthropic 投資 3 億美元,投資條款類似微軟投資 OpenAI,包括要求 Anthropic 使用谷歌云的算力,以及從 Pytorch 切換至 JAX 框架。Anthropic 團隊主要來自 OpenAI,自稱“是一家人工智能安全和研究公司,致力于構建可靠、可解釋和可操縱的人工智能系統(tǒng)”,近期內(nèi)測了一款名為 Claude 的智能聊天機器人,據(jù)稱在多項指標上優(yōu)于 Chat GPT。
2 月 8 日,谷歌在 Google presents : Live from Paris 大會上首次展出 Bard ,但整場發(fā)布會沒有過多關于 Bard 的內(nèi)容,還在展示的 Demo 中犯了事實性錯誤,當日股價下跌 3%,作為對比,微軟股價上漲 6% 。
長期以來,谷歌一直是 AI 領域的領導者,他們使用機器學習技術不斷優(yōu)化搜索產(chǎn)品和其他消費者服務產(chǎn)品,并通過谷歌云將該技術作為一項服務提供。不過,搜索一直依賴于人類作為最終的仲裁者,谷歌只提供鏈接,最后需要通過用戶選擇正確的鏈接,這也延伸到了廣告。在二十年前,谷歌的服務是革命性的,它首創(chuàng)了依據(jù)點擊量收費的商業(yè)模式,顛覆了傳統(tǒng)的只依靠模糊印象的品牌性廣告投放方式。
2015 年,我在《谷歌和戰(zhàn)略的局限性》一文中寫到了這對谷歌在人工智能世界中的業(yè)務帶來的難題:
在昨天的主題演講中,谷歌首席執(zhí)行官桑達爾-皮查伊 (Sundar Pichai) 在回顧了 PC -網(wǎng)絡-移動時代的科技歷史之后,宣布我們正在從一個 Mobile-first 的世界轉向 AI-first 的世界,順勢推出了谷歌助理。
一年以后蘋果 iOS 6 則首次以 Siri 的名義引入了助手的概念,你第一次可以(理論上)通過語音進行計算,起初它的效果并不好(可以說現(xiàn)在也是如此),但它對計算機和谷歌的具體影響是深遠的:語音交互擴大了計算的范圍,盡管有一定限制,但它把你的眼睛和雙手從設備中解放出來。AI 助手必須比搜索結果頁面更加積極主動,僅僅提供可能的答案是不夠的,相反,它們需要給出正確答案。
這是谷歌技術的一個可喜的轉變,從一開始,搜索引擎就包括一個 “我感覺很幸運 “的按鈕,谷歌創(chuàng)始人拉里-佩奇對搜索引擎能夠提供你想要的確切結果如此有信心,雖然昨天的谷歌助理演示是有劇本的,但它在涉及上下文感知時候,比市場上的其他助理更驚艷,延申開來,當涉及到作為其助手基礎的 AI 技術時,谷歌是公認的領導者。
不過,一個企業(yè)不僅僅是技術問題,特別是在涉及到 AI 助手時,谷歌有兩個重大缺陷:首先,該公司缺少一個終端的入口 :助手只有在可用的情況下才有用,對于數(shù)以億計的 iOS 用戶來說,這意味著下載和使用一個單獨的應用程序(或者建立像 Facebook 那樣的體驗,用戶會愿意花大量的時間)。其次,如果用戶不必從搜索結果中進行選擇,便沒有機會點擊廣告,這對于 Google 現(xiàn)有商業(yè)模式有很大沖擊。
當年那篇文章結論導向谷歌助理將集成入谷歌手機作為獨家入口,現(xiàn)在看是錯的,但基本的分析仍然有效。在過去七年里,谷歌的主要商業(yè)模式創(chuàng)新是將更多的廣告塞進搜索中,這在移動端尤其有效。而且坦率地說,谷歌掙錢最多的那種搜索:旅游、保險等,都不太適合聊天界面。
所以谷歌的管理層可能需要越來越擔心,在特定的搜索場景中,生成式 AI 代表的是顛覆式創(chuàng)新而非漸進式創(chuàng)新。而在開始的時候,顛覆性創(chuàng)新往往不如現(xiàn)有的產(chǎn)品好,所以它很容易被谷歌的經(jīng)理們駁回,來避免思考商業(yè)模式的挑戰(zhàn)。但顛覆性的產(chǎn)品注定會變得更好,同樣的當前產(chǎn)品會變得越來越臃腫和難以使用,聽起來好像谷歌搜索目前的軌跡。
我沒有說谷歌注定會衰落,我以前也這么說過,但錯得離譜,谷歌也有它的云計算,YouTube 的主導地位依舊在強化,但搜索業(yè)務似乎已經(jīng)抵達巔峰似乎很清楚,即使多年來它保持著豐沛的現(xiàn)金流,貢獻了海量利潤。
五、微軟
微軟似乎是所有公司中生態(tài)位最好的,像 AWS 一樣,它有一個銷售 GPU 的云服務,它也是 OpenAI 的獨家云供應商,這些投資都是令人難以置信的昂貴 ,但鑒于 OpenAI 似乎有成為這個時代最強人工智能公司的潛質,所以這些基礎設施的投入都是值得的。
? 2019 年,微軟向 OpenAI 投資 10 億美元,其中包括要求其云計算平臺從谷歌云遷移至 Azure,這十億美元很大一部分是以云計算積分形式進行,根據(jù) The Information 查看的數(shù)據(jù),
公司在截至 2019 年年中的財年中,即在獲得微軟投資之前的一整年中,在微軟產(chǎn)品上花費了 84.5 萬美元,在微軟投資后的第一個完整年度,OpenAI 在扣除信用額度后僅大約花費了 5.2 萬美元。
? 2022年,微軟計劃對 OpenAI 追加 100 億美元的投資,這筆資金還包括其它風險投資機構:
? 投資后微軟將獲得 OpenAI 的 75% 利潤,直到它收回投資,在這之后微軟將獲得 OpenAI 49%,其他投資者獲得另外 49% 的股份,OpenAI 的非營利性母公司獲得 2% 的股份。
? 盈利后的 OpenAI 的利潤分配將按照以下四個階段進行:
- 第—階段將優(yōu)先保證埃隆馬斯克、彼得泰爾、雷德霍夫曼等首批投資者收回初始資本;
- 第二階段,微軟將有權獲得 OpenAl 的利潤,直至收回其 130 億美元投資;
- 第三階段,在 OpenAI 的利潤達到 920 億美元后,微軟在該公司的持股比例將下降到 49% , 剩余 49% 的利潤由其他風險投資者和 OpenAI 的員工分享;
- 第四階段,在利潤達到 1,500 億美元后,微軟和其他風險投資者的股份將無償轉讓給 OpenAI 的非營利基金。
與此同時,Bing 就像 iPhone 前夕的 Mac 一樣:它確實貢獻了相當多的收入,但這些只占了微軟整體份額的一小部分。而 Bing 搜索引擎與 Chat GPT 的結合,從搜索引擎的視角看是一個比較有風險的商業(yè)模式,但這樣一個挑戰(zhàn) Google 的機會,值得一搏。
2023 年 2 月 8 日,微軟發(fā)布 GPT-4 支持的 Bing 和 Edge 瀏覽器,新版 Bing 除了傳統(tǒng)搜索展示的網(wǎng)頁鏈接,還會在網(wǎng)頁右側直接給出答案。
CEO 薩提亞·納德拉在發(fā)布會后的一場專訪上對媒體表示,自十五年前的云計算浪潮之后,AI 是少有的能讓他如此興奮的新技術。他還強調(diào),AI 加持的搜索引擎,是他在任 CEO 9 年來微軟公司“最重要的產(chǎn)品”。
關于搜索成本的計算:
- 理論層面目前推算單次搜索成本為 0.5 美分,谷歌日均 10 億次搜索,目前市場占有率 91%,引入聊天機器人后可能會使成本提高 1-2 倍,大概占 Google 年營收 15%–25%;
- 未來通過模型蒸餾、系統(tǒng)優(yōu)化、芯片提升等三個維度的技術進步,該成本有望每半年下降一半以上;
- 但 Bing 本次的演示表明實際產(chǎn)品中的搜索成本并不是簡單的一次搜索和一次生成的成本相加,而是有機的結合,具可靠信息:本次演示的 Bing 的搜索成本比 Google 高 2 個數(shù)量級。
同時, 來自 The Information 的最新報道稱,GPT 最終將進入微軟的生產(chǎn)力應用程序,代碼生成工具 GitHub Copilot(它建立在 GPT 之上)的成功,讓它找到了一個很好的創(chuàng)新點。
2023 年 2 月 2 日,微軟 CEO 薩蒂亞·納德拉(Satya Nadella)透露,計劃將 ChatGPT 等人工智能工具整合到旗下所有的產(chǎn)品中,包括且不限于 Bing 搜索引擎、Office、Azure 云服務、Teams 等,并將其作為平臺提供給其他企業(yè)使用。
未來我們可以享受的服務:
- 我們可以通過 VS code 訂閱 Github Copliot 產(chǎn)品輔助編程;(VScode 和 Github 均為微軟旗下產(chǎn)品);
- 可以使用集成了 ChatGPT 的搜索引擎;
- 在終端零成在本地享受集成了生成模型的 Windows 系統(tǒng)和 Office 套件;
- 可以在 Azure 云服務上調(diào)用 GPT 和 DALL-E 系列;
- 可以在 Teams 上享受 ChatGPT 助理的輔助辦公。
重要的是,增加新的功能,與微軟的訂閱商業(yè)模式完全相符,令人感慨的是,這家公司曾被認為是顛覆式創(chuàng)新受害者的典型代表,但現(xiàn)在來看,它們反而借助顛覆式技術抵達了更高的平臺。
過去十年微軟的股價上漲 9 倍,標普 500 指數(shù)上漲約 4 倍,而曾經(jīng)的顛覆式創(chuàng)新者 Google 上漲僅 4 倍。
六、英偉達
最大的贏家可能是 Nvidia 和臺積電,Nvidia 對 CUDA 生態(tài)系統(tǒng)的投資意味著該公司不僅擁有最好的人工智能芯片,還擁有最好的人工智能生態(tài)系統(tǒng),它們目前正在投資擴大該生態(tài)系統(tǒng)的規(guī)模 。當然,這同樣來自谷歌的 TPU 等內(nèi)部芯片的競爭,不過,至少在可預見的未來,所有人都將在臺積電制造他們的芯片。
英偉達數(shù)據(jù)中心的業(yè)務在 2023 年 Q1 正式超越游戲業(yè)務成為第一大業(yè)務,據(jù)其 2023 財年第三季度財報顯示:數(shù)據(jù)中心業(yè)務同比增長 31% 達到 38 億美元,而游戲業(yè)務收入下降 51% 至 16 億美元;
目前在數(shù)據(jù)中心 GPU 領域,英偉達壟斷地位甚至強于消費端:
- 市占率常年穩(wěn)定在 80% 附近,據(jù) Top500.Org 數(shù)據(jù)顯示:英偉達 GPU 產(chǎn)品在全球 Top 500 超算中心的滲透率逐年提高,由 2013H1 的 72.2% 提升至 2021H2 的 90.3%,研究文獻中引用英偉達 GPU 的次數(shù)是頂級AI芯片初創(chuàng)公司總和的 90 倍;
- 同時其 CUDA 生態(tài)開發(fā)開發(fā)者在過去兩年翻了三倍到接近 350 萬,形成了強大的軟件生態(tài)護城河,并不會擔心來自谷歌 TPU 等專用 ASIC 芯片的競爭;
- 目前人工智能領域的算力需求約每 3.5 個月翻一倍,導致其芯片常年供不應求,即使最新一代 H100 芯片已經(jīng)發(fā)布,上一代芯片 A100 市場價較發(fā)布初期依舊有所上漲,這在硬件端是極不尋常的事情;
- 繼摩爾定律后,英偉達 CEO 黃仁勛提出黃氏定律:每 12 個月 GPU 性能翻一倍,且不受物理制程約束。
不過,摩根斯坦利最近的報告認為:長期訓練用硬件的增長速度會比較平穩(wěn),正在開發(fā)的語言模型大小預計不會更快增長。
另外,推理成本是一個高估的數(shù)字,市面上的計算都是基于 A100 的成本進行推測,但 A100 不是推理專用芯片。Azure 在云產(chǎn)品中建議推理工作應該運行在 Nvidia T4 上,硬件成本比 A100 低 80%,功率效率更高,所以預計每次推理成本未來會迅速降低。
由于英偉達沒有在推理端壟斷,這指向了一個新的兵家必爭之地——更具性價比的新型架構 AI 推理芯片,AMD、Intel 和創(chuàng)業(yè)公司都有機會。推理市場可能比訓練市場更具前景。
關于人工智能的潛在影響,還有很多東西要寫,但這篇文章已經(jīng)夠長了,從新公司的角度來看,OpenAI 顯然是最有趣的:OpenAI 有可能成為所有其他人工智能公司賴以生存的平臺,這將最終意味著 OpenAI 之外的人工智能的經(jīng)濟價值可能相當有限。
還有另一種可能性,即除了圖像生成之外,開源模型在文本生成領域也會激增,在這個世界上,人工智能成為一種基礎設施:這可能是對世界影響最大的結果,但矛盾的是,對單個公司的影響很弱,所以我懷疑最大的機會將出現(xiàn)在那些最在乎確定性的行業(yè):因為該行業(yè)的傳統(tǒng)公司很難給予基于概率統(tǒng)計的人工智能技術以充足的投資,正如當年柯達不會給予基于數(shù)字圖像的數(shù)碼相機技術以充足的投資一樣,但也同當年數(shù)字技術一樣,人工智能技術在飛速發(fā)展。
最大的影響也可能是在我們的雷達之外, 納特·弗里德曼在 Stratechery 采訪中告訴我 Riffusion ,它使用 Stable Diffusion 法通過視覺聲波圖從文本中產(chǎn)生音樂,這讓我想知道當圖像真正普及開后還有什么可能。文本是通用的界面 ,因為自文字發(fā)明以來,文本一直是信息傳遞的基礎,然而人類又是視覺動物,人工智能在圖像的創(chuàng)造和解釋方面的可用性可能會從根本上改變傳遞信息的方式,這也是無法預測的。
目前,我們的預測必須受到更多的時間限制,而且要適度,這或許是人工智能時代的開始,但即使在科技領域,時代也需要十年或更長時間來改變周圍的一切。
Reference
1.原文鏈接:AI and the Big Five – Stratechery by Ben Thompson
https://stratechery.com/2023/ai-and-the-big-five/
2.《創(chuàng)新者的窘境》
http://claytonchristensen.com/books/the-innovators-dilemma/
3.廣告業(yè)務的護城河
https://abovethecrowd.com/2011/03/24/freight-train-that-is-android/
4.《戰(zhàn)略信條》
https://www.joelonsoftware.com/2002/06/12/strategy-letter-v/
5.Stable Diffusion 可在 Iphone 上運行
https://stratechery.com/2022/lensa-and-stable-diffusion-stable-diffusion-and-apple-silicon-open-questions/
6.蘋果公司模型優(yōu)化
https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-silicon
7.Stability AI 的創(chuàng)始人兼首席執(zhí)行官 Emad Mostaque 發(fā)言
https://twitter.com/EMostaque/status/1563870674111832066
8.Meta Myth
https://stratechery.com/2022/meta-myths/
9.自研 VR 設備芯片
https://stratechery.com/2022/metas-chip-decision-horizon-worlds-platform-fees-metas-missing-metaverse-strategy/
10.上層 AI 軟件工具
https://www.reuters.com/technology/meta-launches-ai-software-tools-help-speed-up-work-blog-2022-10-03/
11.算法的終局是 AIGC
https://stratechery.com/2022/instagram-tiktok-and-the-three-trends/
12.Metaverse 訪談
https://stratechery.com/2022/dall-e-the-metaverse-and-zero-marginal-content/
13.谷歌和戰(zhàn)略的局限性
https://stratechery.com/2016/google-and-the-limits-of-strategy/
14.谷歌的缺陷:終端入口
https://stratechery.com/2016/googles-go-to-market-gap/
15.谷歌的未來
https://stratechery.com/2014/peak-google/
https://stratechery.com/2019/the-google-squeeze/
16.微軟獨家云供應商
https://www.theinformation.com/articles/why-openai-spent-barely-a-dime-on-microsofts-cloud-after-1-billion-deal
17.The Information 最新報道
https://www.theinformation.com/articles/ghost-writer-microsoft-looks-to-add-openais-chatbot-technology-to-word-email
18.英偉達人工智能生態(tài)系統(tǒng)
https://stratechery.com/2022/nvidia-in-the-valley/
19.Top500.Org
20.納特-弗里德曼在 Stratechery 的采訪
https://stratechery.com/2022/an-interview-with-daniel-gross-and-nat-friedman-about-chatgpt-and-the-near-term-future-of-ai/
21.Riffusion
https://arstechnica.com/information-
technology/2022/12/riffusions-ai-generates-music-from-text-using-visual-sonograms/
22.文本是通用的界面
https://scale.com/blog/text-universal-interface
https://stratechery.com/2022/the-ai-unbundling/
23.其他參考鏈接
https://mp.weixin.qq.com/s/cvzlLPg0cNMtybvfbNqmSQ
https://stratechery.com/2023/ai-and-the-big-five/
https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
https://sunyan.substack.com/p/the-economics-of-large-language-models
https://mp.weixin.qq.com/s/oM0V0MymMbanJddzABYDDQ
https://stratechery.com/2022/meta-myths/
https://aws.amazon.com/cn/free/machine-learning/
作者:拾象;公眾號:海外獨角獸
原文鏈接:https://mp.weixin.qq.com/s/TtUX5FYNZL5BMICOV3wdYQ
本文由 @海外獨角獸 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載。
題圖來自 Pexels,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務
- 目前還沒評論,等你發(fā)揮!