月之暗面撞上算力墻?
Kimi在更新支持更長文本處理后,用戶量激增,但隨即面臨算力瓶頸,導(dǎo)致服務(wù)不穩(wěn)定。文章深入探討了大模型產(chǎn)品在追求規(guī)模效應(yīng)和網(wǎng)絡(luò)效應(yīng)時,如何平衡算力資源與用戶體驗之間的矛盾。同時,分析了大模型公司在商業(yè)化道路上的挑戰(zhàn),以及資本市場對AI技術(shù)商業(yè)前景的擔(dān)憂。
“不好意思,剛剛和Kimi聊的人太多了。Kimi有點累了,可以晚點再問我一遍?!苯谡谮s畢業(yè)論文的婁曉彤,時不時仍會收到AI助手Kimi無法使用的提示。
作為大模型初創(chuàng)公司月之暗面旗下的To C應(yīng)用,自3月份更新成為國內(nèi)首個支持200萬字上下文的大模型產(chǎn)品后,Kimi爆火出圈,QuestMobile數(shù)據(jù)顯示,Kimi 應(yīng)用月活用戶量在3月份飆升至589.7萬,但算力焦慮也隨之而來。即便距產(chǎn)品更新已經(jīng)過去一個多月,婁曉彤的遭遇仍在部分用戶身上逐一上演。
月之暗面向字母榜解釋稱,“其實是因為每天都有相對的高峰期和低谷期,高峰期可能會遇到(類似婁曉彤的)情況?!?/p>
每次產(chǎn)品更新,對大模型公司而言都是一次流量和算力的雙重考驗。在3月18日宣布支持200萬字上下文后,彼時Kimi便遭遇一次大規(guī)模宕機:從3月21日開始,Kimi APP和小程序被爆均無法正常使用。月之暗面隨后發(fā)布情況說明,“觀測到Kimi的系統(tǒng)流量持續(xù)異常增高,流量增加的趨勢遠超對資源的預(yù)期規(guī)劃?!?/p>
理論上,Kimi等AI助手可以支持的用戶量幾乎沒有上限,只要大模型公司能夠提供源源不斷的算力供給,但這背后涉及的卻是一個現(xiàn)實的效率平衡問題,在商業(yè)化尚未走向閉環(huán)的當(dāng)下,這也是一眾大模型產(chǎn)品的共同難題:配置冗余算力,難免帶來部分時間段內(nèi)的資源浪費;配置緊張算力,則不可避免會在高峰期內(nèi)影響用戶體驗。
尚需投資儲備算力資源的月之暗面,在近期被爆出創(chuàng)始人楊植麟通過售出個人持股已套現(xiàn)數(shù)千萬美元消息后,更是一時間引發(fā)諸多猜測。
被商業(yè)化絆住的不止Kimi。就連行業(yè)老大哥微軟推出的AI編程工具GitHub Copilot,哪怕已經(jīng)坐擁180萬付費用戶,仍陷在入不敷出狀態(tài):去年10月,月費10美元的GitHub Copilot,被爆平均每個月在每個用戶身上都要倒貼20美元,最高能達80美元。
同樣困在商業(yè)變現(xiàn)中的OpenAI,為了盡可能追求效率平衡,在免費版ChatGPT之外,特意設(shè)計出了付費版ChatGPT Plus。高峰時段,ChatGPT Plus用戶將享有優(yōu)先使用權(quán),可以獲得更迅速的服務(wù)響應(yīng)。
但隨著用戶規(guī)模暴漲,自去年2月推出付費版以來,OpenAI曾幾度暫停ChatGPT Plus新用戶注冊,給出的理由是“需求量過大”,導(dǎo)致算力資源出現(xiàn)缺口。
大模型產(chǎn)品的規(guī)模效應(yīng)和網(wǎng)絡(luò)效應(yīng)仍處在市場潛伏期。這也使得部分投資人開始對大模型產(chǎn)品去魅,典型代表如金沙江創(chuàng)投主管合伙人朱嘯虎,其在接受騰訊科技采訪中表示,從2023年下半年開始,自己便決定不再和美國同事開原定每周一次的遠程例行會議,探討兩邊大模型產(chǎn)業(yè)格局變化,“打了半年我不打了,沒有意義?!毕啾绕诖竽P彤a(chǎn)品在未來某一時刻迎來“iPhone時刻”,朱嘯虎更在意當(dāng)下能馬上變現(xiàn)的To B應(yīng)用。
資本市場對大模型商業(yè)化的擔(dān)憂更是進一步體現(xiàn)在剛剛發(fā)布財報的Meta身上?!凹词箤⑽覀兊脑S多現(xiàn)有資源轉(zhuǎn)移到人工智能上,在我們從這些新產(chǎn)品中獲得大量收入之前,我們?nèi)匀恍枰獢U大我們的投資范圍……這將是一個持續(xù)多年的投資周期?!痹瞬裥鏀U大對AI投資話音落地,當(dāng)?shù)貢r間4月25日,Meta股價盤后應(yīng)聲下跌超10%。
對于Kimi這類缺乏自身造血能力的大模型創(chuàng)業(yè)公司而言,相比Meta,其面臨的挑戰(zhàn)只多不少:在這場效率平衡游戲中,它們宛如行走在懸于空中的鋼絲繩上的雜技演員,投資款便是平衡木,到達對岸的唯一路徑,便是在投資款耗盡之前,找到能夠自我造血的商業(yè)模式。
01
春節(jié)期間,婁曉彤被身邊同學(xué)安利了Kimi,當(dāng)時Kimi支持的上下文長度只有20萬字。加上彼時還未出圈,在日常使用中,婁曉彤基本沒遇過無法使用情況。
隨著Kimi將上下文長度擴展到200萬字,并通過在資本市場上衍生出Kimi概念股火速出圈,從3月中旬開始,婁曉彤遭遇Kimi提示“有點累了”的情況,逐漸多了起來。
婁曉彤正在遭遇的算力緊張,從Kimi誕生后便已是注定的局面。去年3月創(chuàng)立月之暗面后,楊植麟便定下了做產(chǎn)品的兩大思路:只做To C,且堅持長文本路線。
圖源:月之暗面官網(wǎng)截圖
文本長度和算力成本之間不可調(diào)和的矛盾,以及To C和高額營銷成本之間的取舍,成為擺在楊植麟面前的兩重平衡難題。
3月份Kimi借助支持200萬字上下文出圈后,新浪科技曾報道稱,Kimi用戶獲客成本達到12元-13元,其每天獲客成本超過20萬元。
大模型耗錢也早在楊植麟預(yù)料之中?!八枰瞬啪奂?、資本聚集。”楊植麟形容道。
短短一年多時間內(nèi),月之暗面已經(jīng)拿下近百億人民幣投資:2023年,月之暗面完成兩輪總計近20億人民幣投資;今年2月份,月之暗面完成新一輪10億美元融資,由阿里巴巴領(lǐng)投,紅杉中國、小紅書、美團等機構(gòu)跟投,投后估值超過25億美元。
近百億融資款,更多都被用以支付算力資源。據(jù)市界報道,新一輪10億美元融資款中,領(lǐng)投方阿里出資的8億美元并非全是現(xiàn)金,其中部分將以阿里云提供的算力結(jié)算。
這方面行業(yè)早有慣例。更早之前微軟百億美元投資OpenAI,其中大部分投資款便是以微軟云服務(wù)提供的算力資源結(jié)算。在微軟參投之前,OpenAI其實是從谷歌云服務(wù)采購算力資源。如此一來,微軟投出去的錢,大部分又以云服務(wù)的方式流了回來。
更重要的是,微軟還借此完成了股價飆升,總市值不僅突破3萬億美元,更是超越蘋果,成為全球市值最高上市公司。
亞馬遜隨后便來了個有樣學(xué)樣。今年3月底,亞馬遜正式完成對OpenAI最強對手Anthropic 40億美元的投資。與OpenAI一樣,Anthropic也需要選擇亞馬遜作為其主要云服務(wù)商。
02
因算力資源而導(dǎo)致服務(wù)中斷的現(xiàn)象,不只發(fā)生在Kimi一家身上,包括文心一言、ChatGPT等,都曾出現(xiàn)過無法正常使用的情況。
據(jù)字母榜不完全統(tǒng)計,每次產(chǎn)品更新升級的節(jié)點,便是大模型產(chǎn)品可能迎接“崩盤”命運的開始。
去年4月份,ChatGPT付費版本推出2個月后,ChatGPT Plus被爆暫停新用戶注冊,OpenAI給出的理由是“需求量過大”,導(dǎo)致算力資源出現(xiàn)缺口。付費通道恢復(fù)正常后,OpenAI再次收緊GPT-4的互動次數(shù),從每4小時100條消息降為每3小時25條消息。
7個月后的2023年11月,OpenAI在首屆開發(fā)者大會上帶來一系列產(chǎn)品更新:全新GPT-4 Turbo、自定義GPT以及上線GPT商店。在大會結(jié)束后的短短兩天內(nèi),ChatGPT服務(wù)器再次崩潰:用戶數(shù)量的激增又一次超過了OpenAI的算力容量。
作為OpenAI CEO的山姆·奧特曼都不得不親自下場致歉,稱新功能的熱度遠遠超出了公司預(yù)期。“由于負載的原因,短期內(nèi)可能會出現(xiàn)服務(wù)不穩(wěn)定的情況,對不起?!?/p>
最近一次“崩盤”發(fā)生在4月份。為了再次降低使用門檻,擴大用戶量,在全球185個國家/地區(qū)累積超1億每周用戶量后,OpenAI宣布用戶無需注冊賬戶就可以使用ChatGPT,“我們正在逐步推出這一功能,目的是讓任何對其功能感興趣的人都可以使用人工智能?!?/p>
在OpenAI還沒來得及將上述新功能擴散到全球所有地區(qū)時,社交媒體上已經(jīng)陸續(xù)有用戶反饋,自己在與ChatGPT互動時又被提示“系統(tǒng)錯誤”了。
除了采購更多算力資源來提升用戶體驗之外,一眾大模型公司也在想方設(shè)法通過降低算力成本來滿足更多用戶需求。
截至4月份,國內(nèi)文心大模型推理性能被爆提升了105倍,推理成本降到了原來的1%。這意味著,客戶原來一天調(diào)用1萬次,同樣成本現(xiàn)在可以調(diào)用100萬次。
國外OpenAI的奧特曼,更是在近期接受采訪時預(yù)言,“我們(OpenAI)可以將非常高質(zhì)量的AI技術(shù)成本降至接近零……如果我們沒有制造足夠的計算資源、供應(yīng)和需求失衡,或計算成本攀升,這將導(dǎo)致AI成本非常高?!痹趭W特曼看來,未來AI技術(shù)成本將會變得越來越便宜。
03
使用更高效的硬件,便是推動AI技術(shù)成本降低的直接手段。
幾乎在奧特曼預(yù)測AI技術(shù)成本將變得越來越便宜的同一時期,英偉達創(chuàng)始人黃仁勛又來給OpenAI送芯片,這次是量產(chǎn)最強一代的全球第一臺Nvidia DGX H200超級計算機。OpenAI總裁格雷格·布羅克曼還特意曬出了自己、奧特曼與黃仁勛的三人大合照。
但對于已經(jīng)無法獲得英偉達最強芯片的中國大模型公司而言,借助人才優(yōu)化算法以減少算力需求,則是另一條降低AI技術(shù)成本的路徑。
4月23日,界面新聞爆出楊植麟通過售出個人持股已套現(xiàn)數(shù)千萬美元消息后,月之暗面隨即對外回應(yīng)稱“消息不實”,并向媒體發(fā)來了一則招聘文章說明,里面重點提到,為了吸引并留住最優(yōu)秀的人才,月之暗面推出全新員工激勵計劃,為優(yōu)秀人才提供匹配其貢獻的豐厚回報?!皬慕衲觊_始,我們將在公司取得重要進展時發(fā)起員工期權(quán)回購計劃,確保團隊成員能夠分享公司發(fā)展的果實(2024年底啟動首次期權(quán)回購計劃)。每年定期根據(jù)工作表現(xiàn)進行調(diào)薪和期權(quán)增發(fā),確保薪酬和期權(quán)充分反映出員工個人的成長和貢獻?!?/p>
由此,外界也猜測楊植麟團隊此次套現(xiàn),其中或許便包括對重要人才的貢獻獎勵。
在公司創(chuàng)立伊始,楊植麟給出的早期招人畫像便是專注找對口的genius(天才)?!肮旧舷奘怯扇说纳舷逈Q定的……之前有對模型動手術(shù)的能力,有訓(xùn)練超大規(guī)模模型直接的經(jīng)驗,就可以很快做出來。包括Kimi發(fā)布,資本效率和組織效率其實很高?!?/p>
與國內(nèi)相比,硅谷AI人才之爭,更為瘋狂。馬斯克本人都不得不感慨:“這是我見過最瘋狂的人才大戰(zhàn)?!睘榱吮苊馓厮估瞬磐饬?,馬斯克旗下的大模型公司xAI開出了不少offer。
扎克伯格更是親力親為,通過個人電子郵件給谷歌DeepMind團隊成員發(fā)去邀請,希望他們能加入Meta與他共事。谷歌創(chuàng)始人謝爾蓋·布林,為了挽留即將離職轉(zhuǎn)投OpenAI的員工,也同樣選擇親自出馬,給員工加薪加福利。
人才大戰(zhàn)之下,根據(jù)薪資數(shù)據(jù)網(wǎng)站 Levels.fyi數(shù)據(jù),硅谷機器學(xué)習(xí)和AI工程師的薪酬中位數(shù)已經(jīng)接近 40萬美元,OpenAI總薪資中位數(shù)甚至高達92.5萬美元(包括期權(quán))。
盡管為爭奪AI人才,科技巨頭開支增加,但他們的一系列瘋狂舉動已經(jīng)在股價上迎來正反饋:2024年剛過完4個月,Meta股價年內(nèi)已經(jīng)大漲22%,谷歌大漲19%,亞馬遜大漲19%。
參考資料:
《ChatGPT 之父最新演講:GPT-5 聰明程度超乎想象,一大批 AI 初創(chuàng)公司的努力將變得毫無意義》APPSO
《黃仁勛親自給OpenAI送貨,全球首臺DGX H200開箱了》機器之心
《如何評價月之暗面創(chuàng)始人楊植麟一年套現(xiàn)數(shù)千萬美金事件?》鈦媒體
《月之暗面創(chuàng)始人楊植麟套現(xiàn)數(shù)千萬美金》界面新聞
《月之暗面楊植麟復(fù)盤大模型創(chuàng)業(yè)這一年:向延綿而未知的雪山前進》騰訊科技
《搞大模型巨虧,微軟都還沒掙到錢!GitHub Copilot每月收10刀,倒賠20》量子位
《Kimi創(chuàng)始人套現(xiàn)4000萬美元疑云》市界
本文由人人都是產(chǎn)品經(jīng)理作者【字母榜】,微信公眾號:【字母榜】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
- 目前還沒評論,等你發(fā)揮!