為什么Sora不能成為世界模型?

王智遠
0 評論 775 瀏覽 1 收藏 16 分鐘

盡管Sora能夠生成逼真的視頻畫面,它是否真的能夠成為理解世界、模擬物理規(guī)則的“世界模型”?本文將深入探討Sora的技術原理、其在物理規(guī)則理解和因果關系推理上的局限性,供大家參考。

寫完一篇空間智能文章,發(fā)到群里,聊它如何用虛擬空間數據訓練機器人,幫人類理解世界。

結果有朋友提出個問題:

文生視頻算不算空間智能?它也能生成虛擬場景,為什么不是最佳途徑?

這問題挺有意思,我第一反應就想到了Sora。

文生視頻“新星”崛起速度太快,幾句話能生成一個視頻,兩年內字節(jié)、騰訊、甚至其他模型廠商紛紛壓住該賽道。

不過,兩年過去,有人發(fā)現(xiàn)它沒那么完美,生成人像總帶著“恐怖谷”的詭異,連Facebook首席人工智能科學家Yann LeCun也點評說:Sora不過是畫得好看,壓根不懂物理規(guī)律。

于是,我?guī)е蓡栄芯苛艘幌拢嚎此茝姶蟮腟ora,為什么不能成為真正的世界模擬器?它和空間智能的差距到底在哪?

01

愛因斯坦有句經典的名言:

“如果不能簡單地解釋一件事,那就說明還沒有真正理解它。”(If you can’t explain it simply, you don’t understand it well enough.)

所以,想深入探究,就必須從深層次技術原理出發(fā)。

Sora的核心是“擴散模型”(Diffusion Model);從一堆隨機噪點開始,通過AI一步步去掉雜亂,最終生成清晰的畫面,再將這些畫面串聯(lián)成視頻,聽起來像魔法,其實背后是數學原理在支撐。

另外,它還有個幫手是“Transformer”,這個詞不少人聽說過。什么意思呢?它擅長處理序列數據,把零散的信息連成一條線。在Sora中,它將文字指令拆解,再把一幀幀畫面串聯(lián)成流暢的動作。

舉個例子:

如果你輸入“船在咖啡杯里航行”,Sora會先理解“船”和“咖啡杯”,然后,把船、水波蕩漾、船身傾斜這些相關的詞匯、場景串聯(lián)起來。

這背后依賴海量視頻數據和強大的算力,才能在幾秒鐘內生成幾十秒的畫面。

可是,你有沒想過,僅僅依賴數據堆砌出來的結果,真的能理解物理世界嗎?答案是不會。問題就出在架構上。

擴散模型擅長從數據中學習像素規(guī)律,預測下一步畫面應該是什么樣子;Transformer則能讓幀與幀銜接得天衣無縫。所以從視覺上看,Sora很“聰明”,能夠模仿真實視頻的連續(xù)感,但仔細一想,問題就來了。

船怎么可能塞進杯子?我試過輸入「貓?zhí)阶郎稀?,畫面流暢得沒話說,結果貓腿直接穿過了桌面,就像游戲里的穿模。為什么會這樣?

因為Sora的生成邏輯是“畫得好看”,而不是“畫得對”。

它不懂重力如何讓腳落地,也不懂桌子為何會擋住貓腿,生成“恐怖谷”人像時,更一目了然,臉部細節(jié)一放大就崩了,它只知道靠像素預測,卻沒有考慮現(xiàn)實規(guī)則。

所以,Sora的強項和弱點是一枚硬幣的兩面。

視覺流暢是它的本事,不合理也是它的命門。正如Yann LeCun所說,它“不懂蘋果為何落地”,我覺得這個觀點很對:Sora的架構根本就沒想去理解物理世界,只是想把畫面糊弄得像真的。

既然Sora不懂物理世界,那它能否成為世界模擬器呢?

我認為有點懸。為什么?

世界模擬器是一個能夠運行物理規(guī)則的虛擬環(huán)境,幫助機器人學習現(xiàn)實中的因果關系,但Sora生成的視頻雖然看起來像回事,卻毫無真實性。

你想想看,“船在杯子里”這樣的視頻去怎么去教機器人,機器人可能會以為杯子能裝下萬噸巨輪,這根本沒好用。

因此,擴散模型和Transformer的目標是視覺生成,而不是物理模擬,Sora更像一個藝術工具,追求“好看”的畫面,而不是“對”的世界,這讓我覺得Sora局限性在于其架構沒有對準目標。

02

既然這樣問題來了:世界模擬器要具備哪些關鍵特性?

我覺得最基礎的有三點:

  1. 得知道現(xiàn)實物品規(guī)則是什么樣,搬到虛擬場景中,不能差太多;
  2. 理解物品與物品之間怎么相互影響的;
  3. 還得能把不同物品整合到一起,相互推理。

這么說,有點抽象,我舉個例子:

你在教一個機器人怎么拿東西,世界模擬器里面的“虛擬杯子”,得模仿出真實杯子的重量、材質、形狀,這樣機器人才知道該用多大的力氣去抓。

模擬器把重力以各指標模仿的不準確,機器人就會抓得太緊或者太松,東西就會掉下來,甚至還會被弄壞。

再聊聊智能交通。

現(xiàn)實中,堵車是個大難題。要解決它,得靠算法、數據分析,比如錯峰出行。

假設有個世界模擬器,如果它沒法模擬紅綠燈時長、車輛速度,就無法預測哪里會堵車、什么時候堵,也做不了錯峰規(guī)劃。

同樣,如果模擬器不清楚車輛摩擦力,就判斷不了車子能不能在綠燈時順利起步或紅燈時及時停下;如果搞不清車輛之間的相互影響,交通就會亂套,甚至可能出事故。

所以,世界模擬器的作用,是把復雜的物理規(guī)則和物體之間的關系都搞清楚,這樣才能讓機器人、智能交通這些高科技的東西更好地工作。

對比來看,Sora在關鍵特性上明顯不足。它在視覺生成方面做得很棒,但沒辦法滿足世界模擬器對物理規(guī)則和因果關系推理的要求。

這種問題不只出現(xiàn)在Sora上,一些國產大模型也有類似架構缺陷。我刷抖音時經常看到有人用圖生視頻模型,結果人突然變成狗,看起來很搞笑,但明顯不符合現(xiàn)實邏輯。

原因很簡單,架構無法為世界模擬器提供真實的物理理解能力,因此,在具身智能或其他領域的應用就會受到很大限制。

可以得出一個結論:世界模型和文生視頻的架構完全不一樣。世界模型要模擬真實世界,必須懂物理規(guī)律和現(xiàn)實邏輯;文生視頻主要生成畫面,在邏輯和真實性上沒那么嚴格。

03

我認為,相比之下,真正值得關注的,是更注重物理規(guī)則建模和具備因果關系推理方向的模型。比如:李飛飛的World Labs、黃仁勛的世界模型(Cosmos WFMs),以及群核科技的空間智能。

為什么拿他們舉例呢?有三點:

先看目標,黃仁勛提出的 Cosmos WFMs(世界模型)是希望打造一個能模擬真實世界的「虛擬大腦」。這個大腦要懂物理規(guī)則,要知道物體怎么動、力怎么作用,還要明白事情的前因后果。

李飛飛的 World Labs 目標是讓人工智能真正理解世界。它通過模擬物理規(guī)則、因果關系和復雜場景,讓AI不僅能“看到”,還能“理解”世界。

比如:一個AI產品可以在虛擬場景中預測事情的發(fā)展,或根據不同情況做出合理決策。這種能力對提升機器人、自動駕駛等領域的智能化至關重要。

群核科技的空間智能,目標是希望把真實世界搬到數字世界里,讓AI能看懂、能用,然后用數據幫助家居設計、建筑規(guī)劃、以及AR、VR這些領域,幫行業(yè)更高效的干活。

說得直白點,是希望打造一個“數字孿生”的世界,讓人、AI、空間里面思考和行動,解決實際問題。

既然有了目標,再看看三家技術實現(xiàn)路徑。

Cosmos WFMs 的技術實現(xiàn)路徑是通過構建生成式世界基礎模型(WFMs),結合高級分詞器、安全護欄和加速視頻處理管道等關鍵技術,為開發(fā)者提供高效的開發(fā)工具。

具體來說,它利用NVIDIA NeMo對基礎模型進行調優(yōu),并通過 GitHub 和 Hugging Face 提供開源支持,幫助開發(fā)者生成高仿真的物理數據。

此外,Cosmos 還專注于多視角視頻生成、路徑規(guī)劃、避障等任務,進一步提升物理AI在機器人、自動駕駛等領域的應用能力。

報告里面的東西是不是很難懂?

通俗的說:他們做的這套系統(tǒng),能讓AI學會像人一樣看路、規(guī)劃路線、避開障礙物,還能生成各種角度的視頻,特別適合用在機器人和自動駕駛這些領域。

李飛飛的World Labs的技術實現(xiàn)路徑是,開發(fā)一種從2D到3D的智能轉化技術,讓AI不僅能看懂平面圖片,還能生成完整的三維空間。

他們的系統(tǒng)從一張普通照片出發(fā),估算出場景的3D結構,然后補全圖片中看不到的部分,最終生成一個用戶可以自由探索和互動的虛擬世界。

簡單講,用AI把平面圖像變成立體空間,讓人像在真實世界一樣能走進去、四處看看。這種技術對機器人導航、虛擬現(xiàn)實等領域特別有用,因為它們都要“空間智能”來理解和應對復雜的3D環(huán)境。

群核科技搞空間智能,簡單來說:  

1萬臺GPU服務器,用計算能力幫家居和建筑行業(yè)快速做出大量3D模型,順便攢了一堆2D和3D的設計數據;把數據整合到一個平臺上,能生成特別逼真的虛擬場景。

最后,企業(yè)可以用這個平臺來訓練機器人,比如:掃地機器人或者自動駕駛設備,讓它們在虛擬世界里模擬真實環(huán)境,學會怎么動、怎么避障,變得更聰明。

因此,無論黃仁勛的Cosmos WFMs、李飛飛的World Labs,還是群核科技的空間智能,技術核心目標是通過模擬真實世界的物理規(guī)則和因果關系,讓AI在空間內訓練更聰明、更能解決實際問題。

04

我認為,要實現(xiàn)這一目標,離不開一個關鍵因素:高質量數據。數據是構建世界模型和空間智能的基礎,可它也是發(fā)展里最大的「攔路虎」。

為什么?

我們說具身智能有點抽象,換一個更具體的詞:“虛擬訓練”。虛擬訓練有兩個重要方面:

一個是生成式的海量數據。就像GPT這樣的文字模型,靠超大規(guī)模的數據和強大的算力來學習和推理;另一個是真實數據。枕頭的大小、重量、材質,或者光線怎么反射、物體怎么碰撞,這些是物理交互場景。

這種真實數據來源于現(xiàn)實世界,直接決定虛擬訓練能否模擬出符合實際邏輯的行為和反應;

換句話說,虛擬訓練要兩種數據:一種是“虛擬生成”的大數據,另一種是“真實場景”的物理數據,而后者,往往成為發(fā)展的瓶頸。

原因很簡單:文生視頻、文生圖等生成式技術雖然能生成豐富的內容,但很難直接獲取真實的物理規(guī)則和精確的交互細節(jié)。

比如,文生視頻可以生成一個“滾動的球”,但它可能無法準確模擬球在不同材質地面上的摩擦力、彈跳高度或碰撞反應。

那真實場景的數據從哪兒來呢?只能從真實世界里來。

通過傳感器、攝像頭、激光雷達等設備,從現(xiàn)實環(huán)境中采集;你開車時,傳感器會記錄車輛的運動軌跡、力度變化、光線反射,還有車輛間距、行人行為,甚至天氣對路況的影響。這些信息會被上傳到平臺,用來分析和訓練。

但有了數據還不夠。

平臺的數據不能保證下一次操作一定精準,還得在虛擬環(huán)境里進行大量訓練;自動駕駛汽車,要在虛擬環(huán)境里反復模擬行駛,可能要跑成千上萬次,直到能應對各種復雜場景,才能用到現(xiàn)實世界里。

明白這些,你也就明白了,這不僅是自動駕駛、機器人領域的問題,其他行業(yè)也一樣。

不管醫(yī)療、制造還是農業(yè),世界模型和空間智能都需要海量的真實數據來支撐,并且要通過虛擬環(huán)境的反復訓練來驗證和優(yōu)化能力。

換句話說,無論是自動駕駛、機器人導航,還是其他行業(yè)的具身智能應用,核心挑戰(zhàn)都在于如何獲取高質量的真實數據,再通過虛擬和現(xiàn)實的結合,讓AI真正能解決實際問題;這才是未來技術落地的關鍵。

誰有底層架構、誰有數據,誰才有上牌桌的機會。

本文由人人都是產品經理作者【王智遠】,微信公眾號:【王智遠】,原創(chuàng)/授權 發(fā)布于人人都是產品經理,未經許可,禁止轉載。

題圖來自Sora生成視頻截圖

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!