“AI 賦能 XR 創(chuàng)作，3D 內容迎曙光?！?在科技飛速發(fā)展的當下，AI 如何為 XR 內容創(chuàng)作帶來新契機？其又將如何重塑 3D 內容生態(tài)？

元橋2024年AI 3D生成又邁出了很大的一步。12月初，谷歌DeepMind發(fā)布了新一代世界模型Genie 2，可以「一張圖生成1分鐘游戲3D世界」，引發(fā)網友驚呼。而在谷歌發(fā)布Genie 2的前兩天，AI學者、斯坦福大學教授李飛飛公布了她的第一個空間智能創(chuàng)業(yè)項目：「僅憑借1張圖，就能生成一個3D游戲世界的AI系統(tǒng)」。幾乎同一時間，雙方發(fā)布的AI模型系統(tǒng)都瞄準了3D世界。前不久，庫克曾在一次采訪中表示，“對于Vision Pro來說，最大考驗是生態(tài)系統(tǒng)?！钡@又不僅僅是Vision Pro面臨的難關，可以說這么多年整個XR生態(tài)的發(fā)展邏輯都是內容要比硬件難推，算是XR行業(yè)的老問題。如今看來，生成式AI技術的大成熟已推動AI 3D內容創(chuàng)作進入了新的時代。

?谷歌與李飛飛的又一次推進，看見空間智能?2022年，谷歌發(fā)布AI 3D模型DreamFusion，突破了對傳統(tǒng)3D建模的限制，能夠通過簡單的文本描述自動生成高質量的3D模型。這一創(chuàng)新使得3D建模變得更加智能化、簡便化。同時DreamFusion的到來，也為游戲、VR、電影制作等行業(yè)帶來了很大的創(chuàng)作提升。從2023年開始，AI 3D開始受到業(yè)內廣泛關注，當年出現(xiàn)的新模型就有近20個，包括ProlificDreamer與One-2-3-45++等，很多團隊已經實現(xiàn)能夠從一句話或者一張圖生成高質量的三維模型。雖然AI 3D模型的發(fā)展越來越熱鬧，但也有其不足的地方，主要是大多數(shù)AI 3D生成的方法都是借助「2D擴散模型生成3D模型」的路徑。這種路徑一大問題就是耗時，ProlificDreamer作者就曾在知乎上表示這些方法目前的主要局限之一便是生成時間太慢。此外，還需要突破兩個關鍵的技術點，即：首先Loss的計算，利用預訓練的2D文生圖模型，計算出三維表征渲染出的2D圖像和文本之間的Loss，間接判斷渲染出的圖像是否符合2D擴散模型的先驗知識。?其次通過NeRF、DMTet等可微分、可渲染的三維表征渲染2D圖像，然后用2D文生圖模型監(jiān)督蒸餾，將Loss得到的梯度回傳到這些表征當中，從而實現(xiàn)幾何形狀和顏色的優(yōu)化，得到可用的3D模型。

DreamFusion的生成效果展示這一套邏輯走下來，雖然相較于傳統(tǒng)的模式已經可以便捷地生成高質量的3D模型，但距離普通用戶創(chuàng)作還是很遠。但今年李飛飛與谷歌發(fā)布新的模型，直指UGC內容創(chuàng)作平臺，暗隱了新一輪的內容創(chuàng)作革命。12月3日，李飛飛創(chuàng)業(yè)公司World Labs展示了單圖生成3D世界的AI系統(tǒng)。李飛飛表示，“無論怎樣理論化這個想法，都很難用語言描述一張照片或一句話生成3D場景的互動體驗?！?

World Labs的單圖生成3D場景的效果演示除了可以實現(xiàn)單圖探索3D世界之外，還可以改變其中物體顏色，動態(tài)調整背景光影，在場景中插入其他對象。你能夠像玩游戲那樣，自由地移動相機來探索這個3D世界，淺景深、希區(qū)柯克變焦等操作均可行。英偉達高級研究科學家、李飛飛高徒Jim Fan總結道，“GenAI正在創(chuàng)造越來越高維度的人類體驗快照；Stable Diffusion是2D快照；Sora是2D+時間維度的快照；而World Labs是3D、完全沉浸式的快照?！倍驮跇I(yè)內都還沉浸在World Labs所展示的3D世界系統(tǒng)時，谷歌DeepMind又相繼發(fā)布了大型基礎世界模型Genie 2，再次點燃了人們的想象空間。Genie 2可根據(jù)一張圖生成可供人類或AI智能體游玩的無限3D世界。也就是說，Genie 2不僅能創(chuàng)造出一個逼真的3D游戲場景，用戶還能在這個場景里進行互動。此外，Genie 2還支持3D空間中的重力、光線、反射、煙霧等物理模擬以及特殊效果模擬和生成。

從靜態(tài)3D模型生成到可交互的動態(tài)3D內容生成，3D生成的發(fā)展路徑終究還是指向了UGC內容平臺，也就是說未來必然是每個人都可以零門檻、零成本實時創(chuàng)作3D體驗。眾所周知，3D內容創(chuàng)作一直都需要專業(yè)的人員與技術完成，是唯一一個沒有UGC內容平臺的信息載體，但3D內容必然會迎來爆發(fā)的那一天，而這一步也終離不開UGC內容平臺。從World Labs與Genie 2中不難看出，無論是李飛飛的工作團隊還是谷歌的大模型，科技巨頭都在推動這一步的到來。?從AI中找商機，XR內容創(chuàng)作也該迎來春天了?2024年，XR內容創(chuàng)作大體依然很苦。據(jù)VR陀螺了解，目前能賺錢的XR內容團隊大致分為三種：一是，專門負責海外市場，有一定的專業(yè)度，同時海外相比國內市場也較為理想；二是，做線下內容，類似于體驗店/大空間，尤其今年VR大空間爆發(fā)，不少內容團隊開始分力專做這一塊；三是，負責一些小的項目，或者專門為一些大廠提供內容搭建輔助。但隨著AI 3D創(chuàng)作的到來，一些特別的情況已經出現(xiàn)。不少創(chuàng)作者開始從AI中找商機，例如10月份UGC內容平臺Roblox玩家RG使用Tripo生成的一頂3D粉色貝雷帽，在1小時內吸引了超3000名玩家涌入Tripo。RG也靠售賣游戲配飾賺到了超過1億Robux（Roblox內的代幣，折合約35萬美元，近250萬元人民幣）。

與此同時，在TikTok、Roblox等內容平臺上，也已經有創(chuàng)作者通過AI 3D內容賺到了第一桶金。更為重要的是，很多創(chuàng)作者在社交媒體平臺上發(fā)布的3D模型視頻，完全能夠導入到游戲的畫面中使用。AI技術的成熟為創(chuàng)作者提供了全新的商業(yè)思路，除了公開平臺上AI 3D創(chuàng)作的盈利模式之外，電商領域對3D內容的需求也在增強。例如，亞馬遜推出的Virtual Try-On的3D功能，支持商家上傳自己物品的3D模型，以提高商品的吸引力。而像Vision Pro上淘寶、京東等網購平臺，雖然體驗讓人驚艷，但3D內容還是太少。為了能夠豐富3D內容生態(tài)，11月份淘寶還推出了全球首場3D空間交互直播。

不難看出，業(yè)內已經意識到隨著空間計算的逐步發(fā)展，行業(yè)對3D資產的需求已經變得越來越高。亞馬遜官方也表示，“超過9成的消費者認為3D商品會影響自己的購物決策，因此電商領域對3D生成內容的應用，將會成為一個可行的商業(yè)化方向”。面向一個既定的未來，3D內容創(chuàng)作存在著無限的想象空間。不僅新型企業(yè)可以從中分得一杯羹，一些小的XR內容團隊甚至個人創(chuàng)作者也終迎來另一風起。進一步看，在AI技術的發(fā)展下，3D創(chuàng)作的市場也正在被緩緩打開。Meta在宣布與卡梅隆合作打造「世界級3D娛樂體驗」后也表示，“使用虛擬和混合現(xiàn)實頭顯的人數(shù)比以往任何時候都多，為沉浸式講故事開啟了令人興奮的新可能性。通過與Lightstorm Vision的合作，我們致力于推動媒體發(fā)展，并通過使用包括AI在內的先進工具，提升內容創(chuàng)作者制作高質量立體內容的能力?！盇I正在助力3D內容產業(yè)的發(fā)展向更深的領域邁進。對于內容創(chuàng)作來說，將會迎來很大的機遇，在新行業(yè)與新技術之上騰飛。也正如馬云回歸后的首次演講所言，“20年前，互聯(lián)網剛剛到來的時候，我們這一代人很幸運，抓住了互聯(lián)網時代的機遇。從今天來看，未來20年的AI時代能帶來的改變會超出所有人的想象，因為AI會是一個更加偉大的時代?！?寫在最后?從技術發(fā)展路徑來看，AI已經在3D內容生成領域有了重大的進步，并且已被業(yè)內視為是占據(jù)絕對重要性的技術。隨著AI技術不斷發(fā)展，AI 3D的成熟也將會助推應用層面不斷出現(xiàn)新的現(xiàn)象，而AR/MR的普及也將會帶動3D內容不斷豐富。乘著技術的風，加碼布局的頭部企業(yè)動作也越來越頻繁，除了卡梅隆與Meta的合作之外；迪士尼也組建了全新的技術辦公室，以探索AI與混合現(xiàn)實的應用；佳能發(fā)布了新款鏡頭，專為3D VR視頻拍攝設計，可用于Meta Quest 3等頭戴設備以及Vision Pro空間視頻的拍攝；前段時間影像技術公司Blackmagic Design還推出了專為拍攝沉浸式視頻而設計的商業(yè)攝像機URSA Cine Immersive。毫無疑問，3D內容生態(tài)已是明確的趨勢，一些頭部企業(yè)的布局也都指向了這點。隨著行業(yè)發(fā)展逐步滲透，也映射了未來內容生態(tài)的變革和新方向。?