昨日凌晨的發(fā)布會(huì)上，OpenAI 終于推出視頻生成模型Sora。這個(gè)全網(wǎng)等了10個(gè)月的視頻模型，與國(guó)產(chǎn)的相比表現(xiàn)如何？是否能達(dá)到預(yù)期？一起來(lái)看看作者的分享。

全網(wǎng)苦等10個(gè)月的Sora，終于亮相。

北京時(shí)間12月10日凌晨，OpenAI直播第三彈，宣布旗下視頻生成模型Sora正式面向大眾推出。

自今年2月首次預(yù)告以來(lái)，Sora僅向一些藝術(shù)家、知名演員和導(dǎo)演提供試用服務(wù)，但遲遲未上線，吊足大眾胃口。此次一經(jīng)發(fā)布，立即激發(fā)起全球網(wǎng)友的熱情，擠爆服務(wù)器。

我們注意到，與上一個(gè)版本相比，此次的Sora Turbo支持生成1080p分辨率、最長(zhǎng)20秒的視頻，在時(shí)長(zhǎng)上有明顯突破。更大的亮點(diǎn)在于它提供“編輯”服務(wù)，除了單純的文生視頻、圖生視頻、視頻生視頻，用戶還可以通過(guò)指令實(shí)現(xiàn)視頻重混、重新剪輯、循環(huán)、混合等功能，更像是一個(gè)加強(qiáng)版的視頻編輯器。

Sora正式發(fā)布后，一個(gè)問(wèn)題也被擺上臺(tái)前：國(guó)內(nèi)的Sora們，準(zhǔn)備好迎接挑戰(zhàn)了嗎？

我們第一時(shí)間進(jìn)行了實(shí)測(cè)對(duì)比，至于結(jié)果，遠(yuǎn)沒(méi)有想象中那么糟。

一、新版Sora，不止文生視頻

綜合多位業(yè)內(nèi)人士的觀點(diǎn)，Sora的變化主要集中在兩方面。

一是時(shí)長(zhǎng)，Sora Turbo支持用文字、圖片或視頻單次生成最長(zhǎng)20秒的視頻（此前發(fā)布的演示視頻最長(zhǎng)為60秒，但不是公開(kāi)使用版本），有寬屏、豎屏、方屏比例可選。而國(guó)內(nèi)AI視頻生成軟件單次大多僅支持5-10秒。

能生成的視頻時(shí)間越長(zhǎng)，意味著對(duì)其內(nèi)容一致性、避免重復(fù)、銜接過(guò)渡上要求更高，模型的優(yōu)化和訓(xùn)練數(shù)據(jù)的質(zhì)量在其中起著關(guān)鍵作用。

二是它強(qiáng)大的“編輯”功能，包括Remix（重混）、Re-cut（重新剪輯）、Storyboard（故事板）、Loop（循環(huán)）、Blend（混合）以及Style presets（風(fēng)格預(yù)設(shè)）。

此前，AI生成視頻的一大痛點(diǎn)在于一次性生成以后很難再調(diào)整，這次Sora一定程度上解決了這個(gè)問(wèn)題。

我們拿其中三個(gè)亮眼的新功能來(lái)詳細(xì)說(shuō)明。

Remix（重混）可以替換、移除或重新生成視頻中的某個(gè)要素，例如，在生成“推開(kāi)圖書館的大門”后（上圖），可以輕易將大門換成法式風(fēng)格（下圖）。

Storyboard（故事板）功能絕對(duì)是視頻創(chuàng)作者的輔助利器，可以精準(zhǔn)指定每一幀的內(nèi)容，控制每個(gè)時(shí)間段的畫面。比如，讓視頻的前114幀生成“紅色的背景下，遠(yuǎn)處?？恐凰矣钪骘w船”。

接著，將114-324幀的場(chǎng)景變?yōu)椋皬挠钪骘w船內(nèi)部向外看，一位宇航員站在中間”。

最后在324-440幀，將畫面聚焦到宇航員眼睛的特寫鏡頭，他的眼睛被針織面料制成的面罩包裹住。

Blend（混合）功能可以把兩個(gè)視頻混合在一起，Sora演示了將雪花飄落和花朵飄落的視頻混合在一起，過(guò)渡非常自然。OpenAI方面稱，這是其它AI視頻從未見(jiàn)過(guò)的功能。

需要注意的是，這些功能雖然驚艷，但Sora目前僅在部分國(guó)家提供服務(wù)，英國(guó)、中國(guó)大陸等地暫不能使用。

在收費(fèi)方面，Sora對(duì)ChatGPT的Plus會(huì)員（每月20美元）和Pro會(huì)員（每月200美元）直接開(kāi)放使用，Plus會(huì)員每月可生成50個(gè)480P分辨率的視頻，Pro會(huì)員則擁有不限次慢速生成的額度。

二、Sora來(lái)了，可靈、即夢(mèng)們先別慌

從Sora亮相到發(fā)布的這10個(gè)月里，國(guó)內(nèi)的Sora們一直在抓緊追趕。此次Sora正式發(fā)布后，「定焦One」挑選了國(guó)內(nèi)外幾家比較有代表性的AI生成視頻工具，進(jìn)行實(shí)測(cè)對(duì)比。

先看各大工具在生成秒數(shù)、收費(fèi)價(jià)格上的情況。

單次生成秒數(shù)上，Sora憑借20秒領(lǐng)先，緊隨其后的是Runway，可以達(dá)到10秒，相比之下，國(guó)內(nèi)的產(chǎn)品普遍都在5-6秒。

需要說(shuō)明的是，白日夢(mèng)雖然最長(zhǎng)可達(dá)6分鐘，但非單次文生視頻長(zhǎng)度，它根據(jù)文字提示先生成人物，然后再生成分鏡、編輯圖片，最后連成一段視頻，所以支持的時(shí)間較長(zhǎng)。

在收費(fèi)上，國(guó)內(nèi)的產(chǎn)品都可以不付費(fèi)體驗(yàn)，有些會(huì)限制使用次數(shù)。Sora則必須付費(fèi)才可以使用，且門檻不低，20美元起步，Runway其次，最低月付費(fèi)15美元。

再看各家提供的具體功能及對(duì)應(yīng)效果。

綜合從業(yè)者的說(shuō)法以及Sora最新發(fā)布的功能，我們從兩個(gè)維度進(jìn)行測(cè)試。

1、基礎(chǔ)功能：主要測(cè)試文生視頻的能力，考察產(chǎn)品對(duì)文字指令的理解度、運(yùn)動(dòng)過(guò)程中人物面部的清晰度和多人物的準(zhǔn)確度。為了覆蓋以上三個(gè)難點(diǎn)，「定焦One」給出了兩條提示詞：

第一條：鏡頭中景拍攝，夕陽(yáng)下，兩個(gè)長(zhǎng)頭發(fā)的女生，一個(gè)穿著黃裙子，一個(gè)穿著藍(lán)裙子，手里都拿著胡蘿卜，旁邊還有三只小兔子，小兔子慢慢跑過(guò)去吃胡蘿卜，電影級(jí)調(diào)色。

這條主要測(cè)試多主體數(shù)量的準(zhǔn)確度，讓人大跌眼鏡的是，Sora沒(méi)能識(shí)別出主體數(shù)量，只生成了兩只兔子（測(cè)試時(shí)已將提示詞轉(zhuǎn)換為英文），不過(guò)，其他的地方都是比較準(zhǔn)確的。

Sora提示詞

同樣踩坑的還有通義萬(wàn)相，不僅弄丟了一只兔子，還增加了一個(gè)女孩。

其他產(chǎn)品表現(xiàn)較好，均能準(zhǔn)確理解提示詞，只是在畫風(fēng)上有所差異。

第二條：鏡頭特寫拍攝，燈光，一個(gè)有著一頭黑色卷發(fā)的中式少女，穿著一條白裙子，胸前手握一束粉色鮮花，眼睛先低頭看鮮花，然后慢慢抬起頭來(lái)微笑，電影級(jí)調(diào)色。

這條主要測(cè)試各工具對(duì)于人物面部的特寫，以及對(duì)復(fù)雜指令的理解程度。

從生成效果來(lái)看，幾家都理解了特寫拍攝、少女、裙子、粉色鮮花、低頭看花、微笑等人、物和動(dòng)作，但問(wèn)題出在指令解讀上，比如可靈沒(méi)有讀懂“一個(gè)有著一頭黑色卷發(fā)的中式少女”，隨后我們換成“一個(gè)中式少女、黑色長(zhǎng)卷發(fā)”才成功生成。

各家對(duì)“中式少女”的理解也不盡相同，比如智譜清言生成人物的更像外國(guó)女孩，相比之下，在FilmAction里選擇新中式風(fēng)格，先文生圖，再圖生視頻的理解最好，但使用起來(lái)也復(fù)雜一些。

「定焦One」還對(duì)比了AI工具這半年來(lái)的進(jìn)化速度。以即夢(mèng)為例，和五個(gè)月前相比，人物真實(shí)感有明顯提高。

即夢(mèng)之前生成的視頻

綜上，在基礎(chǔ)功能上，Sora的表現(xiàn)還談不上驚艷。

2、進(jìn)階功能：主要測(cè)試此次Sora發(fā)布的新功能，也是本次Sora宣傳的重點(diǎn)。

多位從業(yè)者提及，Remix（重混）功能實(shí)現(xiàn)起來(lái)比較復(fù)雜，因此我們直接上難度測(cè)試了這一項(xiàng)，讓Sora將此前生成視頻中的兔子替換成小狗，結(jié)果出現(xiàn)了胡蘿卜或者小狗起飛的狀況。

看來(lái)，實(shí)際操作遠(yuǎn)沒(méi)有樣片中絲滑。不過(guò)，也有從業(yè)者表示，實(shí)測(cè)中存在一定偶然因素，最終效果和提示詞、場(chǎng)景、風(fēng)格的關(guān)系比較大。

三、結(jié)語(yǔ)

經(jīng)過(guò)一番對(duì)比，不難發(fā)現(xiàn)，盡管Sora的發(fā)布讓人震撼，但目前其實(shí)力還沒(méi)強(qiáng)到讓國(guó)內(nèi)從業(yè)者恐慌的程度，大家對(duì)Sora的整體評(píng)價(jià)是，效果在預(yù)期之內(nèi)。

生數(shù)科技投融資負(fù)責(zé)人樊家睿評(píng)價(jià)，相比今年2月份釋放的demo，Sora在模型效果方面，真實(shí)感上并沒(méi)有顯著變化。另外，結(jié)合多位網(wǎng)友實(shí)測(cè)反饋，Sora在長(zhǎng)時(shí)間處理復(fù)雜動(dòng)作時(shí)還存在一定困難，模擬物理世界時(shí)可能會(huì)犯錯(cuò)。

至于它發(fā)布的一系列新功能，從業(yè)者們見(jiàn)仁見(jiàn)智。

瀚皓科技CEO吳杰茜告訴「定焦One」，和Sora類似的Storyboard（故事板）、Style presets（風(fēng)格預(yù)設(shè)）功能在FilmAction中已經(jīng)實(shí)現(xiàn)，Blend（混合）功能最先在國(guó)外的AI生成視頻工具Luma中亮相，主要原理是首尾幀生成，Re-cut（重新剪輯）功能底層依靠的是視頻續(xù)寫，目前國(guó)內(nèi)工具也已經(jīng)具備。

不過(guò)，AI行業(yè)資深研究者江樹(shù)表示，此次Sora發(fā)布的一些功能屬于獨(dú)家，國(guó)內(nèi)的產(chǎn)品基本沒(méi)有。盡管從技術(shù)上來(lái)說(shuō)并不新鮮，比如可靈的運(yùn)動(dòng)筆刷、首尾幀功能也能做到視頻銜接和循環(huán)，但他覺(jué)得，Sora的實(shí)現(xiàn)方式比較高明。

他以Remix舉例，用戶想改變視頻中的主體，國(guó)內(nèi)基本是通過(guò)“替換關(guān)鍵幀”實(shí)現(xiàn)，但Sora的Remix不是，因?yàn)樵谥辈パ菔局校歪锵笤谧兂蓹C(jī)器人時(shí)，沙子揚(yáng)起的細(xì)節(jié)都能與主體保持一致。

“或許Sora目前透露出的最大優(yōu)勢(shì)是處理細(xì)節(jié)的連貫性?！苯瓨?shù)表示，他舉例，在直播演示中，機(jī)器人在沙漠中漫步，這一畫面從遠(yuǎn)景到特寫，中間的轉(zhuǎn)換十分自然。Sora的空間感也不錯(cuò)，攝像機(jī)繞著一個(gè)物體進(jìn)行360度旋轉(zhuǎn)，每個(gè)角度下的細(xì)節(jié)都非常準(zhǔn)確，這說(shuō)明Sora對(duì)三維場(chǎng)景有較為完整的理解。

另一個(gè)加分項(xiàng)是產(chǎn)品體驗(yàn)。江樹(shù)表示，Sora這次發(fā)布的是一個(gè)從視頻生成到制作成品的端到端的完整產(chǎn)品，不像之前ChatGPT發(fā)布時(shí)只有一個(gè)對(duì)話框。

“Sora在基礎(chǔ)的文生視頻、圖生視頻以外，提供了一些提升視頻創(chuàng)作體驗(yàn)的功能，說(shuō)明OpenAI確實(shí)更關(guān)注產(chǎn)品體驗(yàn)了，”樊家睿覺(jué)得，Sora新功能的實(shí)現(xiàn)路徑非常明確，對(duì)于他們而言，背后不是技術(shù)實(shí)現(xiàn)難度問(wèn)題，主要是時(shí)間問(wèn)題。

接下來(lái)，AI生成視頻賽道又要卷起來(lái)了。