新智元報(bào)道

編輯：好困

【新智元導(dǎo)讀】一張圖，一個(gè)3D世界！今天，李飛飛團(tuán)隊(duì)重磅放出實(shí)時(shí)生成世界模型「RTFM」，通過(guò)端到端學(xué)習(xí)大規(guī)模視頻數(shù)據(jù)，直接從輸入2D圖像生成同一場(chǎng)景下新視角的圖像。值得一提的是，它僅需單塊H100 GPU便能實(shí)時(shí)渲染出持久且3D一致的世界。

(資料圖)

就在剛剛，李飛飛World Labs重磅發(fā)布全新實(shí)時(shí)生成式世界模型——RTFM（Real-Time Frame Model，實(shí)時(shí)幀模型）！

這是一款效率極高的，在大型視頻數(shù)據(jù)上進(jìn)行端到端訓(xùn)練的自回歸擴(kuò)散Transformer模型。

僅需一塊H100 GPU，RTFM就能在你與之交互時(shí)，實(shí)時(shí)渲染出持久且3D一致的世界，無(wú)論是真實(shí)場(chǎng)景還是想象空間。

其獨(dú)特之處在于，它不構(gòu)建世界的顯式三維表征。相反，它接收一張或多張二維圖像作為輸入，然后直接從不同視點(diǎn)生成同一場(chǎng)景的全新二維圖像。

簡(jiǎn)單來(lái)說(shuō)，你可以將它看作一個(gè)「學(xué)會(huì)了渲染的AI」。

僅僅通過(guò)觀察訓(xùn)練集中的視頻，RTFM便學(xué)會(huì)了對(duì)三維幾何、反射、陰影等復(fù)雜物理現(xiàn)象進(jìn)行建模；而且，還能利用少量稀疏拍攝的照片，重建出真實(shí)世界的具體地點(diǎn)。

請(qǐng)注意，接下來(lái)你看到的這些不是真實(shí)視頻，它們完全是由RTFM實(shí)時(shí)生成的畫(huà)面。

RTFM的設(shè)計(jì)圍繞三大核心原則：

• 高效性：僅需單塊H100 GPU，RTFM便能以交互式幀率運(yùn)行實(shí)時(shí)推理。

• 可擴(kuò)展性：RTFM的設(shè)計(jì)使其能隨著數(shù)據(jù)和算力的增加而擴(kuò)展。它在建模3D世界時(shí)不依賴于顯式的3D表示，并采用一種通用的端到端架構(gòu)，從大規(guī)模視頻數(shù)據(jù)中學(xué)習(xí)。

• 持久性：可以與RTFM進(jìn)行無(wú)休止的交互，而這個(gè)世界將永不消逝。它所模擬的是一個(gè)持久的3D世界，不會(huì)在您移開(kāi)視線時(shí)消失。

RTFM可渲染由單張圖像生成的3D場(chǎng)景。同一個(gè)模型能處理多樣的場(chǎng)景類型、視覺(jué)風(fēng)格和效果，包括反射、光滑表面、陰影和鏡頭光暈

有網(wǎng)友戲言，「我們的世界或許是在單個(gè)H100上運(yùn)行的」。

前谷歌高級(jí)工程師表示，RTFM最新成果真正解決了，長(zhǎng)期困擾世界模型可擴(kuò)展性的問(wèn)題。

現(xiàn)在，RTFM正式開(kāi)放，任何人皆可試玩。

傳送門：https://rtfm.worldlabs.ai/

世界模型：算力吞噬者

我們憧憬著這樣一個(gè)未來(lái)：強(qiáng)大的世界模型能夠?qū)崟r(shí)地重建、生成并模擬一個(gè)持久、可交互且遵循物理規(guī)律的世界。這類模型將徹底改變從傳媒到機(jī)器人等眾多行業(yè)。

過(guò)去一年，隨著生成式視頻建模的進(jìn)步被應(yīng)用于生成式世界建模，這項(xiàng)新興技術(shù)的發(fā)展令人振奮。

隨著技術(shù)的發(fā)展，有一點(diǎn)日益清晰：生成式世界模型的算力需求將極其龐大，遠(yuǎn)超當(dāng)今的大語(yǔ)言模型。

如果我們簡(jiǎn)單地將現(xiàn)有視頻架構(gòu)應(yīng)用于此，要以60fps的幀率生成一個(gè)交互式的4K視頻流，每秒需要生成超過(guò)10萬(wàn)個(gè)token（大約相當(dāng)于《弗蘭肯斯坦》或第一本《哈利·波特》的長(zhǎng)度）。

而要在一小時(shí)或更長(zhǎng)的交互中維持這些內(nèi)容的持久性，則需要處理超過(guò)1億token的上下文窗口。

以當(dāng)今的計(jì)算基礎(chǔ)設(shè)施而言，這既不可行，也不具備經(jīng)濟(jì)效益。

團(tuán)隊(duì)堅(jiān)信「苦澀的教訓(xùn)」（The Bitter Lesson）：在AI領(lǐng)域，那些能隨著算力增長(zhǎng)而平滑擴(kuò)展的簡(jiǎn)單方法往往會(huì)占據(jù)主導(dǎo)地位，因?yàn)樗鼈兡苁芤嬗跀?shù)十年來(lái)驅(qū)動(dòng)所有技術(shù)進(jìn)步的、呈指數(shù)級(jí)下降的計(jì)算成本。

生成式世界模型恰好能從未來(lái)算力成本持續(xù)降低的趨勢(shì)中獲得巨大優(yōu)勢(shì)。

這自然引出一個(gè)問(wèn)題：生成式世界模型是否會(huì)受限于當(dāng)今的硬件瓶頸？或者說(shuō)，我們是否有辦法在今天就一窺這項(xiàng)技術(shù)的未來(lái)？

高效性：將未來(lái)提前帶到眼前

對(duì)此，李飛飛團(tuán)隊(duì)設(shè)定了一個(gè)簡(jiǎn)單的目標(biāo)：設(shè)計(jì)一個(gè)足夠高效、可在當(dāng)前部署，并能隨算力增長(zhǎng)而持續(xù)擴(kuò)展的生成式世界模型。

而更為宏大的目標(biāo)是：構(gòu)建一個(gè)能在單塊H100 GPU上部署的模型，既要保持交互式幀率，又要確保世界無(wú)論交互多久都能持久存在。

實(shí)現(xiàn)這些，將讓我們得以將未來(lái)愿景呈現(xiàn)在當(dāng)下，通過(guò)今天的體驗(yàn)一窺這類模型在未來(lái)的巨大潛力。

而這一目標(biāo)，也影響了從任務(wù)設(shè)定到模型架構(gòu)的整個(gè)系統(tǒng)設(shè)計(jì)。

為此，團(tuán)隊(duì)精細(xì)優(yōu)化了推理堆棧的每一個(gè)環(huán)節(jié)，應(yīng)用了架構(gòu)設(shè)計(jì)、模型蒸餾和推理優(yōu)化等領(lǐng)域的最新進(jìn)展，力求在今天的硬件上，以最高保真度預(yù)覽未來(lái)模型的樣貌。

可擴(kuò)展性：將世界模型視為「學(xué)習(xí)型渲染器」

傳統(tǒng)的3D圖形管線使用顯式的3D表征（如三角網(wǎng)格、高斯濺射）來(lái)對(duì)世界進(jìn)行建模，再通過(guò)渲染生成2D圖像。它們依賴于人工設(shè)計(jì)的算法和數(shù)據(jù)結(jié)構(gòu)來(lái)模擬3D幾何、材質(zhì)、光照、陰影、反射等效果。

這些方法作為計(jì)算機(jī)圖形學(xué)領(lǐng)域數(shù)十年來(lái)可靠的支柱，卻難以隨數(shù)據(jù)和算力的增長(zhǎng)而輕松擴(kuò)展。

相比之下，RTFM則另辟蹊徑。

它基于生成式視頻建模的最新進(jìn)展，訓(xùn)練一個(gè)單一的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)僅需輸入場(chǎng)景的一張或多張2D圖像，便能從新的視角生成該場(chǎng)景的2D圖像，而無(wú)需構(gòu)建任何顯式的3D世界表示。

RTFM的實(shí)現(xiàn)是一個(gè)在幀序列上運(yùn)行的自回歸擴(kuò)散Transformer。它通過(guò)對(duì)大規(guī)模視頻數(shù)據(jù)進(jìn)行端到端訓(xùn)練，學(xué)會(huì)在給定前序幀的條件下預(yù)測(cè)下一幀。

RTFM可被視為一個(gè)「學(xué)習(xí)型渲染器」——

• 輸入的幀被轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的激活值（即KV緩存），從而隱式地表征了整個(gè)世界；

• 生成新幀時(shí)，網(wǎng)絡(luò)通過(guò)注意力機(jī)制從這一表征中讀取信息，從而創(chuàng)建出與輸入視圖一致的世界新視圖。

從輸入視圖到世界表征的轉(zhuǎn)換，再到從表征渲染新幀的整個(gè)機(jī)制，均通過(guò)數(shù)據(jù)進(jìn)行端到端學(xué)習(xí)，而非人工設(shè)計(jì)。

RTFM僅通過(guò)在訓(xùn)練中觀察，便學(xué)會(huì)了模擬反射、陰影等復(fù)雜效果。

可以通過(guò)將RTFM與Marble相結(jié)合，由單張圖像創(chuàng)建3D世界。RTFM能夠渲染光照和反射等復(fù)雜效果，這些都是端到端地從數(shù)據(jù)中學(xué)習(xí)得到的

RTFM打破了重建（在現(xiàn)有視圖之間進(jìn)行插值）與生成（創(chuàng)造輸入視圖中未見(jiàn)的新內(nèi)容）之間的界限，而在計(jì)算機(jī)視覺(jué)領(lǐng)域，這兩者歷來(lái)被視為獨(dú)立問(wèn)題。

當(dāng)為RTFM提供大量輸入視圖時(shí)，由于任務(wù)約束更強(qiáng)，它更傾向于重建；而當(dāng)輸入視圖較少時(shí)，它則必須進(jìn)行外推和想象。

可以使用RTFM從短視頻中渲染真實(shí)世界的場(chǎng)景

持久性：以帶位姿的幀作為空間記憶

真實(shí)世界的一個(gè)關(guān)鍵屬性是持久性：當(dāng)你移開(kāi)視線時(shí)，世界不會(huì)消失或徹底改變；無(wú)論你離開(kāi)多久，總能回到曾經(jīng)到過(guò)的地方。

這對(duì)于自回歸幀模型而言一直是個(gè)挑戰(zhàn)。

由于世界僅通過(guò)2D圖像幀被隱式表征，要實(shí)現(xiàn)持久性，模型就必須在用戶探索世界時(shí)，對(duì)一個(gè)不斷增長(zhǎng)的幀集合進(jìn)行推理。這意味著生成每個(gè)新幀的成本都比前一個(gè)更高，因此模型對(duì)世界的記憶實(shí)際上受限于其算力預(yù)算。

RTFM通過(guò)為每個(gè)幀建模一個(gè)在 3D 空間中的位姿（位置和方向）來(lái)規(guī)避此問(wèn)題。

團(tuán)隊(duì)通過(guò)向模型查詢待生成幀的位姿來(lái)生成新幀。這樣，模型對(duì)世界的記憶（包含在其幀中）便具有了空間結(jié)構(gòu)；它使用帶位姿的幀作為一種空間記憶。

這為模型賦予了一個(gè)弱先驗(yàn)——即它所建模的世界是一個(gè)三維歐幾里得空間——而無(wú)需強(qiáng)迫它明確預(yù)測(cè)該世界中物體的3D幾何形狀。

RTFM配合「上下文調(diào)度」技術(shù)，使其能在大型場(chǎng)景中保持幾何形狀的持久性，同時(shí)維持高效

RTFM的空間記憶實(shí)現(xiàn)了無(wú)限的持久性。

在生成新幀時(shí)，會(huì)通過(guò)從帶位姿幀的空間記憶中檢索附近的幀，為模型形成一個(gè)自定義的上下文。

團(tuán)隊(duì)將這種技術(shù)稱為「上下文調(diào)度」（context juggling）：模型在空間的不同區(qū)域生成內(nèi)容時(shí)，會(huì)使用不同的上下文幀。

這使得RTFM能夠在長(zhǎng)時(shí)間的交互中保持大型世界的持久性，而無(wú)需對(duì)一個(gè)不斷增長(zhǎng)的幀集合進(jìn)行推理。

展望未來(lái)

RTFM將未來(lái)提前帶到眼前，讓我們看到了未來(lái)世界模型在當(dāng)今硬件上部署的雛形，并為「將世界模型視為從數(shù)據(jù)中端到端學(xué)習(xí)的渲染器」這一理念設(shè)定了技術(shù)路線。

擴(kuò)展RTFM有許多激動(dòng)人心的方向。比如，通過(guò)增強(qiáng)使其能夠模擬動(dòng)態(tài)世界，并允許用戶與生成的世界互動(dòng)；同樣，它也非常適合擴(kuò)展。

當(dāng)前的模型目標(biāo)是在單塊H100 GPU上實(shí)現(xiàn)實(shí)時(shí)推理，李飛飛團(tuán)隊(duì)期待，面向更大推理預(yù)算的更大型號(hào)模型將持續(xù)帶來(lái)性能提升。

參考資料：

https://x.com/drfeifei/status/1978840835341914164

https://x.com/theworldlabs/status/1978839175320186988

https://www.worldlabs.ai/blog/rtfm