就在前些時候，谷歌旗下DeepMind發(fā)布了一款名為Robotics Transformer 2的新型視覺-語言-動作（VLA）模型，這一模型某種程度上可以理解為機器人的“大腦”，給機器人輸入了認(rèn)知能力。那么，如何理解這一模型帶來的影響？一起看看作者的解讀。

大語言模型不僅能讓應(yīng)用變得更智能，還將讓機器人學(xué)會舉一反三。在谷歌發(fā)布RT-1大模型僅半年后，專用于機器人的RT-2大模型于近期面世，它能讓機器人學(xué)習(xí)互聯(lián)網(wǎng)上的文本和圖像，并具備邏輯推理能力。

該模型為機器人智能帶來顯著升級——即便在機器人沒有經(jīng)歷過的場景下，RT-2也通過學(xué)習(xí)讓它根據(jù)指令完成任務(wù)。

谷歌DeepMind機器人技術(shù)主管Vincent舉例稱，如果讓以前的機器人丟垃圾，必須要專門訓(xùn)練它理解什么是垃圾、如何撿起和扔到哪去。現(xiàn)在RT-2能夠從網(wǎng)絡(luò)數(shù)據(jù)上學(xué)習(xí)識別和處理垃圾的方法，不必逐一特訓(xùn)不同的場景了。

AI的發(fā)展讓機器人的“大腦”實現(xiàn)了物種進(jìn)化般的迭代，另一面是，機器人失控的風(fēng)險也隨之增加。

一、RT-2大模型實現(xiàn)機器人自主學(xué)習(xí)

ChatGPT的火爆，讓世界見識了大語言模型的強大力量。人們對大模型不再陌生，開始使用基于大模型的應(yīng)用繪畫、作圖、搜索資料、設(shè)計劇情等，而妙用不止于此。谷歌腦洞大開，專門給機器人造了個大模型，讓機器人擁有了自主學(xué)習(xí)能力。

不久前，谷歌旗下DeepMind發(fā)布了一款名為Robotics Transformer 2（簡稱RT-2）的新型視覺-語言-動作（VLA）模型，該模型相當(dāng)于機器人的專用大腦，能夠指導(dǎo)機器人識別視覺和語言，讓其理解指令并做出正確的操作。

谷歌介紹，RT-2基于Transformer模型開發(fā)，根據(jù)互聯(lián)網(wǎng)上的文本和圖像進(jìn)行訓(xùn)練，直接指示機器人執(zhí)行動作。就像用文本訓(xùn)練大語言模型學(xué)習(xí)人類知識一樣，RT-2可以將網(wǎng)絡(luò)數(shù)據(jù)喂給機器人，指導(dǎo)機器人的行為。

為了展示RT-2的能力，谷歌發(fā)布了一個演示視頻，讓搭載RT-2的機器人完成一些它此前從未經(jīng)過訓(xùn)練的項目。

視頻中，面對一堆隨意放在桌上的物品，搭載了RT-2模型的機械臂能夠聽懂人類語言并做出相應(yīng)的反應(yīng)。

比如，命令它“撿起已滅絕的動物”，機械臂就能從獅子、鯨魚、恐龍這三個塑料玩具中準(zhǔn)確選擇恐龍；如果命令它將香蕉放到2+1的總和的位置，機械臂直接把香蕉放在了數(shù)字3的位置；再讓它把草莓放入碗里，機器人也能夠無視蘋果、橘子等水果，選對草莓。

不過，在演示過程中，機器人也出現(xiàn)了錯誤，它不能準(zhǔn)確地識別汽水口味，這讓它看起來還有不小的優(yōu)化空間。

即便還不夠完美，但機器人能夠自主理解、推理和執(zhí)行任務(wù)，已經(jīng)是一個長足的進(jìn)步。

DeepMind機器人技術(shù)主管Vincent以“扔垃圾”這個看似簡單的操作舉例，如果想要以前的系統(tǒng)執(zhí)行丟棄垃圾的行為，必須明確訓(xùn)練它識別和處理垃圾，而RT-2可以從大量網(wǎng)絡(luò)數(shù)據(jù)中學(xué)習(xí)并理解什么是垃圾，并在未經(jīng)特定訓(xùn)練的情況下進(jìn)行識別。盡管未曾接受過相關(guān)動作訓(xùn)練，但它能掌握如何丟棄垃圾的方法。“考慮到垃圾的抽象性，比如各種薯片包或香蕉皮在你食用后就成為了垃圾，RT-2能通過其視覺語言培訓(xùn)數(shù)據(jù)理解這個概念，并完成任務(wù)。

RT-2就給機器人輸入了認(rèn)知能力，讓它能夠在互聯(lián)網(wǎng)上學(xué)習(xí)和進(jìn)步，甚至還能進(jìn)行一般推理。這對于機器人產(chǎn)業(yè)來說，不亞于一次物種進(jìn)化。

二、機器人加速進(jìn)化，再觸AI安全底線

事實上，給機器人裝上大腦這件事，谷歌并不是第一次嘗試了。就在去年12月，谷歌發(fā)布了RT-1大模型，它可以標(biāo)記機器人輸入和輸出的動作，在運行時實現(xiàn)高效推理，并使實時控制成為可能。

RT-1模型是在一個包含130k個“情景”的大型真實世界機器人數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集涵蓋700多項任務(wù)，由13臺機器人在17個月內(nèi)收集而成。也就是說，RT-1大模型可以讓單一機器人，學(xué)習(xí)其他機器人在過去積攢的經(jīng)驗，從而具備相應(yīng)的能力。

RT-1大模型論文

當(dāng)時，谷歌讓搭載RT-1的機器人進(jìn)行一系列復(fù)雜操作，包括拾取和放置物品、打開和關(guān)閉抽屜、將物品放入和取出抽屜、將細(xì)長的物品直立放置、敲倒物體、拉出餐巾紙和打開罐子。據(jù)團(tuán)隊稱，RT-1以97%的成功率執(zhí)行了700多個訓(xùn)練指令，并且可以泛化到新的任務(wù)。

但對于沒有具體學(xué)習(xí)過的場景，RT-1還是很難自主依據(jù)推理完成任務(wù)。根據(jù)測試，它在不熟悉的場景下，操作的準(zhǔn)確率只有32%。

如果說當(dāng)時的RT-1還是個“教什么學(xué)什么”的小學(xué)生，RT-2則進(jìn)步成了能夠舉一反三的初高中生。在沒見過的新場景中，RT-2的性能表現(xiàn)幾乎翻了一番，從RT-1的32%提高到了62%，而此時距離RT-1的發(fā)布時間僅僅過去了半年多。

谷歌DeepMind機器人技術(shù)主管Vincent解釋，RT-2建立在RT-1模型的基礎(chǔ)上，消除了一些復(fù)雜性；使單個模型不僅能夠執(zhí)行基礎(chǔ)模型中看到的復(fù)雜推理，而且還可以輸出機器人動作。最重要的是，它表明在少量的機器人訓(xùn)練數(shù)據(jù)下，該系統(tǒng)就能夠?qū)⑵湔Z言和視覺訓(xùn)練數(shù)據(jù)中嵌入的概念轉(zhuǎn)變?yōu)橹笇?dǎo)機器人行為，即使是從未接受過訓(xùn)練的任務(wù)。“簡而言之，RT-2的能力在于將信息轉(zhuǎn)化為行動，這顯示了其快速適應(yīng)新環(huán)境和情況的潛力?！?/p>

得益于大模型的快速進(jìn)步，機器人產(chǎn)業(yè)迎來了質(zhì)變，按照谷歌的迭代速度，或許明年就能看到更強大的RT-3。

研究機器人的不止谷歌，特斯拉也對機器人興趣濃厚。今年5月，特斯拉發(fā)布了一個視頻，5個人形機器人在工廠中直立行走，它們裝備了很多傳感器，能夠探測周圍環(huán)境，執(zhí)行分揀物品等任務(wù)。特斯拉的機器人也在走AI路線，這家電動汽車廠商的CEO馬斯克稱，特斯拉正在嘗試打通電動汽車的輔助駕駛軟件（FSD）系統(tǒng)和人形機器人的底層模塊，讓機器人智商在線。

而倘若后續(xù)特斯拉機器人能夠接入RT-2甚至更高級的大模型，機器人的能力預(yù)計又將大幅進(jìn)步。

但越來越聰明的機器人，也加劇了人們對AI失控的擔(dān)憂。大模型的軟件應(yīng)用可能會在網(wǎng)絡(luò)學(xué)習(xí)中操控人類的思想、輿論，金屬外殼的人形機器人直接具備了物理殺傷力。

有人在社交媒體發(fā)問，“人類是否親手打開了一個潘多拉魔盒？”

如何規(guī)訓(xùn)機器人，仍然回到了大模型安全性這一老問題上，但這個問題至今還未在全球的研究與應(yīng)用領(lǐng)域達(dá)成共識。

技術(shù)另一面的未知危機仍未解除，裝上AI大腦的機器人出現(xiàn)了，你會期待還是警惕？