目前大(da)模(mo)(mo)型(xing)(xing)技術已(yi)從(cong)單純(chun)的(de)大(da)語言(yan)模(mo)(mo)型(xing)(xing)（LLM）發(fa)展到(dao)圖像-語言(yan)多模(mo)(mo)態模(mo)(mo)型(xing)(xing)（VLM）乃 至圖像-語言(yan)-動作多模(mo)(mo)態模(mo)(mo)型(xing)(xing)（VLA），其中圖像-語言(yan)-動作多模(mo)(mo)態模(mo)(mo)型(xing)(xing)（VLA）的(de)推出，實 現(xian)了數(shu)(shu)據與處理任務的(de)躍(yue)升(sheng)。從(cong)文本到(dao)圖像再到(dao)現(xian)實世界，大(da)模(mo)(mo)型(xing)(xing)的(de)數(shu)(shu)據模(mo)(mo)態逐(zhu)漸豐富(fu)，數(shu)(shu) 據規(gui)模(mo)(mo)的(de)數(shu)(shu)量級迅速增長(chang)，大(da)模(mo)(mo)型(xing)(xing)的(de)應(ying)用(yong)場景和價值(zhi)量也成(cheng)比例擴張。

在人(ren)形(xing)機(ji)器人(ren)領域，AI 大(da)模型將會從感知(zhi)（語音、視覺）、決(jue)策、控制等多方面與人(ren)形(xing) 機(ji)器人(ren)結合(he)，形(xing)成感知(zhi)、決(jue)策、控制閉環(huan)，提(ti)升機(ji)器人(ren)的智能水平。

未來人(ren)形機器人(ren)大模型的(de)(de)方向將會是感知-決策-控制(zhi)一(yi)體化的(de)(de)端到(dao)端通用大模型，集合 大規模數據(ju)集管理、云邊端一(yi)體計算架構、多(duo)模態感知與(yu)環境(jing)建模等(deng)技術(shu)。

1 微軟 ChatGPT

在(zai)機器人領域的應用主(zhu)要(yao)體現在(zai)兩個方(fang)(fang)面(mian)：自然(ran)語(yu)言(yan)交互和自動(dong)化(hua)決(jue)(jue) 策。在(zai)自然(ran)語(yu)言(yan)方(fang)(fang)面(mian)，機器人可以通(tong)過(guo) ChatGPT 來理解人類的自然(ran)語(yu) 言(yan)指令(ling)，并(bing)根(gen)據指令(ling)進行相應的動(dong)作；在(zai)自動(dong)化(hua)決(jue)(jue)策方(fang)(fang)面(mian)，機器人可以 通(tong)過(guo) ChatGPT 來生成任務方(fang)(fang)案，根(gen)據任務要(yao)求做出相應的決(jue)(jue)策。

柏(bo)林工業大學和 Google Robotics 團隊 PaLM-E

是最大(da)的多模(mo)態視覺語言模(mo)型(xing)，在 PaLM 模(mo)型(xing)基(ji)礎上，引入(ru)了具身化和(he)  多模(mo)態概念(nian)，實(shi)現了指導現實(shi)世界機器人完(wan)成相應任務的功能。

2 谷歌 RT-2

全球第(di)一個(ge)控制機(ji)器人的視覺-語言(yan)-動作（Vision-Language-Action， VLA）模型，通過將 VLM 預(yu)訓練與機(ji)器人數(shu)據相結合，能(neng)夠端(duan)到端(duan)直(zhi)接 輸出機(ji)器人的控制。

斯坦福大(da)學李飛飛團隊 VoxPoser

智能系統 VoxPose 可以從大模型(xing) LLM 和視覺(jue)語言模型(xing) VLM 中提取可行 性和約束，以構建 3D 仿真環境(jing)中的值(zhi)地圖，供運動規劃器(qi)使用，用于(yu) 零樣本地合(he)成機器(qi)人操(cao)縱任務的軌跡(ji)，從而(er)實現在(zai)真實世界(jie)中的零樣 本機器(qi)人操(cao)縱。

3 Meta 和 CMU 團隊 RoboAgent

采(cai)用(yong)了大規模機器人數據(ju)集進行訓練，考(kao)慮(lv)到機器人在現(xian)實(shi)世界中(zhong)的 訓練和(he)部(bu)署效率問題，Meta 將數據(ju)集限制(zhi)到了 7500 個操作軌跡中(zhong)，并 基于(yu)此(ci)讓 RoboAgent 實(shi)現(xian)了 12 種(zhong)不同的復雜(za)技能(neng)，包括(kuo)烘(hong)焙、拾取物(wu) 品、上茶、清潔廚房等任務，并能(neng)在 100 種(zhong)未知場景中(zhong)泛化應用(yong)。

4 英偉達 Eureka

該系統以 OpenAI 的 GPT-4 為基(ji)礎，本(ben)質是一種(zhong)由大模型驅動的算法生 成工具，能(neng)訓練實體機(ji)器人執行例如“轉筆”、“開(kai)抽屜(ti)”、“拿(na)剪(jian) 刀”、“雙(shuang)手互傳球”等多(duo)種(zhong)復(fu)雜動作。

5 英偉達 GR00T

目標是成為人(ren)形機(ji)器(qi)人(ren)通用大模型，旨在(zai)讓人(ren)形機(ji)器(qi)人(ren)理解自(zi)然(ran)語(yu)言文本、語(yu)音、視頻，以模仿人(ren)類(lei)運動，并與現實世(shi)界互動。

6 阿里云機器人大模型

方(fang)(fang)案集(ji)成了通義千(qian)問、通義萬相(xiang)等基礎模(mo)型及阿里云物聯網(wang)平(ping)臺(tai)，可(ke)賦(fu)予機(ji)器人(ren)知識庫問答、工藝流程(cheng)代碼生成、機(ji)械臂軌(gui)跡規(gui)劃、3D 目(mu)標(biao) 檢測(ce)和動(dong)態環境理解(jie)等全(quan)方(fang)(fang)位能力(li)，不僅可(ke)以大幅降低機(ji)器人(ren)開發的(de) 門檻，還讓機(ji)器人(ren)輕松完成靈活性更高的(de)非標(biao)任(ren)務(wu)，推動(dong)機(ji)器人(ren)在更廣(guang) 泛的(de)應用(yong)場(chang)景落(luo)地(di)。

7 華為盤古大模型

“盤(pan)古”大(da)(da)模(mo)(mo)型具備強大(da)(da)的(de)語義理(li)解(jie)、動態(tai)規劃、多模(mo)(mo)態(tai)信號理(li)解(jie)等(deng)能(neng)(neng) 力，將為人(ren)形(xing)(xing)機(ji)器人(ren)大(da)(da)模(mo)(mo)型的(de)開發提供智(zhi)能(neng)(neng)化(hua)決(jue)策基礎(chu)。依托(tuo)盤(pan)古大(da)(da)模(mo)(mo) 型的(de)數(shu)據(ju)處理(li)能(neng)(neng)力，可建立豐(feng)富且高質量的(de)人(ren)形(xing)(xing)機(ji)器人(ren)數(shu)據(ju)集(ji)，并(bing)且充分發揮盤(pan)古大(da)(da)模(mo)(mo)型的(de)多模(mo)(mo)態(tai)能(neng)(neng)力，實現復雜任務場景下綜合感知和任 務分解(jie)，提升各類泛化(hua)場景下的(de)具身智(zhi)能(neng)(neng)操作(zuo)水平。