豆花av91-豆花AV网站-豆花成人精品-豆花成人论坛-豆花成人视频-豆花成人资源-豆花福利导航-豆花精品福利-豆花乱伦自拍-豆花视频导航-豆花一区二区-豆花自拍偷拍

以往的通用模型如 RT-2、OpenVLA 雖已初具通用模型之勢，但依然存在諸多瓶頸：

UniVLA 選擇了一條更具前瞻性的路徑：不再直接預(yù)測每一步動作，而是構(gòu)建一個任務(wù)中心的隱式動作空間，在這個“中間表征”上統(tǒng)一訓(xùn)練與泛化策略，不僅可以有效解決上述瓶頸，同時也能夠以更低的計算資源消耗實現(xiàn)更優(yōu)的效果。

UniVLA的核心創(chuàng)新在于構(gòu)建了以任務(wù)為中心的隱式動作空間（task-centric latent action space），讓模型可以從海量無標(biāo)簽視頻中學(xué)習(xí)任務(wù)相關(guān)且高效泛化的動作表示，只在人類視頻數(shù)據(jù)(Ego4D)上預(yù)訓(xùn)練，就可以在LIBERO仿真平臺上達(dá)到SOTA級別效果。經(jīng)過預(yù)訓(xùn)練后同一模型可以同時完成操作與導(dǎo)航等任務(wù)，實現(xiàn)了通用的動作學(xué)習(xí)。

為什么是隱式動作？

因為它既“壓縮信息”，又“對齊知識”

傳統(tǒng)的通用模型如OpenVLA采用自回歸策略直接預(yù)測每一步動作，推理速度慢且魯棒性不強(qiáng)。UniVLA則另辟蹊徑，將動作預(yù)測劃分為三個階段：

1. 隱式動作學(xué)習(xí)：

從海量跨領(lǐng)域視頻中“默默學(xué)習(xí)”，通過逆動力學(xué)建模并使用VQ-VAE進(jìn)行離散化，構(gòu)建出對任務(wù)理解更強(qiáng)、更緊湊的隱式動作空間；

2. 通用策略預(yù)訓(xùn)練：

借助Prismatic-7B等大模型架構(gòu)，將視覺觀察與語言指令編碼為統(tǒng)一輸入，預(yù)測隱式動作序列，從而實現(xiàn)具身無關(guān)的通用策略；

3. 動作解碼與部署：

使用輕量化解碼器將隱式動作轉(zhuǎn)譯為真實機(jī)器人控制信號，作為下游的控制策略，從而能夠在多款機(jī)器人平臺上進(jìn)行快速適配和部署，輕裝上陣、高效執(zhí)行。

UniVLA的前兩階段訓(xùn)練策略

相比 OpenVLA 那種直接在動作空間里“硬解”的做法，UniVLA 的“隱式編碼”（Latent Encoding）策略有幾個顯著優(yōu)勢：

1. 可以更好的利用視頻數(shù)據(jù)，泛化范圍大：

只需視頻和語言，就能從互聯(lián)網(wǎng)視頻數(shù)據(jù)中學(xué)技能，提取動作；

2. 壓縮維度，降低計算成本：

動作空間被有效壓縮，推理速度從<5Hz 提升至 10Hz+；

3. 適配靈活，遷移效率高：

由于隱式動作具有通用性，故只需輕量微調(diào)，就能部署到不同機(jī)器人上，下游數(shù)據(jù)效率拉滿。

數(shù)據(jù)算力所需更少，性能反而更強(qiáng)

相比OpenVLA，UniVLA在計算效率和適配能力上表現(xiàn)出壓倒性優(yōu)勢：預(yù)訓(xùn)練GPU時長僅為其1/20，卻在多個任務(wù)和平臺上實現(xiàn)性能的全面超越。

在LIBERO、CALVIN等多個操控基準(zhǔn)測試中，UniVLA展現(xiàn)出優(yōu)越的通用性與任務(wù)適應(yīng)能力，在四項評估指標(biāo)中成功率平均提升達(dá)18.5%。更值得注意的是，僅使用人類視頻預(yù)訓(xùn)練(Ego4D)，UniVLA也能在LIBERO-Goal中達(dá)到SOTA效果。同時只需要10%的數(shù)據(jù)就在LIBERO-Goal上達(dá)到了SOTA效果（62.4%），優(yōu)于同樣數(shù)據(jù)量訓(xùn)練下的OpenVLA（11.6%）和 OpenVLA-OFT（43.0%），數(shù)據(jù)利用效率如同開掛。

LIBERO 實驗結(jié)果

更重要的是，UniVLA以其結(jié)構(gòu)化的隱式動作空間設(shè)計，天然具備擴(kuò)展性與數(shù)據(jù)可擴(kuò)展性：無論是引入更多人類示范作為提取隱空間表征的與訓(xùn)練，還是增加新的機(jī)器人平臺僅通過輕量微調(diào)即可遷移適配，實現(xiàn)跨具身、跨視角、跨任務(wù)的全面通用。

在真實機(jī)器部署中，受益于僅12M參數(shù)的簡單動作解碼器以及高效的隱空間動作表征，UniVLA可以實現(xiàn)（閉環(huán)）10Hz以上的實時推理控制，在多個任務(wù)中（如“清理案板”、“疊漢諾塔”等）展現(xiàn)出高精度、高魯棒的操作能力，平均成功率達(dá)到80%+，推理時延遠(yuǎn)低于OpenVLA，打通了通用大模型到落地應(yīng)用的可能路徑。

UniVLA在真機(jī)實驗表現(xiàn)出色

同時在設(shè)計的若干泛化實驗中，面對各種泛化挑戰(zhàn)，它不僅不社恐，還能“快準(zhǔn)穩(wěn)”上手。通用的隱式動作空間+異構(gòu)數(shù)據(jù)的預(yù)訓(xùn)練，讓它不止是“聰明”，而且真“通用”。

UniVLA在不同泛化條件下的表現(xiàn)

多虧了UniVLA的‘隱式動作+通用訓(xùn)練’，UniVLA能夠充分在大量異構(gòu)數(shù)據(jù)(操作、導(dǎo)航甚至人類視頻)中進(jìn)行學(xué)習(xí)，并能夠有效容納足夠多的知識，照單全收，越學(xué)越強(qiáng)。

UniVLA的異構(gòu)數(shù)據(jù)擴(kuò)展能力

少樣本情況下UniVLA性能優(yōu)勢盡顯，在LIBERO長程任務(wù)基準(zhǔn)上僅用10%數(shù)據(jù)（不到50條demo，平均每個任務(wù)僅5條）擊敗了全量數(shù)據(jù)微調(diào)的OpenVLA。

UniVLA在少樣本情況下的表現(xiàn)

UniVLA的方法不僅代表了視覺語言動作模型（VLA）領(lǐng)域的一次突破，更為“通用機(jī)器人智能”提供了新的思考與貢獻(xiàn)：從像素重建走向語義解耦的隱式動作學(xué)習(xí)、從高耗能預(yù)訓(xùn)練走向輕量高效的跨本體適配、從單一機(jī)器人數(shù)據(jù)閉環(huán)走向人類視頻與多本體數(shù)據(jù)的開放協(xié)同。