像人一樣家庭大模型機器人的關(guān)鍵模塊：異構(gòu)數(shù)據(jù)協(xié)同訓(xùn)練（數(shù)據(jù)策略）、兩階段訓(xùn)練管線（訓(xùn)練策略）、分層推理架構(gòu)（模型設(shè)計）

家庭大模型機器人不局限于單一機器人的數(shù)據(jù)，而是構(gòu)建了一個異構(gòu)數(shù)據(jù)混合體（Heterogeneous Data Mixture）。

1、數(shù)據(jù)大熔爐：將移動操作機器人（Mobile Manipulator）、靜態(tài)機械臂、不同形態(tài)的機器人數(shù)據(jù)（Cross-Embodiment）、互聯(lián)網(wǎng)圖文數(shù)據(jù)（Web Data）以及高層語義任務(wù)預(yù)測（High-Level Prediction）全部扔進(jìn)一個模型里訓(xùn)練。

2、兩階段進(jìn)化：先通過海量雜亂數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練（Pre-training）獲得通用常識，再通過高質(zhì)量指令數(shù)據(jù)進(jìn)行后訓(xùn)練（Post-training）學(xué)會聽話和精細(xì)操作。

3、語義指導(dǎo)動作：模型不僅輸出底層的關(guān)節(jié)指令，還預(yù)測高層的子任務(wù)（如“打開微波爐”），利用語言思維鏈來指導(dǎo)長程操作。

家庭大模型機器人π0.5 證明了機器人的泛化能力不需要奇跡，只需要足夠豐富的數(shù)據(jù)“喂養(yǎng)”——當(dāng)機器人看過了互聯(lián)網(wǎng)上的萬千世界，它自然也就懂得了如何收拾你家亂糟糟的臥室。

家庭大模型機器人的核心設(shè)計圍繞如何讓一個模型同時消化“書本知識”（Web Data）和“肌肉記憶”（Robot Action）。其實現(xiàn)聚焦三個關(guān)鍵模塊：異構(gòu)數(shù)據(jù)協(xié)同訓(xùn)練（數(shù)據(jù)策略）、兩階段訓(xùn)練管線（訓(xùn)練策略）、分層推理架構(gòu)（模型設(shè)計）。

關(guān)鍵模塊一：異構(gòu)數(shù)據(jù)協(xié)同訓(xùn)練 (Co-training)

這個模塊要解決的，是“如何讓機器人從別人的經(jīng)驗中學(xué)習(xí)”。

數(shù)據(jù)構(gòu)成：

MM (Mobile Manipulator) ：本機型的移動操作數(shù)據(jù)。

ME (Multi-Environment) ：其他非移動機器人在不同環(huán)境下的數(shù)據(jù)。

CE (Cross-Embodiment) ：實驗室環(huán)境下不同構(gòu)型機器人的數(shù)據(jù)。

WD (Web Data) ：互聯(lián)網(wǎng)上的視覺問答（VQA）和檢測數(shù)據(jù)，用于提升對陌生物體的認(rèn)知。

HL (High-Level) ：高層子任務(wù)預(yù)測數(shù)據(jù)，教機器人學(xué)會規(guī)劃。

優(yōu)勢：如圖 4 所示，這種混合策略讓模型在面對從未見過的物體（Out-of-Distribution Objects）時，能利用 Web Data 中的常識進(jìn)行推理，而不是傻眼。

關(guān)鍵模塊二：兩階段訓(xùn)練與 FAST Tokenizer

為機器人打造“通用大腦”與“專業(yè)小腦”。

1、預(yù)訓(xùn)練 (Pre-training) ：目標(biāo)是多樣性。

混合了所有來源的數(shù)據(jù)，使用 FAST action tokenizer 將連續(xù)動作離散化，像訓(xùn)練 GPT 一樣訓(xùn)練機器人預(yù)測下一個 Action Token。

2、后訓(xùn)練 (Post-training) ：目標(biāo)是專業(yè)化。

加入口頭指令 (Verbal Instructions) 數(shù)據(jù)，專注于移動操作任務(wù)，剔除部分實驗室數(shù)據(jù)，讓模型適應(yīng)真實家庭的嘈雜環(huán)境。

關(guān)鍵模塊三：真實家庭環(huán)境驗證

展示了“Sim-to-Real”和“Lab-to-Home”的跨越。

實驗設(shè)置：

Mock Rooms：搭建了可復(fù)現(xiàn)的模擬房間進(jìn)行定量測試。

Real Homes：Z硬核的部分。在 3 個完全陌生 的真實家庭（Real Kitchens & Bedrooms）中部署機器人。

表現(xiàn)：如圖 7 所示，在“整理抽屜”、“收集衣物”、“洗碗”等任務(wù)中，家庭大模型機器人π0.5 展現(xiàn)了驚人的魯棒性。它不僅能聽懂“把襯衫放進(jìn)籃子”這樣的指令，還能連續(xù)工作 10-15 分鐘 不掉鏈子。