中文
← Back to tutorials

Foundation Models for Robotics: RT-2, OpenVLA, and Physical Intelligence

How vision-language-action models are enabling general-purpose robot control

By AI Skill Navigation Editorial TeamPublished June 8, 2025

引言：从专用控制器到基础模型

传统机器人控制依赖手工设计的感知-规划-执行管线，每个模块独立训练，泛化到新物体、新场景或新任务时需大量重新标注和调参。近年来，受大语言模型（LLM）成功启发，研究者尝试将“基础模型”范式引入机器人领域——即在大规模、多来源数据上预训练一个通用模型，再通过少量微调适配下游任务。其中，视觉-语言-动作模型（VLA） 成为最具代表性的方向：它直接以视觉输入和自然语言指令为输入，输出机器人动作序列，试图统一感知、推理与运动控制。

VLA 核心概念：视觉-语言-动作三模态融合

VLA 模型的核心思想是将视觉编码器（如 ViT）、语言编码器（如 T5、BERT）与动作解码器（通常为离散化或连续动作 token 预测）端到端训练。输入为图像（或视频帧）和文本指令，输出为机器人关节角度、末端执行器位姿或导航速度等低级控制信号。与经典方法相比，VLA 的优势在于：

  • 语义理解：通过语言指令直接指定任务目标，无需预定义任务 ID。
  • 视觉泛化：预训练视觉编码器可识别未见过的物体和场景。
  • 多任务学习：单一模型可处理拾取、放置、推、拉等多种操作技能。

    • 代表性公开研究

    #### 1. RT-1 与 RT-2：Google 的机器人 Transformer 系列

    RT-1（Robotics Transformer 1）是 Google 于 2022 年发布的基于 Transformer 的机器人操作模型。它使用 FiLM 机制融合视觉特征与语言指令，输出离散化的动作 token（如“移动 5cm”、“旋转 30°”）。RT-1 在包含 130,000 条演示的“Everyday Robots”数据集上训练，可执行 700 多种任务，包括拾取、放置、打开抽屉等。其关键贡献是证明了大规模、多任务数据可显著提升零样本泛化能力——例如，模型在训练中从未见过的厨房场景中仍能完成“拿杯子”指令。

    RT-2（2023 年）进一步将 VLA 与网络级视觉-语言预训练结合。它使用 PaLI-X 或 PaLM-E 作为骨干，将机器人动作视为“另一种语言 token”，与文本 token 一起在混合数据集（机器人演示 + 网络图像-文本对）上训练。RT-2 展现出涌现能力：在未训练过的任务上（如“把苹果放到空碗里”），它可通过类比网络知识（如“碗是容器”）推理出正确动作。然而，RT-2 的动作空间仍为离散化，精度受限于 token 粒度，且需要大量计算资源（数百 GPU 天）。

    #### 2. Open X-Embodiment：数据共享的里程碑

    Open X-Embodiment 是一个由 20 多个研究机构联合发起的项目，旨在收集并标准化来自不同机器人平台（如 Franka、KUKA、UR5、Google Robot）的演示数据。截至 2024 年，数据集包含超过 100 万条演示，覆盖 500 多种任务和 60 多种物体。基于此数据训练的 RT-1-X 和 RT-2-X 模型展示了跨本体泛化能力：在 Franka 上训练的模型可直接在 KUKA 上执行类似任务，无需微调。这验证了数据多样性比数据量更重要——即使总数据量不大，不同机器人形态、场景和任务组合也能提升泛化性。

    #### 3. Octo：开源、轻量化的 VLA 基线

    Octo 由 UC Berkeley、Google 等团队开发，是一个完全开源的 VLA 模型（权重、代码、数据均公开）。它采用 Transformer 架构，输入为单帧或短序列图像 + 语言指令，输出为连续动作（通过扩散头或高斯混合模型）。Octo 在 Open X-Embodiment 数据上预训练，支持多种机器人本体（如 Franka、WidowX、Sawyer），并可通过 LoRA 等高效微调方法适配新任务。其设计强调模块化：用户可替换视觉编码器（如 DINOv2、CLIP）或动作解码器，便于研究社区迭代。Octo 的零样本成功率在简单任务（如“拾取红色方块”）上可达 60-80%，但复杂长序列任务（如“组装零件”）仍远低于专用模型。

    #### 4. π0（Pi Zero）：Physical Intelligence 的通用机器人模型

    Physical Intelligence（PI）是一家专注于通用机器人基础模型的初创公司，其模型 π0（2024 年发布）代表了 VLA 在连续动作空间和多模态输入上的最新进展。π0 使用扩散模型作为动作解码器，直接输出 7 自由度关节角度或末端执行器位姿，避免了离散化带来的精度损失。它还在训练中引入触觉传感器和力反馈数据，使模型能执行精细操作（如插入插头、拧螺丝）。PI 宣称 π0 在 100 多种任务上达到 80% 以上成功率，但具体数字未公开。其关键创新在于动作流匹配（Action Flow Matching）：通过将动作生成视为从噪声到目标动作的连续变换，提高了动作平滑性和鲁棒性。

    #### 5. 其他重要工作

  • PaLM-E（Google，2023）：将 LLM（PaLM）与视觉编码器结合，通过“具身化” token 表示机器人状态，可处理多模态推理（如“哪个杯子离我最近？”）。但 PaLM-E 不直接输出动作，而是输出高级规划（如“先走到桌子前”），需下游控制器执行。
  • RoboCat（DeepMind，2023）：一个自改进的 VLA 模型，通过自我生成数据（模型在模拟器中探索并记录成功轨迹）不断迭代。RoboCat 可在少量人类演示（100-1000 条）后适应新任务，展示了数据飞轮的潜力。
  • GR-1（清华大学，2024）：一个基于扩散的 VLA 模型，在单帧图像上预测未来动作序列，强调时序一致性。GR-1 在 CALVIN 基准上达到 90% 以上成功率，但 CALVIN 任务相对简单（桌面操作）。

    • 数据与泛化挑战

    尽管 VLA 模型在演示任务上表现优异，但部署到真实世界仍面临严峻挑战：

  • 数据瓶颈：机器人演示数据采集成本极高（需人类遥操作或 kinesthetic teaching）。Open X-Embodiment 虽包含 100 万条演示，但每条演示仅对应一个任务，且场景单一（固定桌面、固定光照）。相比之下，LLM 的训练数据（网络文本）规模达数万亿 token。数据多样性不足导致 VLA 对光照、背景、物体姿态变化敏感——在实验室环境中成功率达 90% 的模型，在工厂仓库中可能骤降至 30%。

  • 动作空间与精度：离散化动作（如 RT-2）限制了精细操作（如穿针引线）；连续动作模型（如 π0）虽精度更高，但训练不稳定，且对传感器噪声敏感。此外，大多数 VLA 模型输出末端执行器位姿，而非关节力矩，无法处理需要力控的任务（如拧紧螺丝）。

  • 长时域任务：VLA 模型通常只预测未来 1-2 秒的动作，无法规划多步骤任务（如“先拿螺丝刀，再拧螺丝”）。现有方法通过分层架构（高级 LLM 规划 + 低级 VLA 执行）缓解，但 LLM 的规划可能不具物理可行性（如“把杯子放在空中”）。

  • 安全与鲁棒性：VLA 模型对分布外输入（如新物体、新指令）可能产生危险动作（如撞翻花瓶）。目前缺乏有效的安全约束机制——RLHF 在机器人领域尚未成熟，因为奖励函数难以定义。

    • 与 LLM 的关系：互补而非替代

    VLA 模型与 LLM 在架构上共享 Transformer 和预训练范式，但存在本质差异：

  • 输入模态：LLM 仅处理文本，VLA 需处理高维视觉和连续动作。
  • 输出空间：LLM 输出离散 token，VLA 输出连续或离散化动作，需满足物理约束（如关节限位、碰撞避免）。
  • 数据来源：LLM 可从海量文本中学习常识，VLA 必须依赖机器人演示（或模拟器数据），后者成本高且难以覆盖所有场景。

    • 当前主流趋势是将 LLM 作为 VLA 的“大脑”：LLM 负责任务分解、物体推理和异常处理，VLA 负责执行低级动作。例如，SayCan（Google，2022）使用 LLM 选择可执行技能，再由 VLA 执行；RT-2 则直接将 LLM 的语义知识融入动作预测。未来，VLA 可能从 LLM 的思维链（Chain-of-Thought）和上下文学习（In-Context Learning）中获益，例如通过少量示例指令适应新任务，而无需重新训练。

    未来方向

  • 数据高效学习：利用模拟器（如 Isaac Sim、MuJoCo）生成大量合成数据，再通过域随机化迁移到真实世界。但模拟到现实（Sim-to-Real）的差距仍是开放问题。
  • 多模态融合：引入触觉、听觉、深度信息，使 VLA 能处理更复杂的物理交互（如“轻轻放下鸡蛋”）。
  • 安全对齐：开发类似 RLHF 的机器人安全训练方法，或通过可微分物理模拟器约束动作空间。
  • 开源生态：Octo、Open X-Embodiment 等开源项目降低了研究门槛，未来可能出现类似 Hugging Face 的机器人模型 Hub。

    • FAQ

    Q1: VLA 模型与传统的“感知-规划-控制”管线相比，优势在哪里？ A: VLA 将三个模块端到端训练，避免了中间表示的信息损失，且能从多任务数据中学习共享特征，提升泛化能力。但缺点是训练成本高、可解释性差，且对数据分布敏感。

    Q2: 训练一个 VLA 模型需要多少数据？ A: 没有固定答案。RT-2 使用了 130K 机器人演示 + 数百万网络图像-文本对；Octo 在 100 万条演示上预训练。对于简单任务（如“拾取固定物体”），数千条演示可能足够；对于复杂任务（如“组装家具”），可能需要数十万条。数据多样性比数据量更重要。

    Q3: VLA 模型能否直接部署到不同机器人硬件上？ A: 部分可以。Open X-Embodiment 展示了跨本体泛化（如 Franka→KUKA），但需要模型在训练时见过多种机器人形态。对于全新硬件（如四足机器人），通常需要微调。Octo 支持通过 LoRA 高效适配新本体。

    Q4: VLA 模型与 LLM 结合的具体方式有哪些？ A: 常见方式包括：1) LLM 作为高级规划器，输出任务序列，VLA 执行；2) VLA 使用 LLM 的预训练权重作为骨干（如 RT-2 使用 PaLM-E）；3) 在推理时，LLM 通过上下文学习提供任务示例，VLA 据此调整动作。

    Q5: 当前 VLA 模型的主要局限是什么？ A: 数据瓶颈（高质量演示数据稀缺）、长时域任务规划能力弱、对分布外场景鲁棒性差、以及缺乏安全约束机制。此外，连续动作模型的训练稳定性仍有待提升。

    *Last updated: July 2026. Always verify against each tool's official docs.*

    Also available in 中文.