用 V-JEPA 做机器人操作的未来表征:一次离线仿真实验

饶承坤 Chengkun Rao ·

在 book_caddy 小规模离线仿真中,把未来查询从 1,568 减到 196 后,1,000 次更新的训练循环从 50.15 秒缩短到 18.85 秒,耗时减少约 62.4%。

把未来预测集中到操作相关的信息

机器人操作策略需要知道物体接下来可能在哪里、怎样运动,以及物体之间的相对关系。我在 Physical WAM 中验证一个问题:将这些信息作为预测目标后,能否用更少的未来查询完成动作模型的训练?

实验冻结 V-JEPA 视觉编码器,由联合预测器读取当前视觉上下文和未来查询。完整方案用 1,568 个未来查询预测物体状态、运动和相对关系,压缩方案把查询预算缩到 196。动作模块从预测器读取当前上下文,并参与联合训练。

实验设置和训练耗时

这是 book_caddy 单任务的小规模离线仿真。两组使用同一数据划分和训练步数:16 个训练窗口、8 个验证窗口、随机种子 42、批大小 2,各运行 1,000 次更新。表里的时间是这段训练循环的耗时,计算量只统计预测器。

指标完整查询压缩查询变化
未来查询数1,568196减少 87.5%
预测器计算量13.031 GFLOPs1.845 GFLOPs降低约 85.8%
训练循环耗时50.15 秒18.85 秒减少约 62.4%

接下来怎么验证

这轮实验给出了精简查询预算后的训练成本。下一步是用更多数据划分和随机种子复测,记录实际任务完成率,并测量不同查询预算下的性能和计算成本。