把未来预测集中到操作相关的信息
机器人操作策略需要知道物体接下来可能在哪里、怎样运动,以及物体之间的相对关系。我在 Physical WAM 中验证一个问题:将这些信息作为预测目标后,能否用更少的未来查询完成动作模型的训练?
实验冻结 V-JEPA 视觉编码器,由联合预测器读取当前视觉上下文和未来查询。完整方案用 1,568 个未来查询预测物体状态、运动和相对关系,压缩方案把查询预算缩到 196。动作模块从预测器读取当前上下文,并参与联合训练。
在 book_caddy 小规模离线仿真中,把未来查询从 1,568 减到 196 后,1,000 次更新的训练循环从 50.15 秒缩短到 18.85 秒,耗时减少约 62.4%。
机器人操作策略需要知道物体接下来可能在哪里、怎样运动,以及物体之间的相对关系。我在 Physical WAM 中验证一个问题:将这些信息作为预测目标后,能否用更少的未来查询完成动作模型的训练?
实验冻结 V-JEPA 视觉编码器,由联合预测器读取当前视觉上下文和未来查询。完整方案用 1,568 个未来查询预测物体状态、运动和相对关系,压缩方案把查询预算缩到 196。动作模块从预测器读取当前上下文,并参与联合训练。
这是 book_caddy 单任务的小规模离线仿真。两组使用同一数据划分和训练步数:16 个训练窗口、8 个验证窗口、随机种子 42、批大小 2,各运行 1,000 次更新。表里的时间是这段训练循环的耗时,计算量只统计预测器。
| 指标 | 完整查询 | 压缩查询 | 变化 |
|---|---|---|---|
| 未来查询数 | 1,568 | 196 | 减少 87.5% |
| 预测器计算量 | 13.031 GFLOPs | 1.845 GFLOPs | 降低约 85.8% |
| 训练循环耗时 | 50.15 秒 | 18.85 秒 | 减少约 62.4% |
这轮实验给出了精简查询预算后的训练成本。下一步是用更多数据划分和随机种子复测,记录实际任务完成率,并测量不同查询预算下的性能和计算成本。