Splat2Act：从采集场景到个性化 VLA 操作

基于摘要分析。Splat2Act 研究如何在不为每个用户环境采集真实操作示范的情况下，将预训练视觉-语言-动作（VLA）策略个性化到特定室内场景与物体集合。其核心贡献是一条自动化 real-to-sim-to-real 流程，以手持手机扫描和用户物体图像为输入，构建仿真环境、生成抓取示范并微调策略。 方法上，流程利用 3D Gaussian Splatting 与碰撞几何构建逼真数字孪生，自动发现桌面及非桌面承载位置，构造可执行的抓取任务，再通过具有特权信息的仿真 oracle 生成成功示范。不同于摘要所述的既有单桌面重建方案，该工作面向建筑尺度室内环境。作者报告，在 101 个扫描的校园环境中，场景可导航面积中位数为 104.87 平方米、承载位置数量中位数为 7，流程共获得 852 个承载位置及超过 68,000 条抓取示范。 训练分为两阶段：第一阶段使用数百个公开物体资产进行适应，场景数据可仅来自部署场景，也可来自全部 101 个场景；第二阶段针对部署场景中的用户物体及其承载位置进行个性化。作者报告，未经适应的 π₀.₅ 在其采集的部署场景中抓取成功率为 0%；最强个性化策略在目标场景的汇总抓取成功率达到 62.5%。在真实 Stretch 3 机器人上的 12 项任务子集中，同一策略成功率为 63.9%，对应任务的仿真成功率为 66.7%。这些数字对应不同评估范围，不应混作同一协议比较。 可核对的重点是场景与物体采集之外的人工作业边界、仿真 oracle 的信息与规划条件、两阶段训练各自的贡献，以及目标场景和任务的划分。具体实验协议、消融及统计信息尚未验证。该研究直接面向机器人抓取，摘要未提供神经信号建模或 EEG/BCI 验证，不能据此推导其具有 BCI 个性化效果。