跳到正文

算法、任务与模态

VLA 最新动态

VLA 研究索引；按可核对的标签归档，不以热度评价质量。

185 条精选近 30 天 154 条共收录 194 条

更新

精选归档 · 第 10 页

1月1日周四第 181–185 条
  1. OpenReview · State space models73

    VLA-JEPA：利用潜在世界模型增强视觉-语言-动作模型

    基于摘要分析。该研究面向机器人视觉-语言-动作（VLA）策略，提出 JEPA 风格的预训练框架 VLA-JEPA，旨在从互联网规模视频中学习与动作相关的状态转移，而非主要追随像素变化。核心贡献是以未来帧的潜在表征作为监督目标，再通过动作头微调将预训练表征用于操作任务。 机制上，目标编码器从未来帧生成潜在表征，学生路径仅接收当前观测；作者将这种未来信息只用于监督、不作为学生输入的设计称为“无泄漏状态预测”。预测发生在潜在空间而非像素空间，意在减轻外观偏差、相机运动和无关背景变化的影响。训练流程包括 JEPA 预训练和动作头微调两个阶段。具体损失形式、目标编码器更新方式、语言条件如何参与，以及信息隔离的完整实现尚未验证。 作者报告，在 LIBERO、LIBERO-Plus、SimplerEnv 及真实世界操作任务上，相对既有方法获得一致的泛化与鲁棒性提升。摘要未提供分数、任务划分、对照方法细节或真实机器人实验规模，因此尚不能判断收益幅度及其适用边界；实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核查。 平台推测（待验证）：其潜在状态预测机制可能为 EEG 自监督表征学习提供思路，但原研究处理的是视频与机器人动作，并未验证 BCI 效果。迁移假设是，仅用当前 EEG 时间窗预测后续潜在状态，有助于学习时间动态；需将视觉编码器改为适配 EEG 通道与时间结构的编码器，并重新设计预测间隔和目标表征。低信噪比、伪迹、跨被试通道差异及小数据可能使模型主要学习非任务动态。可先在固定跨被试划分和相同数据预算下，对比潜在预测、信号重建与无预训练基线，检验下游解码及伪迹扰动下的表现。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其仅以当前观测预测未来潜在状态的预训练设计，以及该设计相对既有 latent-action 方法对外观干扰和泛化的实际收益；摘要尚不足以验证信息隔离实现与收益来源。

12月31日周三
  1. OpenReview · State space models73

    BLM：用于跨空间、跨任务与跨具身学习的无界大模型

    基于摘要分析。本文研究数字空间与物理空间之间、不同任务及机器人具身之间的统一学习问题，提出多模态空间基础模型 Boundless Large Model（BLM₁），尝试在保留指令遵循和推理能力的同时，融入具身知识并支持跨具身控制。主要研究对象是具身智能与机器人控制，而非 EEG 解码或 BCI。 方法采用两阶段训练：第一阶段利用经过整理的数字语料向多模态大语言模型（MLLM）注入具身知识，同时维持语言能力；第二阶段通过 intent-bridging interface（意图桥接接口）提取 MLLM 的高层语义来指导策略模块训练，不微调 MLLM 主干。其核心设计是将高层语义与低层控制衔接，具体接口表示、策略结构、损失函数及训练规模尚未验证。 作者构建了覆盖四种机器人具身、六项难度递增任务的自采集示范套件。作者报告，在数字与物理基准评估中，单个 BLM₁ 实例优于 MLLMs、ELLMs、VLAs 和 GMLMs 四类模型，数字任务增益约为 6%，物理任务约为 3%。摘要未明确这些增益对应的指标、聚合方式，以及属于相对提升还是百分点变化，不能据此作跨协议比较。数据划分、未见任务与未见具身的测试条件、对照配置、消融及统计信息尚未验证；代码、权重和数据开放情况也未获确认。 平台推测（待验证）：高层意图与执行策略解耦的机制，可作为 BCI 辅助机器人控制的设计参考，但需要额外建立神经信号到意图接口的可靠映射。原研究依赖数字语料和机器人示范，摘要未提供神经信号实验，不能将跨具身结果视为跨被试或跨会话 EEG 泛化证据；低信噪比、意图误判和控制延迟均可能阻断迁移。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是 BLM₁ 如何通过意图桥接接口将高层语义推理与控制策略训练解耦，以及这种设计能否支持跨具身泛化；摘要中的性能增益仍需结合具体指标和评估协议验证。

  2. OpenReview · Representation learning77

    StaMo：从紧凑状态表示中无监督学习可泛化的机器人运动

    基于摘要分析。StaMo 研究机器人具身智能中状态表示的紧凑性与任务信息保留之间的权衡，提出利用轻量编码器和预训练 Diffusion Transformer（DiT）解码器，从静态图像无监督学习由两个 token 构成的状态表示，并进一步从该表示中提取潜在动作。 方法借助预训练 DiT 的生成先验支持高度压缩的状态编码，并将表示接入现有 VLA 模型。作者还报告，通过潜在插值得到的 token 差分可作为潜在动作，进一步解码为可执行的机器人动作。作者据此认为，该表示在没有显式监督的情况下捕捉了结构化动力学。摘要未明确差分计算的具体对象、插值流程、训练损失，以及潜在动作到机器人控制指令的解码与监督条件，需结合全文核对。 结果方面，作者报告接入 VLA 模型后，在 LIBERO 上性能提升 14.3%，真实世界任务成功率提升 30%，且推理额外开销较小；潜在动作还用于策略联合训练，作者报告相较既有方法提升 10.4%。这些数字对应的具体基线、任务划分、统计不确定性，以及百分比是否表示相对增幅，摘要均未明确，不能改写为百分点提升或跨协议直接比较。作者还报告方法可扩展至真实机器人数据、仿真和人类第一视角视频，但各数据源的训练与评估关系尚未验证。 复现时需核对预训练 DiT 的来源与训练数据、编码器训练目标、两 token 压缩的信息保留能力、动作解码条件，以及推理开销的测量设置；实验协议、消融及统计信息尚未验证。本文主要研究对象是视觉机器人状态与动作表示，并非 EEG/BCI；静态图像生成先验和机器人动作结构不能直接视为神经信号上的有效机制，现有材料不足以支持具体迁移结论，相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是两 token 紧凑状态表示能否同时保留任务信息并通过潜在差分形成可执行动作；摘要报告了机器人任务收益，但其生成先验依赖、对照协议与泛化边界尚待全文验证。

9月19日周五
  1. OpenReview · Representation learning76

    视觉-语言-动作模型中的表征退化研究

    基于摘要分析。本文研究机器人决策中 Vision-Language-Action（VLA）模型的泛化瓶颈，通过逐层表征分析考察承担动作生成任务的深层特征，并提出 hidden Space WOrld modeLing（SWOL），利用从未来观测外推的中层表征对齐退化的深层特征。 核心机制：作者报告，负责动作生成的较深层表征对语义信息与环境动力学的泛化能力下降。SWOL 以泛化能力更强的中层表征作为对齐参照，约束表征具有时间一致性并与动作关联；摘要称该方法无需修改模型架构或推理流程。具体未来观测的使用方式、外推过程、对齐损失及训练安排尚未验证，不能据此确定其实现形式。 结果与证据边界：作者报告，仿真和真实环境实验显示 SWOL 能缓解表征退化，提高策略有效性，并增强视觉、语言及动力学方面的泛化。摘要未提供模型、数据集、任务、划分、对照基线或量化指标，实验协议、消融及统计信息尚未验证；也尚不能判断收益是否主要来自深层对齐、时间约束或其他训练因素。 平台推测（待验证）：该方法的原始对象是具有观测—动作序列的机器人 VLA，而非 EEG/BCI。可检验的迁移假设是，时序 EEG 解码模型的深层任务表征也可能损失中层保留的可泛化信息，但这不等同于已证实的跨被试瓶颈。逐层表征评估与中深层对齐思路可能复用，未来观测参照和动作关联约束则需按 EEG 的时序结构及监督条件改造；低信噪比、被试差异、通道变化和小数据可能使对齐目标不稳定，甚至保留无关噪声。小规模验证可在固定跨被试划分下，先比较冻结的各层表征解码表现，再对比原模型与加入中深层对齐的模型，并确保未来观测仅用于训练。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其逐层表征分析与 SWOL 对齐机制：作者报告可在不修改架构或推理流程的条件下改善机器人策略泛化，但具体收益及其对 EEG/BCI 的适用性尚未验证。

  2. OpenReview · Representation learning74

    视觉-语言-动作模型的对比表征正则化

    基于摘要分析。本文研究机器人操纵中的 Vision-Language-Action（VLA）模型：预训练 Vision-Language Models（VLMs）提供的表征可能对控制动作、本体感知状态等机器人信号不够敏感。作者提出 Robot State-aware Contrastive Loss（RS-CL），以机器人本体感知状态之间的相对距离作为软监督，在原有动作预测目标之外加入表征正则化，使表征更贴近控制相关状态。 核心机制是利用连续状态间的相对关系指导对比表征学习，而非仅依赖动作预测监督。作者称该方法轻量且兼容标准 VLA 训练流程；具体距离度量、对比样本构造、损失形式、权重及计算开销尚未验证。 作者报告，在 RoboCasa-Kitchen 的 pick-and-place 任务中，操纵表现由 30.8% 提升至 41.5%，并将改善归因于抓取和放置时更准确的定位；在具有挑战性的真实机器人操纵任务中，成功率由 45.0% 提升至 58.3%。摘要未明确前一组百分比的指标名称，也未列出对应 VLA 基线名称。任务划分、试验次数、消融及统计信息尚未验证，两组结果不能脱离各自评估环境直接比较。 平台推测（待验证）：若 EEG 运动解码具有与信号同步的运动学或动作状态标注，可检验以状态距离约束表征能否改善控制相关信息的保留；这是假设，并非本文已验证的 BCI 贡献。可复用的是距离软监督思路，需改造状态定义、时间对齐和距离度量。低信噪比、跨被试差异、通道变化及小数据可能使状态距离与 EEG 表征关系不稳定。一个小规模可证伪实验是：在固定数据划分与解码器下，对比原目标、加入状态距离正则化及打乱状态对应关系的对照，观察独立测试集上的解码收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是利用本体感知状态间的相对距离提供软监督、补充动作预测目标的表征正则化机制；作者报告了机器人操纵收益，但其对 EEG/BCI 的适用性尚未验证。