跳到正文

算法、任务与模态

VLA 最新动态

VLA 研究索引；按可核对的标签归档，不以热度评价质量。

170 条精选近 30 天 139 条共收录 178 条

更新

精选归档 · 第 9 页

5月1日周五第 161–170 条
  1. OpenReview · Representation learning75

    视觉-语言-动作模型的对比表征正则化

    基于摘要分析。本文研究机器人操控中的 Vision-Language-Action（VLA）模型：预训练 Vision-Language Models（VLMs）提供的表征，可能对控制动作和本体感知信息不够敏感。作者提出 Robot State-aware Contrastive Loss（RS-CL），以机器人状态间的相对距离作为软监督，在原有动作预测目标之外加入表征正则化，使表征更贴近与控制相关的状态结构。 机制上，RS-CL 的关键不是仅依据视觉或语言信息学习表征，而是将本体感知状态的相对关系引入对比学习。作者称该方法轻量，且兼容标准 VLA 训练流程；摘要未给出距离定义、对比样本构造、损失权重及具体接入位置，这些实现条件尚未验证。 作者报告，在 RoboCasa-Kitchen benchmark 上，加入 RS-CL 后的 VLA 模型达到 69.7% 的表现；摘要未明确该数值的指标名称及具体评估设置。在具有挑战性的真实机器人操控任务中，作者报告成功率由 45.0% 提升至 58.3%。这些结果对应机器人任务，不能视为 EEG 或 BCI 有效性的证据；模型配置、任务与数据划分、重复实验、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 训练样本具有同步采集、可比较的运动学或连续行为状态，状态距离软监督可能用于约束 EEG 表征中的行为相关结构。可复用的是状态关系正则化思路，需改造状态度量、时间对齐和表征接入方式。该假设依赖辅助状态质量；低信噪比、跨被试差异、通道变化与小数据条件可能使状态距离无法对应稳定的神经表征。一个可检验的小实验是在相同 EEG 编码器和固定跨被试划分下，对比原任务目标、加入状态距离正则化及打乱状态对应关系三种条件，检查收益是否来自真实状态关系。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是利用机器人本体感知状态间的相对距离，为 VLA 表征提供软监督的机制；作者报告其改善了操控表现，但具体实验协议及其对 EEG 表征学习的适用性尚未验证。

  2. OpenReview · Representation learning76

    LARA：面向视觉-语言-动作模型的潜动作表征对齐

    基于摘要分析。本文研究机器人视觉-语言-动作（VLA）模型受限于真实动作数据稀缺的问题，提出 Latent Action Representation Alignment（LARA），通过表征对齐联合优化潜动作模型（LAM）与 VLA，以利用无标注人类视频中的视觉动态辅助动作学习。 机制上，LAM 从视觉动态中学习潜动作表征，为 VLA 提供额外监督。传统分开训练方式使 LAM 在 VLA 训练时缺少动作轨迹约束，同时冻结的 LAM 表征限制了 VLA 的学习。LARA 的核心是建立双向约束：LAM 利用动作轨迹学习，减少对与动作无关的视觉变化的依赖；VLA 则受到 LAM 所学前向动力学的正则化，以减少功能上无效的动作轨迹生成。摘要将其描述为即插即用框架，但具体对齐目标、梯度传递方式、训练阶段及数据配对要求尚未验证。 作者报告，在三个仿真和一个真实机器人操作基准构成的评估中，针对预训练、预训练 VLA 的后训练增强和 LAM 改进，平均提升分别约为 10%、5% 和 15%。摘要未明确这些百分比对应的指标、相对提升或百分点含义，也未给出各基准结果及对照基线，因此不能据此判断不同设置下的实际收益。实验协议、消融及统计信息尚未验证。 作者声明代码已公开，但代码完整性、运行条件和结果可复现性尚未核验。论文主要对象是机器人操作，并非 EEG/BCI；当前材料未建立神经信号与潜动作对齐的具体对应关系，不宜将机器人结果解释为 BCI 算法效果。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是 LARA 通过联合对齐缓解冻结潜动作表征对 VLA 学习的约束，但摘要中的提升幅度仍需结合具体指标、基线和实验协议核对，其对 EEG/BCI 的适用性尚未验证。

  3. OpenReview · State space models76

    DriveWorld-VLA：面向自动驾驶、结合 Vision–Language–Action 的统一潜在空间世界建模

    基于摘要分析。DriveWorld-VLA 研究端到端自动驾驶中未来场景演化与动作规划的统一建模问题，提出在潜在空间内紧密整合 Vision–Language–Action（VLA）与世界模型，使规划器直接利用场景演化表征，而非仅将视觉想象作为独立辅助信息。 核心机制是将世界模型的潜在状态作为 VLA 规划器的核心决策状态，用于评估候选动作对未来场景演化的影响。动作条件想象完全在特征层面进行，避免昂贵的像素级 rollout。作者主张这种表征层面的整合可减少对密集标注监督的依赖；具体状态共享方式、训练目标、动作条件注入机制及监督需求尚未验证。 作者报告，在包含开环与闭环评估的实验中，方法在 NAVSIMv1 上取得 91.3 PDMS、在 NAVSIMv2 上取得 86.8 EPDMS，并在 nuScenes 上取得 0.16 的 3 秒平均碰撞率，作者据此声称达到最先进性能。摘要未明确各项结果分别对应的开环或闭环协议、数据划分、对照基线及碰撞率单位，因此不能将这些不同指标直接比较，也不能独立确认最先进性能结论。实验协议、消融及统计信息尚未验证。作者表示已发布代码和模型，具体复现配置与资源需求仍需核对。 平台推测（待验证）：其可迁移机制是以共享潜在状态连接动态预测与动作决策，可能对应闭环 BCI 中解码结果与反馈动态相互脱节的问题，而非直接改善 EEG 分类。该假设依赖含动作、反馈及后续观测的时序交互数据；可尝试复用潜在状态共享和动作条件预测思路，但需将视觉表征与驾驶动作模块改造成神经信号编码及 BCI 控制模块。低信噪比、跨被试漂移、通道差异和小数据可能导致潜在预测失真并放大决策误差。一个可证伪的小实验是在相同闭环任务与数据划分下，对比仅使用当前神经信号状态的控制器与加入动作条件潜在预测的控制器，核对任务成功率及预测误差是否同步改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其世界模型潜在状态如何直接参与 VLA 规划，以及动作条件想象相较像素级 rollout 的收益；摘要中的自动驾驶结果尚不能作为 EEG/BCI 有效性的证据。

2月10日周二
  1. OpenReview · State space models75

    VLA-JEPA：利用潜在世界模型增强视觉-语言-动作模型

    基于摘要分析。该研究面向机器人视觉-语言-动作（VLA）策略的视频预训练，提出 JEPA 风格的 VLA-JEPA，以未来帧的潜在状态为预测目标，旨在减少模型对像素变化、无关运动及外观偏差的依赖，学习与动作相关的状态转移。 核心机制是作者所称的“无泄漏状态预测”：目标编码器从未来帧生成潜在表征，学生路径仅接收当前观测，未来信息只作为监督目标而不作为输入。模型在潜在空间而非像素空间进行预测，再通过动作头微调形成策略，构成“JEPA 预训练—动作头微调”的两阶段流程。摘要未给出损失形式、编码器更新方式及语言信息的具体接入方式，这些实现细节尚未验证；“无泄漏”亦需结合正文的信息流与样本构造核对。 作者报告，在 LIBERO、LIBERO-Plus、SimplerEnv 及真实机器人操控任务上，相较现有方法获得一致的泛化与鲁棒性提升。摘要未提供具体指标、增益、训练规模、数据划分或对照方法，实验协议、消融及统计信息尚未验证，不能据此判断提升幅度或各模块贡献。 平台推测（待验证）：其可讨论的 EEG 迁移机制是以未来潜在状态预测替代原始信号重建，假设这样可降低对非任务相关波动的依赖。原方法依赖具有时间连续性的观测与未来帧监督；迁移时可复用目标编码器—学生预测框架，但需改造 EEG 输入编码及时间窗口定义。低信噪比、伪迹的时间连续性、跨被试与通道差异可能使预测目标偏向无关因素，小数据也可能限制表征学习。一个可证伪的小实验是在相同 EEG 编码器、数据与被试隔离协议下，对比未来潜在状态预测和信号重建预训练，再以相同下游任务评估跨被试表现及伪迹扰动敏感性。该建议不是论文已验证结果，相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其仅以当前观测预测未来潜在状态的预训练机制，以及机器人操控泛化收益是否来自对动作相关状态转移的学习，而非外观线索；其 EEG/BCI 适用性尚未验证。

1月26日周一
  1. OpenReview · Representation learning75

    Spatial Forcing：视觉-语言-动作模型的隐式空间表征对齐

    基于摘要分析。本文研究机器人视觉-语言-动作（VLA）模型因主要依赖 2D 预训练而缺乏空间理解的问题，提出 Spatial Forcing（SF）：将 VLA 的中间视觉嵌入与预训练 3D 基础模型产生的几何表征对齐，在不依赖显式 3D 输入或深度估计器的条件下增强动作所需的空间表征。 其核心思路是以表征对齐替代显式深度图或点云输入。作者认为，显式 3D 输入受到传感器噪声、硬件异构和数据集深度覆盖不足的制约，而从 2D 图像估计深度又受限于深度估计器性能。SF 将几何监督施加于中间层，但摘要未说明对齐损失、层位选择、特征维度匹配、3D 基础模型名称及冻结或联合训练策略，相关实现与推理阶段依赖尚未验证。 作者报告，在仿真与真实环境的机器人任务中，SF 优于所比较的 2D 与 3D VLA，并称达到最先进结果；作者还报告训练最高加速 3.8 倍及数据效率改善。摘要未给出任务、数据集、划分、基线配置、具体性能指标或加速的计时口径，因此这些结论只能保留在作者描述的评估范围内，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其跨领域方法价值在于利用教师模型的结构化表征约束目标模型中间特征，而非直接增加传感器输入。若用于 EEG，需先提出可由 EEG 观测支持的监督目标，并解决教师表征与 EEG 在时间、通道及语义上的对应关系；机器人视觉中的 3D 几何监督并不能直接迁移为神经信号监督。原方法所需配对数据与训练规模尚不明确，低信噪比、跨被试差异及小样本可能使对齐无效或引入负迁移。当前缺少具体 EEG 对应机制，不据此提出复现实验方案；相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其利用预训练 3D 基础模型的几何表征监督 VLA 中间视觉嵌入的对齐机制，但作者报告的性能、训练加速与数据效率收益仍需结合完整实验协议核对，尚不能视为 EEG/BCI 有效性的证据。

1月1日周四
  1. OpenReview · State space models73

    VLA-JEPA：利用潜在世界模型增强视觉-语言-动作模型

    基于摘要分析。该研究面向机器人视觉-语言-动作（VLA）策略，提出 JEPA 风格的预训练框架 VLA-JEPA，旨在从互联网规模视频中学习与动作相关的状态转移，而非主要追随像素变化。核心贡献是以未来帧的潜在表征作为监督目标，再通过动作头微调将预训练表征用于操作任务。 机制上，目标编码器从未来帧生成潜在表征，学生路径仅接收当前观测；作者将这种未来信息只用于监督、不作为学生输入的设计称为“无泄漏状态预测”。预测发生在潜在空间而非像素空间，意在减轻外观偏差、相机运动和无关背景变化的影响。训练流程包括 JEPA 预训练和动作头微调两个阶段。具体损失形式、目标编码器更新方式、语言条件如何参与，以及信息隔离的完整实现尚未验证。 作者报告，在 LIBERO、LIBERO-Plus、SimplerEnv 及真实世界操作任务上，相对既有方法获得一致的泛化与鲁棒性提升。摘要未提供分数、任务划分、对照方法细节或真实机器人实验规模，因此尚不能判断收益幅度及其适用边界；实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核查。 平台推测（待验证）：其潜在状态预测机制可能为 EEG 自监督表征学习提供思路，但原研究处理的是视频与机器人动作，并未验证 BCI 效果。迁移假设是，仅用当前 EEG 时间窗预测后续潜在状态，有助于学习时间动态；需将视觉编码器改为适配 EEG 通道与时间结构的编码器，并重新设计预测间隔和目标表征。低信噪比、伪迹、跨被试通道差异及小数据可能使模型主要学习非任务动态。可先在固定跨被试划分和相同数据预算下，对比潜在预测、信号重建与无预训练基线，检验下游解码及伪迹扰动下的表现。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其仅以当前观测预测未来潜在状态的预训练设计，以及该设计相对既有 latent-action 方法对外观干扰和泛化的实际收益；摘要尚不足以验证信息隔离实现与收益来源。

12月31日周三
  1. OpenReview · State space models73

    BLM：用于跨空间、跨任务与跨具身学习的无界大模型

    基于摘要分析。本文研究数字空间与物理空间之间、不同任务及机器人具身之间的统一学习问题，提出多模态空间基础模型 Boundless Large Model（BLM₁），尝试在保留指令遵循和推理能力的同时，融入具身知识并支持跨具身控制。主要研究对象是具身智能与机器人控制，而非 EEG 解码或 BCI。 方法采用两阶段训练：第一阶段利用经过整理的数字语料向多模态大语言模型（MLLM）注入具身知识，同时维持语言能力；第二阶段通过 intent-bridging interface（意图桥接接口）提取 MLLM 的高层语义来指导策略模块训练，不微调 MLLM 主干。其核心设计是将高层语义与低层控制衔接，具体接口表示、策略结构、损失函数及训练规模尚未验证。 作者构建了覆盖四种机器人具身、六项难度递增任务的自采集示范套件。作者报告，在数字与物理基准评估中，单个 BLM₁ 实例优于 MLLMs、ELLMs、VLAs 和 GMLMs 四类模型，数字任务增益约为 6%，物理任务约为 3%。摘要未明确这些增益对应的指标、聚合方式，以及属于相对提升还是百分点变化，不能据此作跨协议比较。数据划分、未见任务与未见具身的测试条件、对照配置、消融及统计信息尚未验证；代码、权重和数据开放情况也未获确认。 平台推测（待验证）：高层意图与执行策略解耦的机制，可作为 BCI 辅助机器人控制的设计参考，但需要额外建立神经信号到意图接口的可靠映射。原研究依赖数字语料和机器人示范，摘要未提供神经信号实验，不能将跨具身结果视为跨被试或跨会话 EEG 泛化证据；低信噪比、意图误判和控制延迟均可能阻断迁移。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是 BLM₁ 如何通过意图桥接接口将高层语义推理与控制策略训练解耦，以及这种设计能否支持跨具身泛化；摘要中的性能增益仍需结合具体指标和评估协议验证。

  2. OpenReview · Representation learning77

    StaMo：从紧凑状态表示中无监督学习可泛化的机器人运动

    基于摘要分析。StaMo 研究机器人具身智能中状态表示的紧凑性与任务信息保留之间的权衡，提出利用轻量编码器和预训练 Diffusion Transformer（DiT）解码器，从静态图像无监督学习由两个 token 构成的状态表示，并进一步从该表示中提取潜在动作。 方法借助预训练 DiT 的生成先验支持高度压缩的状态编码，并将表示接入现有 VLA 模型。作者还报告，通过潜在插值得到的 token 差分可作为潜在动作，进一步解码为可执行的机器人动作。作者据此认为，该表示在没有显式监督的情况下捕捉了结构化动力学。摘要未明确差分计算的具体对象、插值流程、训练损失，以及潜在动作到机器人控制指令的解码与监督条件，需结合全文核对。 结果方面，作者报告接入 VLA 模型后，在 LIBERO 上性能提升 14.3%，真实世界任务成功率提升 30%，且推理额外开销较小；潜在动作还用于策略联合训练，作者报告相较既有方法提升 10.4%。这些数字对应的具体基线、任务划分、统计不确定性，以及百分比是否表示相对增幅，摘要均未明确，不能改写为百分点提升或跨协议直接比较。作者还报告方法可扩展至真实机器人数据、仿真和人类第一视角视频，但各数据源的训练与评估关系尚未验证。 复现时需核对预训练 DiT 的来源与训练数据、编码器训练目标、两 token 压缩的信息保留能力、动作解码条件，以及推理开销的测量设置；实验协议、消融及统计信息尚未验证。本文主要研究对象是视觉机器人状态与动作表示，并非 EEG/BCI；静态图像生成先验和机器人动作结构不能直接视为神经信号上的有效机制，现有材料不足以支持具体迁移结论，相关 EEG 工作尚未检索确认。

    阅读价值：值得核对的是两 token 紧凑状态表示能否同时保留任务信息并通过潜在差分形成可执行动作；摘要报告了机器人任务收益，但其生成先验依赖、对照协议与泛化边界尚待全文验证。

9月19日周五
  1. OpenReview · Representation learning76

    视觉-语言-动作模型中的表征退化研究

    基于摘要分析。本文研究机器人决策中 Vision-Language-Action（VLA）模型的泛化瓶颈，通过逐层表征分析考察承担动作生成任务的深层特征，并提出 hidden Space WOrld modeLing（SWOL），利用从未来观测外推的中层表征对齐退化的深层特征。 核心机制：作者报告，负责动作生成的较深层表征对语义信息与环境动力学的泛化能力下降。SWOL 以泛化能力更强的中层表征作为对齐参照，约束表征具有时间一致性并与动作关联；摘要称该方法无需修改模型架构或推理流程。具体未来观测的使用方式、外推过程、对齐损失及训练安排尚未验证，不能据此确定其实现形式。 结果与证据边界：作者报告，仿真和真实环境实验显示 SWOL 能缓解表征退化，提高策略有效性，并增强视觉、语言及动力学方面的泛化。摘要未提供模型、数据集、任务、划分、对照基线或量化指标，实验协议、消融及统计信息尚未验证；也尚不能判断收益是否主要来自深层对齐、时间约束或其他训练因素。 平台推测（待验证）：该方法的原始对象是具有观测—动作序列的机器人 VLA，而非 EEG/BCI。可检验的迁移假设是，时序 EEG 解码模型的深层任务表征也可能损失中层保留的可泛化信息，但这不等同于已证实的跨被试瓶颈。逐层表征评估与中深层对齐思路可能复用，未来观测参照和动作关联约束则需按 EEG 的时序结构及监督条件改造；低信噪比、被试差异、通道变化和小数据可能使对齐目标不稳定，甚至保留无关噪声。小规模验证可在固定跨被试划分下，先比较冻结的各层表征解码表现，再对比原模型与加入中深层对齐的模型，并确保未来观测仅用于训练。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其逐层表征分析与 SWOL 对齐机制：作者报告可在不修改架构或推理流程的条件下改善机器人策略泛化，但具体收益及其对 EEG/BCI 的适用性尚未验证。

  2. OpenReview · Representation learning74

    视觉-语言-动作模型的对比表征正则化

    基于摘要分析。本文研究机器人操纵中的 Vision-Language-Action（VLA）模型：预训练 Vision-Language Models（VLMs）提供的表征可能对控制动作、本体感知状态等机器人信号不够敏感。作者提出 Robot State-aware Contrastive Loss（RS-CL），以机器人本体感知状态之间的相对距离作为软监督，在原有动作预测目标之外加入表征正则化，使表征更贴近控制相关状态。 核心机制是利用连续状态间的相对关系指导对比表征学习，而非仅依赖动作预测监督。作者称该方法轻量且兼容标准 VLA 训练流程；具体距离度量、对比样本构造、损失形式、权重及计算开销尚未验证。 作者报告，在 RoboCasa-Kitchen 的 pick-and-place 任务中，操纵表现由 30.8% 提升至 41.5%，并将改善归因于抓取和放置时更准确的定位；在具有挑战性的真实机器人操纵任务中，成功率由 45.0% 提升至 58.3%。摘要未明确前一组百分比的指标名称，也未列出对应 VLA 基线名称。任务划分、试验次数、消融及统计信息尚未验证，两组结果不能脱离各自评估环境直接比较。 平台推测（待验证）：若 EEG 运动解码具有与信号同步的运动学或动作状态标注，可检验以状态距离约束表征能否改善控制相关信息的保留；这是假设，并非本文已验证的 BCI 贡献。可复用的是距离软监督思路，需改造状态定义、时间对齐和距离度量。低信噪比、跨被试差异、通道变化及小数据可能使状态距离与 EEG 表征关系不稳定。一个小规模可证伪实验是：在固定数据划分与解码器下，对比原目标、加入状态距离正则化及打乱状态对应关系的对照，观察独立测试集上的解码收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是利用本体感知状态间的相对距离提供软监督、补充动作预测目标的表征正则化机制；作者报告了机器人操纵收益，但其对 EEG/BCI 的适用性尚未验证。