跳到正文

算法、任务与模态

VLA 最新动态

VLA 研究索引；按可核对的标签归档，不以热度评价质量。

107 条精选近 30 天 103 条共收录 112 条

更新

精选归档 · 第 6 页

9月18日周五第 101–107 条
  1. OpenReview · State space models74

    Remember Smarter：用于机器人记忆的视觉历史压缩器与双曲经验空间

    基于摘要分析。研究面向机器人长时程操作中的零样本迁移：策略既要保留当前轨迹的视觉上下文，也要复用其他轨迹中的成功经验。作者提出 Remember Smarter（RS），为现有视觉–语言–动作（VLA）模型加入视觉历史压缩器与双曲经验记忆，而非直接研究 EEG 或 BCI。 视觉分支使用双向空间 Mamba 与因果时间 Mamba，汇总多相机视角的图像 patch 序列；通过残差交叉注意力，将历史摘要注入用于动作生成的视觉–语言模型（VLM）状态，同时保留原始视觉 token 序列。经验分支将成功简单子任务轨迹中的末层 VLM 状态编码到 Poincaré VAE 潜空间，并以受 HypHC 启发的二叉拓扑组织经验编码；检索所得经验转化为动作生成的提示 token。其机制重点是区分轨迹内上下文保留与轨迹间经验复用，并利用双曲空间表达经验之间的层级关系；具体损失、检索规则及训练安排尚未验证。 作者报告，在与 π_0 集成后，RS 在 LIBERO-Plus 上的总体成功率比基础策略提高 16.9 个百分点；摘要未提供具体任务划分、运行次数及统计不确定性。作者还报告真实机器人表现改善，包括对需要维持物体名称指代、应对视觉遮挡，以及辨识细微或视觉上不可观测状态变化（如按键动作）的任务组合进行零样本迁移，但未给出对应数值。实验协议、消融及统计信息尚未验证，不能据此区分两个记忆分支各自的贡献。 平台推测（待验证）：历史压缩与经验检索的分离机制，可作为长时程 EEG 解码上下文建模的假设，但原方法依赖多视角视觉 token、VLM 状态及成功子任务轨迹，不能直接视为 EEG 方法。可考虑复用时间压缩模块；输入编码器、经验表征及检索条件需重新设计。低信噪比、跨被试差异和小数据规模可能使记忆表征偏向被试或设备特征。一个可证伪的小实验是在固定跨会话划分下，对比近期窗口基线、仅历史压缩及加入训练集经验检索的模型，检验收益是否稳定；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将当前轨迹的视觉历史压缩与跨轨迹成功经验检索分离建模的机制；作者报告了机器人任务收益，但其对 EEG/BCI 的适用性尚未验证。

9月17日周四
  1. OpenReview · State space models75

    解决状态表征失配：用于开环 VLA 规划的状态空间视觉推理

    基于摘要分析。本文研究视觉-语言-动作（VLA）模型在仅有初始观测的开环规划中，如何内部模拟动作引起的状态转移，提出 State-Space Visual Reasoning（SSVR），将静态视觉上下文、语言约束与循环潜在状态解耦，以支持多步动作预测。 作者将现有推理方式的困难概括为“状态表征失配”：文本推理可能损失空间信息，像素空间推理可能积累视觉生成误差，潜在空间推理则可能绕过中间潜在 token。SSVR 以 Qwen2.5-VL 为骨干，仅编码一次初始图像和指令；随后每一步动作预测均以潜在状态为条件，并通过动作条件化的 GRU 更新该状态。其核心机制是复用静态上下文，同时显式维护随动作演化的紧凑循环状态，而非反复生成完整视觉观测。 作者报告，在 FrozenLake、Maze 和 MiniBehavior 的开环规划评估中，EM/PR 分别为 99.5/99.6、96.3/98.0 和 83.9/90.6，并称优于既有方法。摘要未说明 EM/PR 的具体定义、数值单位、数据划分及对照方法，因而不能据此进行跨协议比较。作者还报告，在前缀缓存已预先构建的条件下，Maze 解码 rollout 相对所评估基线最高加速 98.58 倍；该结果不能直接等同于包含缓存构建成本的端到端加速。 作者称输入变换与迁移设置下的实验支持循环状态建模的有效性，但具体设置、消融及统计信息尚未验证。复现时需核对训练目标、潜在状态初始化与更新实现、长时程误差评估，以及缓存与基线计时口径。 本文的主要研究对象是视觉环境中的开环 VLA 规划，并非 EEG 解码或 BCI 验证。平台推测（待验证）：静态上下文与动态状态分离可能为具有明确动作—状态转移结构的 BCI 控制任务提供建模参考，但其依赖的状态可预测性与 EEG 观测噪声之间存在差异，不能将原任务结果视为 BCI 有效性证据；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SSVR 如何通过动作条件化的循环状态更新改善开环多步规划，以及预建前缀缓存条件下的效率收益；其对 EEG/BCI 的适用性尚未验证。

  2. OpenReview · State space models74

    通过联合状态—动作生成构建人形机器人世界动作模型

    基于摘要分析。该研究针对人形机器人分层控制中的动作—执行差距：VLA 或 WAM 输出的参考动作经过全身控制、机器人动力学、平衡与接触过程后，可能与实际运动不同。作者提出 HWAM，将执行后的本体感知状态纳入显式预测目标，联合生成参考动作及其对应的实际身体状态，使动作学习直接受到执行运动的监督。 核心机制包含三条互补的条件路径。Policy 路径仅以当前观测为条件，对状态—动作轨迹联合去噪，以匹配部署条件；Forward Dynamics Modeling（FDM）以动作和执行后状态为条件预测未来视觉观测；Inverse Dynamics Modeling（IDM）从视觉转变重建联合轨迹。其方法重点不是只预测未来图像，而是显式连接策略参考、实际身体运动和视觉结果，减轻视觉预测同时解释场景变化与执行偏差的负担。具体生成模型结构、损失组合和训练安排尚未验证。 作者报告，在 LimX OLI 人形机器人的三个真实机器人任务上，HWAM 在所评估基线中取得最高成功率，且未使用额外机器人数据进行预训练。在 Candy Picking 任务中，作者报告 HWAM 成功率为 70.6%，pi_0.5 为 62.5%，Fast-WAM 为 43.3%。这些结果限于摘要所述任务与比较范围；试验次数、数据划分、控制配置、消融及统计信息尚未验证，不能据此推断其他机器人或任务上的效果。 平台推测（待验证）：若 BCI 用于控制机器人或假肢，该机制可能对应“解码指令与实际执行结果不一致”的闭环控制问题，而非直接提升 EEG 解码。迁移假设依赖同步的神经信号、参考动作、执行后状态及视觉反馈；可借鉴联合状态—动作目标，但需改造观测编码与时间对齐。低信噪比、跨被试差异、小数据规模及反馈延迟都可能使联合预测失效。一个可检验的小实验是在固定 EEG 解码器与控制器的条件下，对比仅学习参考动作和加入执行后状态监督的控制模型，检查执行误差及任务成功率是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 HWAM 将执行后的本体感知状态作为显式监督，通过三条条件路径连接参考动作、实际身体运动与视觉结果；作者报告了真实机器人任务收益，但其对 EEG/BCI 的适用性尚未验证。

8月21日周五
  1. OpenReview · State space models75

    面向机器人操控的时间上下文化潜在动作空间学习

    基于摘要分析。本文研究机器人操控中低层动作块与任务进度对齐较弱、缺乏内在时间语义的问题，提出 Temporally Contextualized Latent Action（TCLA）表征学习框架，在动作重建之外加入时间预测和任务进度监督，使潜在动作空间承载时序上下文。 核心机制包括两个预训练目标：在潜空间进行时间前向预测，以及利用回合级频谱动作上下文估计任务进度。前者旨在约束动作表征的时间演化，后者将动作上下文与任务推进联系起来。摘要未披露编码器结构、频谱上下文的构造方式、损失形式与权重，也未说明任务进度监督如何获得，这些实现细节尚未验证。 作者报告，该框架在预训练 Vision-Language-Action（VLA）模型、World Action Models（WAMs）及从头训练的策略上，均改善了训练效率、任务成功率与运动平滑性。在一个 RoboTwin 任务集合上，作者报告 X-VLA 在 10k 步训练时的成功率由 55.6% 提高至 89.0%；FastWAM 在第 5 个 epoch 的成功率由 20.6% 提高至 40.8%。两组结果对应不同模型和训练进度，不能直接横向比较；具体任务构成、数据划分、评估回合数、基线配置、消融及统计信息尚未验证。 作者还提出，时间动作预训练可能为单任务策略扩展至多任务设置提供思路，但摘要不足以确认相关实验范围。本文的主要研究对象是机器人动作表征，而非 EEG 解码或 BCI；材料未提供神经信号实验，不能将机器人操控收益视为 BCI 有效性的证据。复现需进一步核对完整训练协议、动作数据预处理、任务进度标注及代码可用性。

    阅读价值：值得阅读其如何通过潜空间时间前向预测与任务进度估计改善机器人动作表征；作者报告了多类策略上的收益，但具体评估协议及其对 BCI 的适用性尚未验证。

8月20日周四
  1. OpenReview · EEG77

    面向 Vision-Language-Action 模型的行为对齐神经监督

    基于摘要分析。该研究探讨在人类物体操作过程中记录的 EEG，能否补充视觉、语言和动作轨迹对具身行为结构与时间动态的描述。作者提出 EEG 引导的表征学习，用于适配预训练 Vision-Language-Action（VLA）模型；EEG 仅在训练阶段提供监督，推理时不需要额外神经信号输入。 数据与机制：作者同步采集自然操作任务中的第一视角视频和 128 通道 EEG，以行为对齐的神经活动指导具身表征学习。摘要未说明 EEG 预处理、同步精度、时间窗、监督目标或损失形式，因此尚不能确定模型如何提取并利用神经动态，也不能判断不同频段、通道或行为阶段的贡献。 评估与结果：作者以 OpenVLA 为主要骨干，在多个操作基准及涉及视觉、语义和执行变化的分布外设置中进行评估，并在 LIBERO 上验证向 π_0 的迁移。作者报告，在这些设置与骨干下，EEG 引导训练相较对应的仅使用机器人数据的基线提高了任务成功率；破坏 EEG 与行为的对齐关系或移除 EEG 监督后，收益减弱。摘要未给出具体成功率、提升幅度、被试规模或数据划分，不能据此比较不同协议下的效果。 解释与边界：作者的行为和表征分析将性能改善与更有效的任务推进、完成过程联系起来，并报告最显著的表征变化位于靠近动作输出的后部层。这支持进一步检查行为对齐监督的作用，但不等于已确定其因果机制，也不构成 EEG 解码或 BCI 控制性能提升的证据。 复现需核对同步采集和对齐方法、预训练骨干适配方式、对照训练条件，以及对齐扰动与消融的具体设置。全文、实验协议、消融及统计信息尚未验证，数据和代码的可获得性也尚未验证。

    阅读价值：值得核对行为对齐 EEG 能否为 VLA 提供超出机器人数据的训练监督：作者报告了跨骨干收益及对齐扰动对照，但具体成功率、同步协议与统计可靠性尚未验证。

5月1日周五
  1. OpenReview · State space models76

    DriveWorld-VLA：面向自动驾驶、结合 Vision–Language–Action 的统一潜在空间世界建模

    基于摘要分析。DriveWorld-VLA 研究端到端自动驾驶中未来场景演化与动作规划的统一建模问题，提出在潜在空间内紧密整合 Vision–Language–Action（VLA）与世界模型，使规划器直接利用场景演化表征，而非仅将视觉想象作为独立辅助信息。 核心机制是将世界模型的潜在状态作为 VLA 规划器的核心决策状态，用于评估候选动作对未来场景演化的影响。动作条件想象完全在特征层面进行，避免昂贵的像素级 rollout。作者主张这种表征层面的整合可减少对密集标注监督的依赖；具体状态共享方式、训练目标、动作条件注入机制及监督需求尚未验证。 作者报告，在包含开环与闭环评估的实验中，方法在 NAVSIMv1 上取得 91.3 PDMS、在 NAVSIMv2 上取得 86.8 EPDMS，并在 nuScenes 上取得 0.16 的 3 秒平均碰撞率，作者据此声称达到最先进性能。摘要未明确各项结果分别对应的开环或闭环协议、数据划分、对照基线及碰撞率单位，因此不能将这些不同指标直接比较，也不能独立确认最先进性能结论。实验协议、消融及统计信息尚未验证。作者表示已发布代码和模型，具体复现配置与资源需求仍需核对。 平台推测（待验证）：其可迁移机制是以共享潜在状态连接动态预测与动作决策，可能对应闭环 BCI 中解码结果与反馈动态相互脱节的问题，而非直接改善 EEG 分类。该假设依赖含动作、反馈及后续观测的时序交互数据；可尝试复用潜在状态共享和动作条件预测思路，但需将视觉表征与驾驶动作模块改造成神经信号编码及 BCI 控制模块。低信噪比、跨被试漂移、通道差异和小数据可能导致潜在预测失真并放大决策误差。一个可证伪的小实验是在相同闭环任务与数据划分下，对比仅使用当前神经信号状态的控制器与加入动作条件潜在预测的控制器，核对任务成功率及预测误差是否同步改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其世界模型潜在状态如何直接参与 VLA 规划，以及动作条件想象相较像素级 rollout 的收益；摘要中的自动驾驶结果尚不能作为 EEG/BCI 有效性的证据。

9月19日周五
  1. OpenReview · Representation learning76

    视觉-语言-动作模型中的表征退化研究

    基于摘要分析。本文研究机器人决策中 Vision-Language-Action（VLA）模型的泛化瓶颈，通过逐层表征分析考察承担动作生成任务的深层特征，并提出 hidden Space WOrld modeLing（SWOL），利用从未来观测外推的中层表征对齐退化的深层特征。 核心机制：作者报告，负责动作生成的较深层表征对语义信息与环境动力学的泛化能力下降。SWOL 以泛化能力更强的中层表征作为对齐参照，约束表征具有时间一致性并与动作关联；摘要称该方法无需修改模型架构或推理流程。具体未来观测的使用方式、外推过程、对齐损失及训练安排尚未验证，不能据此确定其实现形式。 结果与证据边界：作者报告，仿真和真实环境实验显示 SWOL 能缓解表征退化，提高策略有效性，并增强视觉、语言及动力学方面的泛化。摘要未提供模型、数据集、任务、划分、对照基线或量化指标，实验协议、消融及统计信息尚未验证；也尚不能判断收益是否主要来自深层对齐、时间约束或其他训练因素。 平台推测（待验证）：该方法的原始对象是具有观测—动作序列的机器人 VLA，而非 EEG/BCI。可检验的迁移假设是，时序 EEG 解码模型的深层任务表征也可能损失中层保留的可泛化信息，但这不等同于已证实的跨被试瓶颈。逐层表征评估与中深层对齐思路可能复用，未来观测参照和动作关联约束则需按 EEG 的时序结构及监督条件改造；低信噪比、被试差异、通道变化和小数据可能使对齐目标不稳定，甚至保留无关噪声。小规模验证可在固定跨被试划分下，先比较冻结的各层表征解码表现，再对比原模型与加入中深层对齐的模型，并确保未来观测仅用于训练。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其逐层表征分析与 SWOL 对齐机制：作者报告可在不修改架构或推理流程的条件下改善机器人策略泛化，但具体收益及其对 EEG/BCI 的适用性尚未验证。