跳到正文
只看在线与系统算法#VLA
10月8日周四
  1. arXiv · 在线与高效推理80

    告诉机器人不要做什么：否定理解视角

    基于摘要分析。研究关注 vision-language-action models（VLAs）如何在完成机器人操作目标的同时，遵守自然语言指令中的明确排除约束。作者提出参数高效、即插即用的 NegaAlign，通过图像—语言监督扩展预训练 VLA 的否定指令理解能力，并提出用于评估此类操作的仿真基准 NegaBench。 机制方面，NegaAlign 在视觉—语言骨干的选定层插入 Negation Transformation Layers，以重塑中间指令表征；同时使用教师引导的对齐机制，对齐与指令相关的视觉 tokens，从满足否定约束的指令中迁移动作相关的 grounding。训练监督由现有示范构建，仅更新插入层，所有预训练参数均冻结，包括动作生成器。摘要未提供教师构建方式、具体损失、插入位置及监督样本生成细节，这些内容尚未验证。 作者报告，NegaBench 覆盖五个领域的 10 个仿真场景，在 GR00T、π_0 和 π_{0.5} 上均观察到否定指令执行改善。其中，具有 11.6M 可训练参数的 NegaAlign 将 π_{0.5} 在 NegaBench 上的否定指令成功率从 2.60% 提升至 88.45%，在真实世界任务中从 12.4% 提升至 88.8%，并保留肯定指令上的性能。两组成功率对应不同评估环境，不宜直接横向比较；数据划分、真实任务数量、成功判据、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：该方法可为带自然语言约束的 BCI 辅助机器人控制提供参考，但其监督依赖图像、语言与机器人示范，并非直接面向 EEG 解码。若引入 BCI 系统，可考察冻结动作模型的约束适配模块，但需改造脑信号到指令或控制意图的接口；低信噪比、跨被试差异及小数据可能使意图误差传递为约束执行错误。一个可检验的小实验是在固定机器人任务中比较正确指令与含受控解码错误的指令，分别测量任务成功率和约束违反率。相关 EEG/BCI 工作尚未检索确认。

    阅读价值：值得阅读的是 NegaAlign 如何仅用图像—语言监督、冻结动作生成器来改善否定指令执行；作者报告的较大成功率提升仍需结合 NegaBench 的划分、对照与真实机器人评估协议核对。

  2. arXiv · 多模态与生成机制69

    技能组合中面向已学习技能的经验引导启动配置搜索

    基于摘要分析。研究关注冻结的已学习技能（如 Vision-Language-Action（VLA）策略）部署到新环境时，如何在有限交互预算下找到可靠的启动配置。作者提出 EVIS（Experience-Guided and Behavior-Validated Initiation Search），利用历史执行经验优先筛选有希望的候选配置，再通过目标环境中的行为验证其有效性。 核心问题在于技能组合的状态传递：启动配置不仅影响当前技能能否执行，还影响传给后续技能的物理状态，因此单个技能成功不等于组合任务完成。直接复用历史经验可能受环境变化影响，而大量目标环境试运行又会增加部署成本。EVIS 将历史经验用于候选搜索引导，将目标环境行为用于有效性确认；摘要未说明候选配置的表示、排序准则、行为验证判据及搜索终止条件。 作者在采用冻结 VLA 策略的单技能与两阶段操控任务中评估 EVIS，并报告：在较小交互预算下，该方法降低了平均目标环境查询次数，改善了可靠候选配置的发现。摘要未提供具体数值、对照方法、任务规模或可靠性的定义，实验协议、消融及统计信息尚未验证。复现需进一步核对历史经验的来源、目标环境变化的设置、查询预算，以及组合任务成功与单技能成功的评估关系。 平台推测（待验证）：这一机制可能启发 BCI 中利用历史会话经验筛选控制器启动或校准配置，再以少量当前会话交互确认有效性的流程；其依赖可比较的历史记录、可搜索的配置空间及可靠的行为反馈。可复用的是候选优先排序与在线验证框架，需改造的是配置表示和反馈判据。EEG 低信噪比、跨被试及跨会话变化、小样本反馈可能使历史排序失效或验证不稳定。一个可检验的小实验是在固定解码器和相同校准预算下，比较历史引导加当前会话验证与无历史引导搜索的候选发现效率及后续控制成功率。该迁移尚未验证，已有 EEG 相关工作尚未检索确认。

10月5日周一
  1. arXiv · 泛化与分布偏移73

    VLA-ZO：视觉-语言-动作模型的快速零阶适应

    基于摘要分析。VLA-ZO 针对视觉-语言-动作（VLA）模型部署时的分布偏移，提出仅适应动作侧、复用冻结视觉-语言前缀计算状态的零阶（ZO）优化框架，旨在降低适应耗时，并保持接近推理级别的内存需求。 核心机制是避免在每次参数扰动查询中重复运行昂贵的视觉-语言前缀：将其冻结后，跨扰动查询及优化器步骤复用条件状态，并通过感知调度的预取隐藏状态传输开销。其针对的瓶颈不同于常规一阶适应的梯度存储成本，而是零阶梯度估计所需大量前向查询带来的计算成本。摘要未提供具体损失、参数扰动方式、动作侧可更新模块或缓存生命周期，相关实现尚未验证。 作者报告，在 LIBERO 摄像机视角偏移评估中，相对基线 ZO，q=16 时端到端适应耗时缩短至对应 25.59 倍加速，q=64 时为 32.54 倍加速；平均任务成功率从不适应时的 48.27%，分别提高到 58.17% 和 63.58%。耗时比较对象是基线 ZO，成功率比较对象是不适应模型，两者不能混为同一对照。具体模型、任务划分、适应监督、硬件、内存实测、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 解码模型也具有昂贵的冻结特征前缀和较轻的可更新输出模块，这种复用思路可能降低资源受限部署中的零阶适应开销；这是计算结构层面的迁移假设，并非已验证的 BCI 效果。可复用部分是条件状态缓存与查询调度，需改造的是 EEG 输出模块、适应目标和流式缓存管理。低信噪比、小样本可能使零阶估计不稳定；跨被试或通道变化若主要影响前缀表征，仅更新输出侧可能不足。可在固定 Cross-session 划分、相同查询预算与适应目标下，对比普通 ZO 和缓存复用 ZO 的耗时、峰值内存及解码指标，检验计算收益是否保留且性能不受损。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其冻结计算前缀与缓存复用机制：作者报告在 LIBERO 摄像机视角偏移下显著缩短零阶适应耗时，但收益对模型计算结构与缓存有效性的依赖仍需全文验证。

10月3日周六
  1. arXiv · 多模态与生成机制77

    AgenticTactileVLA：无需重新训练 VLA、面向可泛化灵巧操作的接触引导执行时监督

    基于摘要分析。AgenticTactileVLA 针对视觉-语言-动作（VLA）策略能预测可迁移操作方案、却难以适应物体几何与柔顺性差异，以及抓握闭合时视觉受遮挡的问题，提出接触引导的执行时监督器，将部分物体特异性适应从动作预测转移到实际物理交互，无需重新训练 VLA。 固定 VLA 提供接近动作与手部目标；监督器依据手指位置和电机施力反馈形成本体感知接触证据，决定不干预、细化手指屈曲、保留或释放修正后的手部构型、交还 VLA 重试，或切换到柔顺手部控制模式。该机制不依赖触觉传感器，核心是按交互状态选择性调整动作执行，而非更新原策略。 作者报告，在配备 BrainCo Revo2 手的 Unitree G1 上，对五个未参与 VLA 训练的物体进行随机匹配区组评估，在共享预算下，基础 VLA、无条件 close-to-stall 控制与监督器的完成率分别为 61.3%、72.0% 和 84.0%。作者报告每个物体均有正向收益，且收益在中等姿态扰动下仍存在。消融结果据作者报告表明，提升不能仅由延长闭合解释；选择性触发使修正次数减少 65.7%，同时未检测到完成率变化，这不等于已证明两者等效。 作者报告，保留审计中接受判定在 88.9% 的留出案例中预测了保留结果，但柔顺物体暴露出保守的错误拒绝；薄壁杯研究中，按上下文路由至柔顺控制的表现与始终采用柔顺控制的参考方案相当。具体判定规则、各实验样本量、预算定义、统计不确定性、消融协议及实现条件尚未验证。 平台推测（待验证）：其可借鉴之处是把高层意图与低层物理反馈校正分离，而非直接作为 EEG 解码算法。假设用于 BCI 控制机械手，可保留接触监督与柔顺控制模块，但需改造 EEG 指令接口、置信度门控和控制权交接；低信噪比、跨被试差异及小数据可能导致意图误判，接触反馈无法纠正错误目标。可在固定 EEG 解码器与相同执行预算下，小规模比较有无监督器的完成率、误触发及用户撤销响应。相关 EEG/BCI 工作尚未检索确认。

    阅读价值：值得核对其执行时监督与选择性触发机制：作者报告在固定 VLA、共享执行预算及训练未见物体的对照评估中提高任务完成率，但其对 EEG/BCI 的适用性尚未验证。

10月2日周五
  1. arXiv · 多模态与生成机制74

    检测与抑制：针对 VLA 模型对抗补丁的机制性防御

    基于摘要分析。研究针对对抗补丁通过操纵视觉观测导致 Vision-Language-Action（VLA）模型机器人控制失败的问题，利用 sparse autoencoder（SAE，稀疏自编码器）分析内部表征，并提出由攻击检测触发的特征抑制防御，无需微调 VLA 模型。 核心机制是先识别一个激活与对抗补丁存在高度相关的内部特征，再通过线性探针检测攻击，仅在检测到攻击时于推理阶段抑制该特征。摘要支持的是特征与补丁存在的相关性；该特征是否具有特定语义，以及它在控制失败中的因果作用范围，尚需正文核对。方法的关键不只是选择抑制目标，还包括控制干预时机，以减少对正常策略行为的扰动。 作者报告，在 LIBERO-10 的 VLA 对抗补丁攻击评估中，条件干预提高了间歇性攻击下的任务成功率，而持续施加同一干预会显著降低策略表现。摘要未提供具体成功率、攻击频率、补丁设置或基线数值，因此不能量化收益，也不能据此判断对其他攻击形式的泛化能力。VLA 型号、SAE 训练数据及配置、线性探针监督与阈值、评估划分、消融及统计信息尚未验证；复现需核对这些条件，以及误报和漏报如何影响正常任务与受攻击任务。 平台推测（待验证）：可迁移的机制假设是，若 EEG 模型内部存在与伪迹相关且可分离的特征，条件检测与选择性抑制可能比持续抑制更少损伤有效信号。可复用的是“检测后干预”的框架，需改造的是 EEG 表征提取、伪迹监督与干预位置；低信噪比、跨被试差异、通道变化和小数据可能使伪迹特征与任务信息混合。一个小规模可证伪实验是在固定 EEG 分类器与数据划分下，比较不干预、持续抑制和条件抑制，并分别评估干净及间歇性伪迹条件下的任务表现。此假设不构成已验证的 EEG/BCI 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的具体原因是，作者将 SAE 特征分析与线性探针触发的推理时抑制结合，并比较条件干预与持续干预，提供了核对防御收益及正常策略受损风险的机制性切入点。