Branch-JEPA:通过双分支 Patch 路由学习动态感知状态表征
Branch-JEPA: Learning Dynamics-Aware State Representations through Dual-Branch Patch Routing
基于摘要分析。该研究面向视觉世界模型,关注潜在空间分散良好却未必能显露动作相关状态变化的问题。Branch-JEPA 在端到端联合嵌入世界模型中引入双分支 Patch 路由,以学习更能反映动作与动态变化的表征,而非直接研究 EEG 或 BCI。 机制上,两个独立的空间路由器将共享 Patch 特征聚合为 State 与 Act 残差,用于增强而非替代全局 CLS 路径;对比式动作对齐目标监督融合后 Act 坐标的变化,一个共享 Predictor 则预测完整表征。该设计保留潜在表征预测、全局防坍塌正则化及目标条件规划,不依赖预训练视觉骨干或去噪前端。具体损失公式、路由实现与训练配置尚未验证。 作者报告,在 PushT、TwoRoom、Reacher 和 Cube 上,任务平均规划成功率在干净观测下由 83.25% 提升至 88.25%,在高斯噪声干扰下由 35.50% 提升至 59.75%;摘要未明确这些总体数值对应的基线名称及噪声强度。作者报告,直接动作回归对照表明,动作监督和 Patch 访问解释了较大部分收益;独立路由与仅对 Act 对齐带来的额外增益较小,高斯噪声下的配对区间可区分这些改善,而干净观测下的区间包含零。冻结表征读出、干预及与成功结果对齐的候选排序,为共享表征内部的相对专门化提供了关联证据。实验划分、重复次数、区间构造及完整消融尚未验证。 平台推测(待验证):其可迁移假设是,在具备动作或任务条件及连续观测的数据中,将全局状态与动作相关变化分开聚合,可能有助于识别 EEG 中被背景活动掩盖的任务动态;但动作条件并不等同于运动想象标签。可复用的是残差式双路聚合与表征变化对齐思路,需改造时空 Patch、监督信号及预测目标。低信噪比、跨被试差异、通道布局变化和小数据可能使路由学习伪迹或过拟合。一个可证伪的小实验是在有明确动作事件的连续 EEG 数据上,固定骨干与训练预算,对比单路聚合、双路聚合及是否加入动作对齐,并在跨被试划分下检验收益。相关 EEG 工作尚未检索确认。
值得阅读其动作监督、Patch 访问与双分支路由的对照分析:摘要将主要收益与较小的结构增益作了区分,但对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net