跳到正文

算法、任务与模态

提供代码链接 最新动态

提供代码链接 的可核对来源状态;不作为学术质量或开放许可证证明。

46 条精选近 30 天 31 条共收录 52 条

更新

精选归档 · 第 3 页

9月26日周四第 41–46 条
  1. OpenReview · Representation learning76

    用于增强强化学习泛化能力的 State Chrono Representation

    基于摘要分析。该研究关注图像输入强化学习中的状态表征泛化问题,提出 State Chrono Representation(SCR),通过在 bisimulation metric 学习的更新步骤中引入更长期的时间信息,增强表征对未来行为的刻画。 核心机制:现有深度 bisimulation metric 方法利用任务相关特征定义状态距离,并从像素观测学习结构化低维表征。作者认为,这类方法在高难度泛化任务和奖励信息不足的场景中,可能因长期信息刻画不足而受限。SCR 在时间框架下联合考虑未来动态,以及当前和长期未来状态的累积奖励,以扩展状态距离学习。作者称,该策略无需为动态建模引入大量额外参数;具体距离定义、损失形式、时间跨度与训练流程尚未验证。 结果与复现:作者报告,在 DeepMind Control 和 Meta-World 环境中的高难度泛化任务上,SCR 优于其他近期基于度量的方法。摘要未提供具体任务划分、基线名称、指标数值或参数开销,因此无法量化收益或比较不同协议。摘要提供了 SCR 代码仓库,但代码内容、运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,长期时间结构可能帮助 EEG 表征区分短时观测相似、后续演化不同的状态。原方法依赖带有状态转移及奖励信息的强化学习轨迹,而常见 EEG 任务未必具有对应奖励监督;可考虑复用时间化状态距离的思路,但需改造奖励定义、时间窗口与任务相关监督。低信噪比、跨被试差异、通道变化和小数据可能使距离学习捕获伪相关,长期信息也未必与目标任务有关。一个可证伪的小实验是在固定 EEG 任务与相同被试划分下,对比短时度量表征和加入长期时间信息的表征,保持编码器与训练预算一致,检查跨被试收益是否稳定。该实验仅为迁移建议;已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 SCR 如何将长期动态与累积奖励纳入 bisimulation metric 更新,以及其泛化收益是否依赖奖励信息和轨迹结构;向 EEG 表征学习迁移的价值尚未验证。

  2. OpenReview · State space models74

    Multi-Scale VMamba:层级内嵌层级的视觉状态空间模型

    基于摘要分析。研究针对视觉 State Space Models(SSMs)中多扫描策略带来的冗余,提出 Multi-Scale Vision Mamba(MSVMamba),通过多尺度二维扫描与通道混合模块改善效率和性能之间的权衡。 核心机制:作者分析认为,长程依赖是多扫描策略有效的重要原因。MSVMamba 在原始及下采样特征图上进行多尺度二维扫描,旨在保留长程依赖学习能力并降低计算成本;同时引入 Convolutional Feed-Forward Network(ConvFFN),补充通道混合。摘要未给出具体扫描路径、下采样配置、模块结构、损失或参数量,相关细节尚未验证。 作者报告:MSVMamba-Tiny 在 ImageNet 上取得 83.0% top-1 Accuracy;在 COCO 上,采用 Mask R-CNN 框架及 1x 训练日程,取得 46.9% box mAP 和 42.5% instance mAP;在 ADE20K 上采用单尺度测试,取得 47.9% mIoU。摘要未提供具体对照结果或实测计算开销,不能据此确认相对优势幅度。实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但实现与复现条件尚未核对。 平台推测(待验证):迁移假设是,多尺度扫描可能用于 EEG 的长短时程依赖建模,缓解长序列计算负担,但原方法依赖视觉二维特征图,不能直接等同于 EEG 通道与时间结构。可考虑复用 SSM 和多尺度处理思路,改造扫描顺序、下采样方式及通道混合模块。风险包括下采样丢失短暂 ERP 或高频信息、空间邻接不匹配,以及跨被试、通道变化和小数据条件下泛化不足。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,对比单尺度与多尺度扫描,控制参数量和训练预算,同时记录任务指标、延迟及短时事件识别表现。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其多尺度扫描能否在保留长程依赖建模能力的同时降低计算开销,以及 ConvFFN 的独立贡献;摘要提供了多任务结果,但效率收益与消融证据尚未验证。

  3. OpenReview · State space models79

    VMamba:视觉状态空间模型

    基于摘要分析。该研究针对计算机视觉网络的计算效率问题,将状态空间语言模型 Mamba 改造为视觉骨干 VMamba,提出通过二维扫描聚合上下文信息的架构,并以线性时间复杂度为设计特征。 核心机制是由 Visual State-Space(VSS)块构成网络,并在其中使用 2D Selective Scan(SS2D)模块。SS2D 沿四条扫描路径遍历二维数据,以衔接一维 selective scan 的有序处理方式与二维视觉数据的非序列结构,从不同方向收集上下文信息。作者据此构建一组 VMamba 架构,并通过架构及实现层面的优化加速;具体扫描顺序、网络配置、训练损失及优化细节尚未验证。 作者报告,VMamba 在多种视觉感知任务中表现良好,相较所比较的基准模型具有更好的输入规模扩展效率。摘要未提供具体任务、数据集、指标数值、对照模型或计算成本测量条件,因此尚不能核对性能与效率之间的权衡。实验协议、消融及统计信息尚未验证。摘要提供了源码仓库,但代码与论文实验的一致性、运行环境及复现成本仍需核对。 平台推测(待验证):迁移假设是,将 SS2D 用于 EEG 的通道×时间表示,可能为长时间窗与跨通道上下文建模提供一种计算效率较高的路径;这不是已验证的 EEG/BCI 结果。原方法依赖具有二维组织结构的视觉输入,而 EEG 通道顺序不天然等同于规则图像网格,需改造通道排列、空间编码及输入适配模块。低信噪比、跨被试分布变化、通道配置差异和小数据训练可能使视觉扫描机制失效。可检验的小实验是在同一 EEG 数据集、固定 Cross-subject 划分及训练预算下,对比二维扫描与一维时间扫描,并扰动通道排列,检验收益是否依赖人为顺序,同时测量不同时间窗长度下的运行成本。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其用四条扫描路径将一维 selective scan 适配二维视觉数据的机制及输入规模扩展效率评估,但该机制对 EEG 的适用性尚未验证。

  4. OpenReview · State space models75

    MVGamba:将 3D 内容生成统一为状态空间序列建模

    基于摘要分析。MVGamba 针对 3D Gaussian 重建中的多视角不一致与纹理模糊问题,提出基于类 RNN 状态空间模型(SSM)的轻量多视角 Gaussian 重建器,并结合现成的多视角扩散模型,统一处理单张图像、稀疏图像或文本提示驱动的 3D 内容生成。 核心机制是沿序列传播包含多视角信息的因果上下文,支持跨视角自细化,同时以线性复杂度生成用于细节建模的长 Gaussian 序列。作者将既有方法的问题归因于采用计算密集型架构时对多视角信息传播的妥协;这一解释及其因果证据仍需正文核对。摘要未给出具体序列组织、SSM 实现、损失函数及训练配置。 作者报告,在所评估的各类 3D 内容生成场景中,MVGamba 优于先进基线,模型规模约为对照的 0.1 倍。摘要未明确该比例对应哪些模型,也未提供数据集、划分、评价指标或具体分数,因而不能据此推断推理速度或显存收益。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码内容与复现条件尚未核验。 平台推测(待验证):可迁移假设是,SSM 的递归上下文传播或可用于 EEG 长时序建模;原方法依赖多视角图像结构及 3D 重建目标,并不直接对应 EEG 监督。可借鉴状态传播模块,但需重新设计时间与通道的序列组织、输入表征和任务输出,不能直接沿用 Gaussian 生成头。低信噪比可能使状态累积噪声,跨被试与通道差异可能破坏上下文一致性,小数据也可能限制训练。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下,对比保留状态传播和重置状态的模型,检验较长上下文是否稳定改善任务指标。尚未检索确认已有 EEG 相关工作。

    阅读价值:值得阅读其以 SSM 传播跨视角上下文并生成长 Gaussian 序列的机制;作者报告以约 0.1 倍模型规模优于对照,但具体评估协议与 EEG 迁移价值尚未验证。

1月1日周一
  1. OpenReview · State space models79

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 适配为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是用 2D Selective Scan(SS2D)处理二维视觉数据与一维选择性扫描之间的结构差异。 技术机制:VMamba 由 Visual State-Space(VSS)块堆叠构成,SS2D 沿四条扫描路径遍历二维数据,以收集不同来源和视角的上下文信息。作者据此构建一系列 VMamba 架构,并通过架构与实现层面的改进加速。摘要未给出具体扫描方向、状态更新公式、损失、训练配置及各加速措施,尚不能核对其计算开销与性能收益的来源。 结果与复现:作者报告,VMamba 在多种视觉感知任务上表现良好,相较现有基准模型具有更优的输入规模扩展效率。摘要未列出任务、数据集、指标、数值或对照配置,因此不能据此判断优势幅度,也不能将线性时间复杂度直接等同于实际运行速度。实验协议、消融及统计信息尚未验证。材料提供了源码仓库,但实现与论文版本的对应关系及完整复现条件仍需核对。 平台推测(待验证):迁移假设是将 EEG 的时间与通道,或时频表示,组织为二维输入,借用多路径选择性扫描建模上下文。原方法依赖二维结构,预训练数据规模与监督设置在摘要中未说明;EEG 的通道排列并不天然等同于图像邻接关系,因此可考察 SS2D 与 VSS 模块,但需改造输入编码、通道拓扑和任务输出。低信噪比、跨被试差异、缺失通道及小数据可能使扫描路径引入不稳定依赖或过拟合。一个可证伪的小实验是在固定 EEG 任务、训练预算与数据划分下,对比二维多路径扫描、仅时间扫描及常规基线,并扰动通道顺序,检验收益是否依赖人为排列;这不是论文已验证的结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,以及输入规模扩展效率的评估;该机制对 EEG 的适用性尚未验证。

  2. OpenReview · State space models78

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 迁移为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是通过 2D Selective Scan(SS2D)适配二维视觉数据的结构。 机制上,VMamba 由 Visual State-Space(VSS)块堆叠构成,其中 SS2D 沿四条扫描路径遍历,以连接一维选择性扫描的有序处理方式与二维视觉数据的非序列结构,从不同方向汇集上下文信息。作者据此构建了一组 VMamba 架构,并通过架构与实现层面的改进加速。摘要未展开具体扫描顺序、状态更新形式、训练目标或加速实现,相关细节尚未验证。 作者报告,VMamba 在多种视觉感知任务中展现出良好性能,相较既有基准模型具有输入规模扩展效率优势。摘要未提供任务名称、数据集、数据划分、对照模型、数值指标及复杂度测量条件,因此不能据此量化性能提升,或将线性复杂度直接等同于实际运行速度优势。实验协议、消融及统计信息尚未验证。材料提供了公开代码仓库,复现仍需核对具体配置、训练预算与软硬件环境。 平台推测(待验证):若 EEG 被表示为通道×时间或时频二维结构,SS2D 的多方向上下文聚合可能用于建模长程依赖;这一假设依赖二维排列能够保留有意义的通道或时频关系,视觉领域结果不等于 EEG/BCI 效果。可考察复用 VSS 与扫描机制,但需改造输入编码、通道排列和任务输出。低信噪比、不规则电极布局、跨被试差异及小数据训练可能削弱收益,预训练与监督规模要求也尚未验证。一个可检验的小实验是在固定 EEG 数据划分、训练预算和相近模型容量下,对照多方向 SS2D 与单方向扫描,并扰动通道排列,观察任务指标及计算成本是否稳定改善。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,并核对输入规模扩展效率的对照实验;该机制对 EEG 的适用性尚未验证。