跳到正文

算法、任务与模态

Computer Vision 最新动态

Computer Vision 研究索引;按可核对的标签归档,不以热度评价质量。

203 条精选近 30 天 95 条共收录 251 条

更新

精选归档 · 第 9 页

1月16日周二第 161–180 条
  1. OpenReview · Representation learning76

    以对象为中心的架构实现高效因果表征学习

    基于摘要分析。该研究讨论多对象观测为何可能破坏因果表征学习的可辨识性假设,并通过修改 Slot Attention、结合稀疏扰动提供的弱监督,学习各对象属性的解耦表征。作者报告,在一系列简单图像解耦实验中,该架构能够解耦对象集合的属性,且比编码到欧氏空间的可比方法需要更少的扰动。 核心机制:摘要指出,既有相关方法通常假设潜变量表示为 d 维向量,观测由潜变量经过单射生成函数得到。作者认为,多对象观测下该生成映射不再满足单射条件,并报告实践中的解耦失败;其解决路径是将以对象为中心的学习与因果表征学习结合,而非仅使用整体向量编码。Slot Attention 的具体修改、扰动作用于哪些属性、监督信息如何进入训练及损失形式均尚未验证。 证据边界:摘要中的数据效率指所需扰动更少,不宜直接等同于总训练样本、计算成本或标注成本更低。实验仅被描述为简单图像解耦实验;数据集、划分、对照实现、解耦指标、优势幅度、消融及统计信息尚未验证,也不能据此推断真实复杂场景中的有效性。 平台推测(待验证):迁移至 EEG 的假设是,以稳定成分为单位的表征可能帮助区分混合信号中的潜在因素,但图像对象并不直接对应 EEG 神经源。可借鉴的是 Slot Attention 式成分分解与扰动监督思路;需改造观测编码,并明确哪些扰动能提供可靠监督。低信噪比、源混合、通道变化、跨被试差异和小数据可能使成分不稳定,导致属性解耦失效。一个可检验的小实验是在具有已知潜在源及稀疏扰动的合成 EEG 混合数据上,对比对象式表征与整体向量编码,在相同数据划分和扰动预算下检验源属性恢复及扰动需求。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读其对多对象观测中生成映射单射假设失效的分析,以及结合 Slot Attention 与稀疏扰动弱监督的解耦机制;数据效率优势的具体幅度与适用边界尚未验证。

  2. OpenReview · Representation learning81

    面向强化学习的原则性视频表征学习

    基于摘要分析。该研究探讨如何利用视频预训练面向决策的表征,核心目标是恢复底层 MDP 的潜在状态,并从理论上刻画不同噪声条件下的学习难度。研究比较 autoencoding、temporal contrastive learning 与 forward modeling,区分观测中的 iid 噪声,以及具有时间相关性的外生噪声,例如背景中人员或车辆的运动。 理论方面,作者报告:在仅有 iid 噪声的设定下,为 temporal contrastive learning 和 forward modeling 建立了上界,表明这些方法能够学习潜在状态,并支持具有多项式样本复杂度的下游 RL。在同时存在外生噪声的设定下,作者建立下界,说明从视频学习的样本复杂度可能比从带动作标签的轨迹学习呈指数级恶化。该结论针对摘要所述设定,不宜扩展为所有视频预训练方法均无效;定理所需的可辨识性条件、数据生成假设及复杂度依赖项尚未验证。 实验方面,作者报告在两个视觉领域评估了这些表征学习方法,结果与理论发现一致。摘要未提供领域名称、数据规模、划分、对照细节或具体指标;autoencoding 的具体理论结论,以及实验协议、消融及统计信息尚未验证。摘要也未说明实现与复现资源。 平台推测(待验证):若将视频中的潜在状态与外生干扰结构对应到 EEG,本文可为区分任务相关动态与时间相关干扰提供分析视角,但前提是潜在状态及决策结构的假设适用。可借鉴的是噪声分类与表征目标的比较框架;观测建模和决策接口需针对 EEG 改造。低信噪比、跨被试差异、通道变化及小数据都可能破坏状态可辨识性,不能由视觉领域结论推出 BCI 效果。一个可检验的小实验是在可控潜在状态的多通道模拟信号中,分别加入 iid 与时间相关干扰,比较上述表征方法的状态恢复能力,并在明确记录动作的决策设定中加入带动作标签的轨迹对照。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其对 iid 噪声与时间相关外生噪声的理论区分,以理解视频预训练何时支持高效下游 RL、何时相较带动作标签的轨迹面临样本复杂度障碍;具体定理条件尚待全文核对。

  3. OpenReview · Representation learning76

    理解 CLIP 中的可迁移表征学习与零样本迁移

    基于摘要分析。本文研究 CLIP 如何通过视觉—语言对比预训练学习可迁移的联合表征,以及这些表征为何能支持下游零样本迁移;贡献包括跨模态特征对齐的形式化分析、零样本迁移性能分析,以及由理论分析启发的新 CLIP-type 方法。 机制与证据:CLIP 利用图像与文本两种模态的对比预训练学习联合表征。本文围绕不同模态的特征如何对齐展开理论研究,并以真实数据实验支持理论分析。摘要未提供理论假设、对齐的数学定义、性能界或新方法的具体改动,因此尚不能判断其结论依赖何种数据结构、监督条件与训练规模,也不能将其归纳为某种具体损失或网络结构。 结果与核验:作者报告,新 CLIP-type 方法在基准数据集上优于 CLIP 及其他当时的先进方法。摘要没有给出数据集名称、任务、划分、指标或提升幅度;实验协议、消融及统计信息尚未验证。复现需进一步核对预训练数据、对照模型、零样本提示与评估设置,以及实现和计算资源要求。 平台推测(待验证):跨模态对齐分析可能为 EEG 与文本或其他模态的联合表征研究提供理论视角,但这是迁移假设,不是本文已验证的 BCI 结果。可借鉴的是对齐与迁移的分析思路;EEG 编码、配对语义和时序聚合需另行设计,低信噪比、跨被试差异、通道配置与小样本可能削弱对齐效果。由于具体方法和理论条件尚不明确,目前不宜据此制定方法级复现实验;已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其对 CLIP 跨模态特征对齐与零样本迁移的理论分析,但新方法的性能优势及其对 EEG 的适用性仍需结合全文与实验协议核验。

1月3日周三
  1. OpenReview · EEG72

    从 EEG 脑记录中学习鲁棒的深度视觉表征

    基于摘要分析。该研究关注如何从 EEG 中学习可用于视觉图像分类与重建的鲁棒表征,提出两阶段方法:先提取 EEG 特征并学习深度表征,再将所学表征用于图像生成和分类。 在表征学习阶段,作者使用深度学习架构,结合监督学习与对比学习,在三个数据集上评估特征提取流程的泛化能力,并开展零样本 EEG 分类。摘要未给出具体网络结构、损失形式、三个数据集的完整名称及零样本类别划分,因此尚不能确定这些实验对应跨被试、跨会话还是跨数据集泛化。 作者报告,仅使用 EEG 的单模态学习能够获得被试不变、线性可分的视觉表征,其 k-means Accuracy 优于 EEG 与图像联合表征学习。该对照有助于考察图像模态是否必然改善 EEG 表征,但摘要未提供具体分数、被试划分、聚类评估方式及被试不变性的验证细节,结论仍需结合正文核对。 在生成阶段,作者提出将未见图像映射到 EEG 空间并进行近似重建的框架。作者报告,EEG 图像合成方法在 EEGCVPR40 和 Thoughtviz 上的 Inception Score 分别提升 62.9% 和 36.13%,并声称优于 GAN 相关的现有最佳表现;摘要未明确比较基线、数据划分与计算设置。这些数字是 Inception Score 的相对提升,而非分类 Accuracy 或百分点增益,也不能单独说明重建图像与原始刺激的一致性。 复现时应核对 EEG 预处理、视觉刺激与试次划分、监督及对比学习所用信息、零样本任务定义,以及生成阶段实际使用的输入。尤其需区分“将未见图像映射到 EEG 空间后重建”与“仅凭实测 EEG 重建未见刺激”两种评估情形。实验协议、消融及统计信息,以及代码和模型的可用性尚未验证。

    阅读价值:值得核对其仅用 EEG 学习视觉表征与 EEG—图像联合表征的对照,以及零样本分类和未见图像重建的评估协议,以判断作者所称被试不变性与泛化能力的适用范围。

1月1日周一
  1. OpenReview · State space models71

    TrackSSM:基于状态空间模型的通用运动预测器

    基于摘要分析。TrackSSM 针对多目标跟踪(MOT)中运动模型难以兼顾效率与跨场景有效性的问题,提出基于数据依赖状态空间模型(SSM)的统一编码器—解码器框架,利用历史轨迹预测目标边界框的时间位置,为轨迹关联提供位置信息。 核心模块 Flow-SSM 以历史轨迹的位置及运动信息引导边界框的时间状态转移。运动编码器使用 Mamba-Block 编码历史轨迹,flow decoder 则通过级联的 Flow-SSM 运动解码模块,利用编码后的 flow 信息完成位置预测。训练采用 Step-by-Step Linear(S²L)策略:在目标前一帧与当前帧的位置之间进行线性插值,构造逐步线性训练的伪标签,以引导边界框的时间转移。这里的 flow 是轨迹运动信息,摘要不足以将其等同于图像光流。 作者报告 TrackSSM 适用于多种跟踪场景,并在多个基准上取得良好跟踪表现,但摘要未列出基准名称、数据划分、对照方法、具体指标或计算成本,因此无法核对性能提升幅度及效率收益。摘要声明代码和模型已公开;实现细节、实验协议、消融及统计信息尚未验证,也不能据此推断论文接收或发表状态。 平台推测(待验证):假设以历史信息调节状态转移的机制能够适应 EEG 的时变动态,可将其作为 EEG 时序预测的候选模块。原方法依赖可定位的目标轨迹及相邻帧位置监督;EEG 没有直接对应的边界框,需要改造输入表示、预测输出和监督目标,而 Mamba 编码器与条件化状态转移思路可能复用。低信噪比、通道差异、跨被试非平稳性及小数据训练都可能使运动建模收益无法迁移;线性插值还可能平滑掉真实的快速变化。一个可证伪的小实验是在固定 EEG 数据划分和相同训练预算下,比较 Mamba 基线与加入历史信息引导状态转移的模型在短时序预测中的误差,再单独核对插值监督是否带来收益。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以历史位置和运动信息引导数据依赖状态转移、并用插值伪标签训练运动解码器的机制;摘要未给出定量结果,其优势及向 EEG 时序建模迁移的可行性尚未验证。

  2. OpenReview · State space models75

    槽状态空间模型

    基于摘要分析。该研究针对常规状态空间模型(SSM)以整体状态向量建模、难以显式表达模块化过程的问题,提出 SlotSSMs:将状态表示为多个称为 slots 的向量,通过各槽独立的状态转移及受限的跨槽交互,在长程时序建模中保留或鼓励信息分离。 核心机制是把状态演化拆分到独立槽内,并通过 self-attention 瓶颈实现稀疏的槽间交互。相较于整体状态表示,这一设计引入了独立机制的归纳偏置,适合检验多个对象各自演化、同时存在相互作用的序列建模问题。摘要未说明槽的初始化与分配方式、具体 SSM 实现、损失函数及训练和推理配置,相关细节尚未验证。 作者报告,在 object-centric learning、3D visual reasoning 和 long-context video understanding 任务中,SlotSSMs 相较现有序列建模方法取得显著性能提升;这些任务涉及多个对象及其长程时间依赖。摘要未提供数据集、划分、具体对照方法或指标数值,不能据此量化收益或比较不同评估协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,若 EEG 中存在可分离且相互耦合的动态成分,独立槽状态及跨槽交互可能用于建模这些成分,而非直接把槽等同于电极或脑源。可复用模块是槽内时序更新与槽间交互;需改造 EEG 输入编码和槽分配机制。视觉任务中的对象结构不一定对应 EEG 的混合观测,低信噪比、跨被试与通道差异、小数据条件可能导致槽混叠或不稳定。可在固定 Cross-subject 划分下,以匹配参数量的整体状态 SSM 为对照,比较任务指标并检查槽表示稳定性,检验模块化偏置是否带来收益。已有 EEG 相关工作尚未检索确认。

    阅读价值:SlotSSMs 将独立槽状态转移与受限跨槽交互结合,为模块化长程序列建模提供了可核对的机制设计;其能否改善 EEG 中多源动态的分离与建模尚未验证。

  3. OpenReview · State space models73

    探索视觉状态空间模型对后门攻击的鲁棒性

    基于摘要分析。本文研究 Visual State Space Model(VSS)对后门攻击的鲁棒性,重点考察 State Space Model(SSM)机制如何影响触发器敏感性,并研究 patch 处理对后门触发器的影响。后门攻击的目标是在特定触发器出现时使受感染模型输出攻击者指定的标签,同时在正常样本上维持正常行为。 作者报告,SSM 捕获 patch 内上下文信息的机制使 VSS 比不含 SSM 的模型更易受到后门触发器影响;另一方面,所考察的 patch 处理能够有效扰乱这些触发器。基于此,作者进一步考察在每个 patch 中重复出现、以抵抗 patch 扰动的后门触发方式。摘要未给出具体 patch 处理操作、触发器构造、投毒设置或训练细节,机制归因仍需结合正文与消融核对。 作者报告,在三个未具名数据集和多种后门攻击的实验中,VSS 的后门鲁棒性与 Transformers(ViTs)相近,但弱于仅堆叠 Gated CNN blocks、不含 SSM 的 Gated CNNs。摘要未提供具体指标、数值、数据划分及对照配置,不能据此量化差距或推断干净样本性能;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型将时间序列切分为 patch 并使用 SSM,重复触发模式与 patch 上下文聚合之间的关系可能成为安全性检查线索,但视觉实验不等于 EEG/BCI 验证。迁移需改造视觉 patch 和触发器为符合 EEG 时间、通道结构的输入模式;低信噪比、跨被试差异及小数据训练可能改变触发器可学习性。一个可检验的小实验是在固定数据划分和投毒条件下,对比含 SSM 与不含 SSM 的模型,测试局部及重复触发器在 patch 扰动前后的攻击成功率与干净样本 Accuracy。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的具体原因是其将 VSS 的后门敏感性与 SSM 的 patch 内上下文机制及 patch 处理联系起来,并提供与 ViTs、无 SSM 的 Gated CNNs 对照的安全性研究线索;具体实验协议与机制归因尚未验证。

  4. OpenReview · State space models70

    PhysMamba:用于远程生理测量的状态空间对偶模型

    基于摘要分析。该研究针对从面部视频提取生理信号的 Remote Photoplethysmography(rPPG)在真实环境中易受运动伪影和噪声影响的问题,提出 PhysMamba,利用 State Space Duality 构建时频交互双路径模型,以学习更具代表性的特征。 机制方面,作者设计 Cross-Attention State Space Duality(CASSD),促进两条路径之间的信息交换与特征互补。摘要将时频交互及跨路径融合与噪声条件下的鲁棒性提升联系起来,但具体时频表示、状态空间实现、交互位置、损失函数及训练流程尚未验证。 作者报告在 PURE、UBFC-rPPG 和 MMPD 数据集上开展比较实验,并达到 SOTA,尤其在复杂环境下表现突出。摘要未提供具体指标、数值、数据划分及对照方法,因此目前无法判断优势幅度,也不能确定这些结果属于数据集内评估还是 Cross-dataset 评估。实验协议、消融及统计信息尚未验证;复现还需核对视频预处理、信号标签、评估流程及实现可用性。 平台推测(待验证):若 CASSD 的时频互补机制不依赖面部视频的特定空间结构,可探索其对 EEG 非平稳信号和伪影干扰的适用性。可复用候选是双路径信息交互模块,需改造视频输入与特征编码;原方法对监督信号、数据规模和时频表示的依赖尚不明确。EEG 的低信噪比、跨被试差异、通道变化及小数据条件可能使交互模块放大伪影或过拟合。一个可检验的小实验是在固定 Cross-subject EEG 划分、相同预处理与训练预算下,对比单路径、双路径无交互及 CASSD 交互模型,并检查受控噪声扰动下的性能变化。该迁移假设不构成已验证的 EEG/BCI 效果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得关注其通过 CASSD 实现时频双路径信息交互的机制,但复杂环境下的鲁棒性优势仍需结合完整实验协议、指标与消融核对。

  5. OpenReview · State space models72

    DGMamba:通过广义状态空间模型实现域泛化

    基于摘要分析。DGMamba 研究视觉域泛化中的分布偏移问题,尝试在保留 Mamba 全局感受野与线性复杂度优势的同时,通过抑制域特异隐藏状态、调整图像 patch 扫描和组合方式,提高对未见域的泛化能力。 核心机制包括 Hidden State Suppressing(HSS)与 Semantic-aware Patch Refining(SPR)。HSS 用于减轻与域特异特征相关的隐藏状态对输出预测的影响。SPR 旨在让模型更多关注对象而非上下文,包含 Prior-Free Scanning(PFS)和 Domain Context Interchange(DCI):PFS 打乱图像中的非语义 patch,构造更灵活的序列;DCI 通过跨域融合 patch,将不匹配的非语义与语义信息组合起来,对 Mamba 施加正则化。摘要未提供隐藏状态识别与抑制的具体实现、语义 patch 判定方法或损失形式。 作者报告,在四个常用 DG benchmark 上,DGMamba 获得优于所比较先进模型的结果;摘要未列出 benchmark 名称、指标数值、训练与测试域划分及具体基线,因此尚不能判断收益幅度及各模块贡献。实验协议、消融及统计信息尚未验证。摘要表示代码将公开,并非已确认发布。 平台推测(待验证):假设 EEG 中也能区分任务相关信息与被试或会话特异背景,HSS 的抑制思路可能对应跨被试、跨会话分布偏移;但图像对象与背景的划分不能直接等同于 EEG 的时间段或通道。可考虑复用隐藏状态抑制与背景重组思路,需改造 patch 定义、任务相关性判定及扫描顺序,避免破坏时序和通道关系。低信噪比、小数据及被试间差异可能使判定不稳定,误抑制有效信号。一个可证伪的小实验是在固定跨被试划分下,对比基础 Mamba 与仅加入 HSS 的版本,保持训练数据和调参预算一致,检查未见被试表现是否改善;这一迁移假设尚无本文证据支持,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的具体原因是 DGMamba 将域泛化中的域特异特征抑制与图像扫描机制改造分别落实为 HSS 和 SPR,可据此核对状态空间模型的泛化收益来源,但其 EEG 迁移价值尚未验证。

  6. OpenReview · State space models76

    槽状态空间模型(Slot State Space Models)

    基于摘要分析。该研究针对传统 State Space Models(SSMs)以单一整体状态向量表示序列、难以体现底层过程模块化结构的问题,提出 SlotSSMs:将状态组织为多个称为 slots 的向量,通过独立状态转移与受限交互,保留或鼓励不同机制之间的信息分离。 核心机制是各 slot 独立执行状态转移,并通过 self-attention 瓶颈实现 slots 之间的稀疏交互。与摘要所述的传统整体式状态表示相比,其主要区别是显式引入模块化归纳偏置,同时允许模块交换信息。摘要未说明 slots 的构造方式、交互稀疏性的具体实现、训练目标及计算复杂度,不能据此推定其采用特定 SSM 骨干或获得特定效率收益。 作者报告,在 object-centric learning、3D visual reasoning 和 long-context video understanding 任务中,SlotSSMs 相较现有序列建模方法取得明显性能提升;这些任务涉及多个对象及其长程时间依赖。摘要未给出数据集、划分、指标数值或具体对照方法,实验协议、消融及统计信息尚未验证。复现前需核对完整模型定义、训练配置,以及项目页是否提供可用实现与实验资源。 平台推测(待验证):其可迁移假设是,将 EEG 中部分潜在时序过程表示为独立 slots,再用受限交互建模过程间依赖,可能减少不同过程在整体状态中的混合。可复用的是模块化状态演化与交互框架;需要改造的是 EEG 输入编码、slot 分配和任务输出。原研究面向多对象视觉任务,所需对象结构与监督条件尚不明确,EEG 中也不能直接将 slot 等同于脑区或通道。低信噪比、容积传导导致的观测混合、跨被试差异、通道配置变化及小数据训练均可能使分解失效。一个可检验的小实验是在固定 EEG 任务和同一跨被试划分下,比较容量匹配的整体式 SSM 与 SlotSSMs,并对跨 slot 交互做消融,观察模块化是否改善泛化而非仅增加容量。已有 EEG 相关工作尚未检索确认。

    阅读价值:SlotSSMs 将独立状态演化与受限的跨 slot 交互结合,为研究模块化长程时序建模提供了可核对的机制思路,但其在 EEG/BCI 中的适用性尚未验证。

  7. OpenReview · State space models72

    Event USKT:用于事件相机知识迁移的 U 形状态空间模型

    基于摘要分析。该研究针对事件相机数据有限、难以充分利用已有 RGB 预训练模型的问题,提出 U 形状态空间模型知识迁移框架 USKT。其核心贡献是生成与 RGB 帧兼容的输入,使事件数据能够复用 RGB 预训练模型,并引入采用共享权重策略的 Bidirectional Reverse State Space Model(BiR-SSM)。 机制上,摘要将 USKT 描述为 Event-to-RGB 知识迁移框架:通过输入兼容化连接事件数据与 RGB 模型,而非仅依赖事件数据训练新模型。BiR-SSM 与常规双向扫描机制的区别在于共享权重;作者认为该设计有助于高效建模并节省计算资源。具体事件表示、U 形结构、反向扫描方式、损失函数、冻结或调优的参数范围及推理成本尚未验证。 结果方面,作者报告,使用 ResNet50 作为骨干时,在 DVS128 Gesture、N-Caltech101 和 CIFAR-10-DVS 上的模型性能分别提升 0.95%、3.57% 和 2.9%。摘要未明确这些提升对应的指标、比较基线、数据划分,以及百分比是否表示相对增幅,因此不能将其改写为 Accuracy 的百分点提升,也不能跨数据集直接比较。实验协议、消融及统计信息尚未验证。材料称代码将在论文被接收后公开,当前代码可用性及接收状态均尚未验证。 平台推测(待验证):可迁移假设是,输入兼容化与共享权重双向建模可能帮助数据有限的 EEG 任务复用预训练表示。但事件视觉数据与 EEG 的通道语义、时间结构和噪声特征不同,RGB 输入兼容不等于保留 EEG 判别信息。可考察状态空间建模及参数共享模块,输入映射则需针对 EEG 改造;低信噪比、跨被试差异、通道布局变化与小样本训练可能使映射丢失有效信息或过拟合。一个可证伪的小实验是在固定跨被试划分、相同预训练骨干和调优预算下,对比简单 EEG 输入映射与 USKT 式映射,并以取消双向权重共享作为对照,检查性能与计算成本是否同时改善。相关 EEG 工作尚未检索确认。

    阅读价值:值得核对 USKT 如何将事件数据转换为 RGB 预训练模型可用的输入,以及 BiR-SSM 的共享权重机制能否在减少参数调优与计算开销的同时保留任务信息;其 EEG 迁移价值尚未验证。

  8. OpenReview · State space models70

    采用分形扫描的可扩展视觉状态空间模型

    基于摘要分析。该研究针对视觉 State Space Models(SSMs)中图像 patch 序列化可能破坏空间关系的问题,提出以分形扫描曲线替代线性扫描,旨在改善空间邻近性保持并适应不同图像分辨率。 核心机制是调整二维图像 patch 到一维序列的排列方式,使 SSM 在序列建模时更有效地利用空间结构。作者认为,现有线性扫描容易产生重复模式与偏置,而分形曲线能够保持较高的空间邻近性、减少冗余并提升复杂模式建模能力。摘要未说明具体分形曲线、扫描实现、模型结构或训练配置,因此不能进一步确定其计算与存储开销。 作者报告在图像分类、检测和分割任务中取得优于对照方法的表现,但摘要未提供数据集、划分、基线名称、指标或数值,无法量化收益或比较不同协议下的结果。实验协议、消融及统计信息尚未验证;复现需取得完整的扫描规则、分辨率适配方式、训练设置及对照配置。 平台推测(待验证):该机制依赖 patch 的二维空间邻接关系,可为 EEG 通道×时间表示的序列化提供思路,但图像空间邻近不等同于电极间的功能关系。可复用的是扫描与序列排列模块,需改造的是电极拓扑映射和时间顺序约束;低信噪比、跨被试差异、通道布局变化及小数据可能削弱收益。一个可检验的小实验是在固定 EEG 表示、SSM 主干与训练配置下,对比线性扫描和分形扫描,使用一致的 Cross-subject 划分,检查任务指标及时间邻接是否受到破坏。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对分形扫描如何保留图像 patch 的空间邻近关系,以及其相对线性扫描的收益是否在不同分辨率和任务下稳定;摘要尚不足以判断收益幅度与计算代价。

  9. OpenReview · State space models79

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 适配为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是用 2D Selective Scan(SS2D)处理二维视觉数据与一维选择性扫描之间的结构差异。 技术机制:VMamba 由 Visual State-Space(VSS)块堆叠构成,SS2D 沿四条扫描路径遍历二维数据,以收集不同来源和视角的上下文信息。作者据此构建一系列 VMamba 架构,并通过架构与实现层面的改进加速。摘要未给出具体扫描方向、状态更新公式、损失、训练配置及各加速措施,尚不能核对其计算开销与性能收益的来源。 结果与复现:作者报告,VMamba 在多种视觉感知任务上表现良好,相较现有基准模型具有更优的输入规模扩展效率。摘要未列出任务、数据集、指标、数值或对照配置,因此不能据此判断优势幅度,也不能将线性时间复杂度直接等同于实际运行速度。实验协议、消融及统计信息尚未验证。材料提供了源码仓库,但实现与论文版本的对应关系及完整复现条件仍需核对。 平台推测(待验证):迁移假设是将 EEG 的时间与通道,或时频表示,组织为二维输入,借用多路径选择性扫描建模上下文。原方法依赖二维结构,预训练数据规模与监督设置在摘要中未说明;EEG 的通道排列并不天然等同于图像邻接关系,因此可考察 SS2D 与 VSS 模块,但需改造输入编码、通道拓扑和任务输出。低信噪比、跨被试差异、缺失通道及小数据可能使扫描路径引入不稳定依赖或过拟合。一个可证伪的小实验是在固定 EEG 任务、训练预算与数据划分下,对比二维多路径扫描、仅时间扫描及常规基线,并扰动通道顺序,检验收益是否依赖人为排列;这不是论文已验证的结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,以及输入规模扩展效率的评估;该机制对 EEG 的适用性尚未验证。

  10. OpenReview · State space models73

    SMamba:通过可伸缩状态空间模型实现任意尺度超分辨率

    基于摘要分析。该研究针对任意尺度超分辨率(ASSR),提出正文称为 S³Mamba 的方法,旨在用单一模型将低分辨率图像重建到任意目标尺度。其核心贡献是通过 Scalable State Space Model(SSSM)构建可伸缩的连续表示空间,并结合尺度感知自注意力强化不同尺度下的全局重要特征建模。 机制上,Implicit Neural Representations(INR)通过坐标与像素值之间的连续表示支持任意尺度重建。作者认为,现有基于 CNN 和 Transformer 的方法受到计算复杂度及长程依赖建模能力的限制;SSSM 在离散化过程中调制状态转移矩阵与步长采样矩阵,以实现尺度可调的连续表示建模。作者报告该机制具有线性计算复杂度,但摘要未说明其对应的复杂度变量、完整网络开销或具体调制形式,尚需全文核对。 作者报告,在合成及真实场景基准上的实验取得了最先进性能和任意超分辨率尺度下的较强泛化能力。摘要未提供数据集名称、训练与测试尺度划分、对照方法、指标或数值,因此目前不能定量判断收益,也不能确认对未见尺度的具体泛化范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 关联是将尺度条件化的状态空间建模用于不同采样率下的连续时间信号重建,而非直接复用图像超分辨率效果。该假设依赖可建立的时间坐标和低、高采样率监督配对;可考察复用 SSSM 的离散化调制机制,输入表示与尺度感知模块则需适配 EEG 的时间轴、通道布局及生理频带。低信噪比、跨被试差异、通道缺失和小数据可能导致噪声放大或虚假高频重建,且上采样不能保证恢复已丢失的生理信息。一个可证伪的小实验是对高采样率 EEG 进行受控抗混叠降采样,在按被试隔离的划分中比较该机制、固定尺度模型与插值基线,并测试未见采样倍率下的波形误差及频谱保真度。相关 EEG 工作尚未检索确认。

    阅读价值:值得关注其通过离散化过程中的状态转移与步长采样调制构建尺度连续表示的机制,但任意尺度泛化、计算开销及向 EEG 迁移的有效性仍需核对全文或实验验证。

  11. OpenReview · State space models70

    用于图像去模糊的高效视觉状态空间模型

    基于摘要分析。本文针对图像去模糊中长程依赖建模与高分辨率计算成本之间的矛盾,提出高效视觉状态空间模型 EVSSM,以状态空间模型(SSMs)提取非局部信息,并通过视觉扫描模块降低多固定方向扫描带来的计算开销。 核心机制是:在各个基于 SSM 的模块之前施加不同几何变换,以捕获有用的非局部信息。摘要将其与采用多个固定方向扫描的既有方法对照,强调扫描方式的效率改进;具体变换类型、扫描顺序、网络结构、损失函数及训练配置尚未验证。作者以 Transformer 模型计算复杂度随图像分辨率呈二次增长作为研究动机,但摘要没有给出 EVSSM 的复杂度公式或实测资源消耗。 作者报告,EVSSM 在图像去模糊基准数据集和真实拍摄图像上,相较现有先进方法表现良好。摘要未列出数据集名称、划分、对照方法或定量指标,因此尚不能判断性能增益、效率收益及二者的权衡;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 表示为通道×时间或时频特征,SSM 的序列建模和扫描组织方式可能用于捕获较长时间范围的依赖。但原方法依赖图像空间结构,其几何变换不能直接视为 EEG 的有效变换:通道排列具有电极拓扑意义,时间方向也有特定语义。可复用候选是 SSM 建模与扫描组织思路,需改造的是输入表示及变换规则;低信噪比、跨被试差异、通道缺失和小数据训练均可能使收益消失。可检验的小实验是在固定数据划分和训练预算下,对照单方向扫描、多个固定方向扫描与保留电极拓扑的变换方案,分别报告被试内及跨被试性能、推理耗时和显存占用。该假设并非本文已验证的 EEG 结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对几何变换驱动的视觉扫描如何兼顾非局部建模与计算效率,但摘要未提供定量性能或复杂度数据,其优势及向 EEG 的迁移价值尚未验证。

  12. OpenReview · State space models78

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 迁移为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是通过 2D Selective Scan(SS2D)适配二维视觉数据的结构。 机制上,VMamba 由 Visual State-Space(VSS)块堆叠构成,其中 SS2D 沿四条扫描路径遍历,以连接一维选择性扫描的有序处理方式与二维视觉数据的非序列结构,从不同方向汇集上下文信息。作者据此构建了一组 VMamba 架构,并通过架构与实现层面的改进加速。摘要未展开具体扫描顺序、状态更新形式、训练目标或加速实现,相关细节尚未验证。 作者报告,VMamba 在多种视觉感知任务中展现出良好性能,相较既有基准模型具有输入规模扩展效率优势。摘要未提供任务名称、数据集、数据划分、对照模型、数值指标及复杂度测量条件,因此不能据此量化性能提升,或将线性复杂度直接等同于实际运行速度优势。实验协议、消融及统计信息尚未验证。材料提供了公开代码仓库,复现仍需核对具体配置、训练预算与软硬件环境。 平台推测(待验证):若 EEG 被表示为通道×时间或时频二维结构,SS2D 的多方向上下文聚合可能用于建模长程依赖;这一假设依赖二维排列能够保留有意义的通道或时频关系,视觉领域结果不等于 EEG/BCI 效果。可考察复用 VSS 与扫描机制,但需改造输入编码、通道排列和任务输出。低信噪比、不规则电极布局、跨被试差异及小数据训练可能削弱收益,预训练与监督规模要求也尚未验证。一个可检验的小实验是在固定 EEG 数据划分、训练预算和相近模型容量下,对照多方向 SS2D 与单方向扫描,并扰动通道排列,观察任务指标及计算成本是否稳定改善。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,并核对输入规模扩展效率的对照实验;该机制对 EEG 的适用性尚未验证。

  13. OpenReview · State space models71

    Pan-Mamba:基于状态空间模型的有效全色锐化

    基于摘要分析。Pan-Mamba 研究全色锐化问题,即融合低分辨率多光谱图像与高分辨率全色图像,生成高分辨率多光谱图像;其核心贡献是利用 Mamba 的全局信息建模能力,并设计两个面向跨模态交互与融合的组件。 机制方面,channel swapping Mamba 通过交换部分全色与多光谱特征通道,开展轻量级跨模态交互;cross-modal Mamba 则利用模态之间的内在关系增强信息表示。摘要未提供具体状态空间参数化、特征序列化方式、损失函数、训练与推理设置,不能据此确定网络结构细节或计算成本。 作者报告,在多个数据集上的实验中,Pan-Mamba 超过所比较的当前先进方法,获得更好的全色锐化融合结果;但摘要未给出数据集名称、划分、基线、指标或数值,因此尚不能判断优势幅度及不同评估协议下的稳健性。作者将该工作描述为首次探索 Mamba 在全色锐化中的潜力,此优先性主张尚未独立核实。摘要提供了源码地址,但实现与复现条件尚未验证;实验协议、消融及统计信息亦尚未验证。 平台推测(待验证):迁移假设是将跨模态信息交换机制用于 EEG 与其他同步信号的融合,而非直接复用图像锐化网络。原任务依赖空间对应且分辨率互补的图像输入;EEG 场景需重新定义时间对齐、通道映射、特征序列化和任务监督。可能复用的是跨模态交换与融合模块,需改造的是输入表示及输出目标。低信噪比、跨被试差异、通道缺失和小数据可能使交换特征引入噪声或过拟合。一个可证伪的小实验是在固定数据划分与相近参数预算下,对同步 EEG 多模态任务比较简单融合、加入 channel swapping 及进一步加入 cross-modal Mamba 的表现,并测试模态噪声扰动下的稳定性;这不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其 channel swapping Mamba 与 cross-modal Mamba 如何实现跨模态信息交换,但融合优势及向 EEG 多模态任务迁移的有效性仍需核对实验与验证。

  14. OpenReview · State space models73

    SMamba:通过可伸缩状态空间模型实现任意尺度超分辨率

    基于摘要分析。该研究针对任意尺度超分辨率(ASSR),提出正文称为 S³Mamba 的方法,利用 Scalable State Space Model(SSSM)构建由低分辨率图像导出的可伸缩连续表示空间,使单一模型能够处理不同放大尺度。其核心贡献是将尺度调制引入状态空间模型的离散化过程,并结合尺度感知自注意力增强不同尺度下的全局重要特征感知。 机制与创新:ASSR 借助 Implicit Neural Representations(INR)建立坐标与像素值的连续表示,突破固定放大倍数的限制。作者认为,现有 CNN 和 Transformer 方法面临计算复杂度及长程依赖建模方面的挑战。SSSM 在离散化时调制状态转移矩阵与步长采样矩阵,作者声称由此实现线性计算复杂度的连续表示建模。摘要未给出调制函数、尺度条件的具体输入方式、训练损失及推理流程;线性复杂度对应的计算范围,以及加入自注意力后的整体开销,尚需全文核对。 结果与证据边界:作者报告,在合成与真实场景基准上取得最先进性能,并在任意超分辨率尺度下表现出较强泛化能力。摘要未列出数据集名称、训练与测试尺度划分、对照基线、指标或具体数值,因此不能判断未见尺度上的收益及适用边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,尺度条件化的状态空间离散化可能用于 EEG 不同采样间隔下的连续时间表示;但图像空间放大与 EEG 时间采样变化并非同一任务,原领域结果不能视为 BCI 有效性的证据。可考虑复用条件化离散化模块,将图像坐标与像素监督改为时间坐标和信号重建监督,并处理通道拓扑及抗混叠约束。低信噪比、跨被试差异、通道不一致和小数据可能使模型主要拟合插值规律。一个可证伪的小实验是在固定被试划分及统一抗混叠降采样流程下,对比该模块、普通状态空间模型和传统插值在未见采样间隔上的重建误差及下游任务表现。相关 EEG 工作尚未检索确认。

    阅读价值:值得核对其通过尺度调制状态空间离散化来构建连续表示的机制,以及线性复杂度的适用范围;作者报告的任意尺度泛化优势仍需结合全文实验协议验证。

  15. OpenReview · State space models77

    STREAM:面向稀疏几何数据的通用状态空间模型

    基于摘要分析。STREAM 面向点云、事件视觉等稀疏且非结构化的几何数据,将几何结构显式编码进状态空间模型的参数化,而不是仅依赖序列化预处理及模型自行推断几何关系。其核心贡献是利用坐标的相对差异控制状态空间模型的步长,并基于 Mamba selective state-space model 与修改后的 CUDA kernel 实现高效计算。 机制上,状态空间模型的线性动态由时间或空间坐标等一维变量驱动,STREAM 将相对坐标差注入这一动态变量对应的步长。作者称,由此形成的几何操作可在 O(N) 步中计算 N 个点之间的全点对交互;该表述不应直接等同于已验证的端到端运行时间或显存复杂度,具体交互定义、点的遍历顺序与实现条件尚需正文核对。 作者报告,在从头训练的 ModelNet40 和 ScanObjectNN 点云分析任务中,STREAM 改善了 PointMamba 基线表现,但摘要未提供具体指标数值。作者还报告,在 DVS128 Gestures 数据集全部 11 个类别的测试中取得 100% Accuracy,并声称这是首次达到该结果;测试划分、预处理、重复实验及统计信息尚未验证。摘要另称模型在事件视觉和音频分类等基准上具有竞争力,具体对照与实验协议尚未验证。 平台推测(待验证):假设相对坐标驱动的状态更新能保留不规则采样结构,它可能对应 EEG 中不规则时间采样或稀疏电极空间建模的问题。可考虑复用状态更新机制,但需改造 EEG 信号的点表示、时空坐标及遍历方式;低信噪比、跨被试差异、通道缺失与小数据训练都可能削弱该归纳偏置。一个可检验的小实验是在固定 EEG 数据划分和相同输入表示下,比较相对坐标步长与固定步长,并测试通道缺失时的性能变化。此为迁移假设,不是已证实的 BCI 收益;相关 EEG 工作尚未检索确认。复现还需核对完整模型配置、CUDA kernel、训练条件及代码可用性。

    阅读价值:值得核对 STREAM 将相对坐标差注入状态空间步长的机制及其修改后的 CUDA 实现,以评估稀疏几何归纳偏置的收益;摘要中的全点对交互与测试准确率仍需结合完整实验协议验证。

  16. OpenReview · State space models72

    VmambaIR:用于图像恢复的视觉状态空间模型

    基于摘要分析。VmambaIR 面向从退化输入恢复高质量图像的问题,将 State Space Models(SSMs)引入图像恢复,旨在兼顾长程依赖建模与计算效率。其核心贡献是采用 Unet 架构堆叠 Omni Selective Scan(OSS)块,以多方向扫描缓解 SSM 的单向建模限制。 机制方面,每个 OSS 块由 OSS 模块与 Efficient Feed-Forward Network(EFFN)组成。作者提出的 omni selective scan 对六个方向的图像信息流进行建模,并将 SSM 的线性复杂度作为相对于 Transformer 二次复杂度的效率优势。摘要未说明六个方向的具体定义、扫描与融合方式、EFFN 结构、损失函数及训练策略,这些细节尚未验证。 作者报告,在 image deraining、single image super-resolution 和 real-world image super-resolution 等任务中,VmambaIR 达到 SOTA,同时使用更少的计算资源与参数。摘要未提供数据集、数据划分、对照模型、评价指标或资源测量条件,因此该结论目前只能作为作者报告,不能据此量化优势或比较不同任务的性能。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该方法原本依赖具有空间邻接关系的图像数据;多方向扫描与高效长程建模可能为 EEG 去噪提供机制参考,但原领域有效不等于 BCI 有效。可考虑复用 SSM 与扫描模块,需改造时间—通道表示、扫描顺序及训练目标,并核对是否依赖成对退化/参考信号监督。低信噪比、跨被试差异、不规则通道布局和小数据可能削弱效果,恢复过程也可能损伤 ERP 等任务相关成分。一个可证伪的小实验是在固定被试划分与噪声条件下,比较单向扫描和多方向扫描的 EEG 去噪误差、ERP 波形保真度及资源开销,检查效率收益是否伴随信号失真。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其 Omni Selective Scan 如何以线性复杂度缓解 SSM 的单向建模限制,并核对图像恢复效果与资源开销的对照证据;其对 EEG 的适用性尚未验证。