跳到正文

研究类型与证据

论文/研究 最新动态

论文/研究 类型索引，不代表质量等级。

429 条精选近 30 天 296 条共收录 535 条

更新

精选归档 · 第 19 页

9月27日周五第 361–380 条
  1. OpenReview · State space models75

    MatMamba：一种 Matryoshka 状态空间模型

    基于摘要分析。MatMamba 研究如何让单个状态空间模型适应不同推理计算预算，将 Matryoshka 式学习与 Mamba2 结合，通过修改模型块以包含嵌套维度，实现不同规模子模型的联合训练与自适应推理。 核心机制是从一个训练完成的大模型中提取多个较小的嵌套子模型，而非为每种部署规模分别训练模型。摘要将其与 Matryoshka Representation Learning 及其在 Transformer 骨干上的应用 MatFormer 联系起来；具体维度嵌套方式、训练目标、子模型采样策略和推理规模选择规则尚未验证。 作者报告，在参数规模为 35M 至 1.4B 的语言与图像模型实验中，嵌套小模型能够保持或超过从头训练的小模型基线的性能。作者还报告，ImageNet 和 FineWeb 上的结果显示 MatMamba 具有与 Transformers 相近的扩展表现，并具备更高效的推理特性。摘要未提供具体指标、计算预算、硬件、数据划分或延迟数值，因此不能量化性能收益或推理加速；实验协议、消融及统计信息尚未验证。“免费”获得子模型应理解为不必逐个从头训练，不代表联合训练或部署没有额外开销。 平台推测（待验证）：若 EEG 时序任务需要在不同设备计算预算间部署，嵌套子模型可能提供可复用的弹性容量机制。该假设依赖共享模型在不同容量下仍能学习有效时序表征；原摘要的语言与图像实验不能直接证明 EEG 效果。可复用部分是 Mamba2 中的嵌套维度与联合训练思路，EEG 输入编码、通道组织及任务输出模块则需改造。低信噪比、跨被试差异、通道变化和小数据条件可能使较小子模型丢失有效信息。一个可检验的小实验是在固定 EEG 任务及 Cross-subject 划分下，比较联合训练的嵌套子模型与相应规模的独立训练基线，同时记录任务指标、参数量和同一硬件上的推理延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将 Matryoshka 式嵌套维度引入 Mamba2、联合训练多种规模子模型的机制，并核对弹性推理的性能—计算开销权衡；摘要尚不足以验证实际加速幅度或 EEG 适用性。

  2. OpenReview · Representation learning77

    具有可证明效率保证的联邦主动多任务表征学习

    基于摘要分析。本文针对源任务与目标任务数据均有限时的多任务表征学习，提出采用线性表征的主动学习方法，通过估计各源任务对目标任务的相关性，自适应分配采样，以提高数据利用与计算效率。 核心机制是基于自适应采样的交替投影梯度下降（GD）与最小化算法：迭代估计源任务相关性，并依据估计结果从各源任务采样。作者给出算法的收敛保证以及样本复杂度、时间复杂度分析；具体假设、复杂度表达式、采样预算和优化目标尚未验证。标题包含联邦学习，但摘要未说明客户端通信、聚合流程或隐私机制，不能据此补充联邦实现细节。 作者报告在合成数据和真实 MNIST-C 数据上开展数值实验，并与四种基准算法比较。摘要未提供具体指标、数值结果、任务构造或数据划分，因此暂不能判断优势幅度及适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设不同 EEG 被试或会话可作为源任务与目标任务，相关性驱动的采样可能用于缓解跨被试或跨会话迁移中标注预算有限的问题。可复用的是任务相关性估计与采样分配框架；需改造的是 EEG 表征、任务定义及采样与标签获取接口，并核对理论是否依赖共享线性结构。低信噪比、通道不一致和小样本可能使相关性估计不稳定，导致预算偏向无益源任务。一个可检验的小实验是在固定目标任务训练数据、总标注预算和独立测试集的跨被试设置下，比较自适应源任务采样与均匀采样，检验收益是否稳定。以上不是已验证的 EEG/BCI 结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其按源任务与目标任务相关性自适应分配采样的机制及收敛、样本和时间复杂度分析，但理论适用条件与实验优势尚需核对全文。

9月26日周四
  1. OpenReview · EEG76

    以大型时空 Transformer 为基础模型学习鲁棒 EEG 表征

    基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题，提出时空 EEG Transformer（ST-EEGFormer），通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模，与跨 MI、P300、SSVEP 范式的适应性评估结合起来。 方法将原始 EEG 切分为片段（patches），投影到嵌入空间，并加入空间与时间嵌入。作者以掩码自编码器（MAE）任务进行自监督预训练，预训练数据由六个公开运动想象（MI）数据集、一个公开 P300 数据集和一个公开稳态视觉诱发电位（SSVEP）数据集组成。摘要未提供片段长度、空间位置编码方式、掩码策略、重建目标细节或模型规模，尚不能确认其处理不同通道配置的具体实现条件。 评估包括预训练所涉及八个数据集上的下游分类微调，以及两个未参与预训练的公开数据集：癫痫发作分类数据集和在线 MI BCI 数据集。对照模型包括简单线性模型、EEGNet、监督学习模型 EEG Conformer，以及基础模型 BIOT 和 Large Brain Model（LaBraM）。作者报告，预训练后的 ST-EEGFormer 在八个预训练数据集的下游分类中均取得高于所比较模型的 Accuracy，并在新数据集、有限训练数据条件下表现出较强泛化能力；摘要未给出具体数值或有限数据的规模。 这些结果支持进一步核查统一时空表征与 MAE 预训练的适应性，但不能直接解释为已验证的跨被试、跨会话或无需微调的泛化。数据集名称、被试数、训练与测试划分、预训练与评估样本的关系、各基线微调预算、消融及统计信息尚未验证。作者还提供模型及支撑结果的特征可视化，其解释性结论需结合正文审阅；代码、权重与完整复现条件尚未验证。

    阅读价值：值得阅读其跨 MI、P300 与 SSVEP 范式的统一预训练设计，以及在未参与预训练的数据集上检验有限训练数据条件下泛化能力的实验；作者报告的优势仍需结合具体划分、微调预算与统计结果核对。

  2. OpenReview · State space models73

    DyGMamba：利用状态空间模型高效建模连续时间动态图的长期时间依赖

    DyGMamba 面向连续时间动态图（CTDG）的表示学习，尝试同时解决长节点交互历史的计算开销与关键时间信息筛选问题，核心贡献是将 Mamba 状态空间模型（SSM）用于节点历史编码和时间模式驱动的信息选择。以下基于摘要分析，未取得论文全文。 机制上，节点级 SSM 首先编码历史节点交互序列；时间级 SSM 随后提取历史图中的时间模式，其输出用于动态选择交互历史中的关键信息。摘要描述的设计重点不只是扩大历史窗口，而是让时间模式参与信息筛选。具体输入表示、两个 SSM 的连接方式、选择操作、损失函数及训练流程尚未验证。 作者在动态链接预测任务上进行评估，并报告 DyGMamba 在多数情形下达到当时最优表现，同时保持较高的计算资源效率，使有限计算预算下的长时间依赖建模成为可能。摘要未提供数据集、划分协议、基线、指标数值或资源测量口径，因此不能量化其性能与效率优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 通道或脑区表示为节点、将带时间戳的连接变化表示为交互，该机制可能用于筛选长时程连接历史中的任务相关信息。此迁移假设依赖于 EEG 能否形成有意义的交互事件，而不是直接将原始波形视为动态图。可复用部分是历史序列编码和时间模式驱动的选择模块；需改造的是节点定义、连接估计、事件构造与任务输出。低信噪比可能产生伪交互，跨被试及通道差异可能破坏事件语义，小数据也可能使选择机制过拟合。一个可证伪的小实验是在固定 EEG 数据与跨被试划分下，以相同连接构造和历史窗口比较完整机制与不使用时间级选择的对照，同时记录任务指标及资源开销。上述仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用节点级与时间级 SSM 编码长交互历史并动态选择关键信息的机制，但动态图预测收益及其向 EEG 时变连接建模迁移的有效性仍需核对实验与验证。

  3. OpenReview · State space models72

    Decision Mamba：用于离线强化学习的多粒度状态空间模型与自演化正则化

    基于摘要分析。该研究针对离线强化学习中的分布外状态与动作处理问题，提出 Decision Mamba（DM），将多粒度状态空间模型（SSM）与自演化策略学习结合，以利用轨迹历史、建模步内变量关系，并缓解对带噪声次优轨迹的过拟合。 机制上，DM 利用 Mamba 的历史隐藏状态提取跨时间步信息；在原有粗粒度 SSM 中集成细粒度 SSM 模块，捕捉 return-to-go（RTG，剩余累计回报）、状态与动作三元组的步内关系。自演化策略采用渐进正则化，利用策略自身过去的知识修正次优动作。摘要未给出具体损失、动作修正规则、正则化调度或训练与推理流程，这些细节尚未验证。 作者报告，DM 在多种任务上显著优于其他基线，但摘要未提供任务与数据集名称、划分、指标、数值或对照配置，因而不能据此量化收益，也不能区分收益来自多粒度建模还是自演化正则化。实验协议、消融及统计信息尚未验证；分布外鲁棒性与噪声示范鲁棒性是否分别得到直接评估，也需核对全文。 平台推测（待验证）：其跨步历史与步内关系的分层建模机制，可作为序列式 BCI 决策的候选思路，但依赖具有状态、动作及回报信息的轨迹，不能直接等同于 EEG 分类方法。可复用的是多粒度 SSM 思路；需改造 EEG 状态编码、动作定义与回报构造。低信噪比、跨被试差异、通道变化和小数据可能使历史状态不稳定，自演化策略也可能强化既有动作偏差。一个可检验的小实验是在具有明确动作与回报记录的固定 BCI 离线轨迹上，按被试隔离评估，比较粗粒度 SSM、加入细粒度模块及完整 DM，并在受控动作噪声下检查策略收益与稳定性。该迁移是假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 Decision Mamba 如何联合建模跨时间步历史与步内 RTG-state-action 关系，以及渐进正则化能否缓解噪声示范中的策略过拟合；摘要尚不足以验证其性能优势与各模块贡献。

  4. OpenReview · Representation learning78

    用于强化学习的扩散谱表征

    基于摘要分析。本文针对强化学习（RL）中扩散模型采样推理成本较高的问题，提出 Diffusion Spectral Representation（Diff-SR），将扩散模型用于表征学习，而非在策略优化过程中依赖扩散采样。其核心贡献是利用扩散模型与能量模型的联系，为马尔可夫决策过程（MDP）及部分可观测马尔可夫决策过程（POMDP）的价值函数提取充分表征。 机制与创新：摘要将既有扩散方法的计算瓶颈归因于迭代采样，并提出从表征学习角度利用扩散模型对复杂分布的表达能力。作者称 Diff-SR 能支持高效策略优化及实用算法，同时绕开扩散模型采样的困难与推理成本。这里的“绕开采样”不等于消除全部训练或推理开销；谱表征的构造方式、充分性成立的假设、损失函数及策略优化接口尚未验证。 结果与证据边界：作者报告，在完全可观测与部分可观测设置下的多个基准上，Diff-SR 展现出稳健且有利的性能。摘要未提供具体基准名称、评价指标、对照方法或计算成本测量，因此尚不能量化其性能与效率收益。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，若 EEG 驱动的闭环 BCI 可建模为 POMDP，Diff-SR 的价值函数表征可能有助于处理观测不完整，并减少在线决策对扩散采样的依赖。但这一路径需要动作、奖励及状态转移轨迹，而非仅有 EEG 分类样本；可考虑复用表征学习与策略优化框架，需改造 EEG 观测编码及历史信息处理接口。低信噪比、跨被试分布变化、通道差异和小规模交互数据可能使表征学习失效。一个可检验的小实验是在固定 EEG 轨迹划分与相同交互预算下，对比 Diff-SR、直接扩散采样策略及非扩散表征基线的任务回报与决策延迟。该设想不代表已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其如何利用扩散模型与能量模型的联系提取价值函数表征，并绕开扩散采样的推理开销；表征充分性的具体条件和效率收益尚需全文核对。

  5. OpenReview · EEG73

    EEG2Video：面向从 EEG 信号解码动态视觉感知

    基于摘要分析。研究针对既有视觉重建工作主要关注静态刺激的问题，探索从 EEG 解码动态视觉感知，贡献包括 EEG-video 配对数据集、视频元信息标注，以及采用 Seq2Seq 架构的视频重建基线 EEG2Video。 数据与任务：作者报告记录了 20 名被试观看 1400 个动态视频片段时的 EEG，视频涵盖 40 个概念。摘要强调 EEG 的高时间分辨率（1000 Hz）适于捕捉快速脑活动变化，但实际采集与预处理配置尚未验证。作者还为视频标注颜色、动态属性、是否包含人等元信息，以探索这些属性能否从 EEG 中解码；摘要未提供各属性任务的具体结果。 方法与结果：EEG2Video 使用 Seq2Seq 架构，旨在更好地对齐视频中的动态运动与高时间分辨率 EEG 信号。作者报告在语义分类任务中取得 79.8% 的 2-way Accuracy，视频重建的结构相似性指数（SSIM）为 0.256。摘要未说明候选样本构造、数据划分、被试内或跨被试评估设置、对照基线及 SSIM 的计算与汇总方式，因此这些数值不能直接用于跨研究比较，也不足以单独判定动态重建质量。 验证与复现：值得重点核对 EEG 与视频的时间对齐方式、Seq2Seq 的输入输出表示，以及重建是否保留动态信息而不只是语义或静态外观。实验协议、消融及统计信息尚未验证。摘要称数据集与代码将很快发布，这属于发布计划，不能视为已经公开可用；复现仍需确认资源开放状态及完整训练、评估配置。

    阅读价值：值得阅读的具体原因是其提供动态视频与 EEG 配对数据，并以 Seq2Seq 基线探索时序对齐的视频重建；重建效果及泛化能力仍需结合全文协议核对。

  6. OpenReview · Representation learning76

    DenoiseRep：用于表征学习的去噪模型

    基于摘要分析。DenoiseRep 研究如何将去噪机制用于判别任务的表征学习，通过联合特征提取与去噪提升特征的判别能力。其核心贡献是将骨干网络中的各嵌入层视为逐步去噪层，并通过参数融合消除独立去噪计算。 机制上，作者将从低层到高层的级联特征提取，与递归、逐步的特征去噪统一起来。作者称，特征提取层与去噪层的参数可以融合，并给出了融合前后等价性的理论论证，据此主张特征去噪无需额外计算。摘要未说明去噪目标、噪声构造、损失形式、训练流程或参数融合的适用条件，这些内容尚需全文核对。该方法被描述为无需标签，也可与可用标签互补；这不等于所有下游任务的训练均不使用标签。 作者报告，在重识别数据集 Market-1501、DukeMTMC-reID、MSMT17、CUHK-03、vehicleID，图像分类数据集 ImageNet、UB200、Oxford-Pet、Flowers，以及 COCO 目标检测和 ADE20K 图像分割任务上观察到稳定的改进，并在 ResNet、ViT、Swin、Vmamda 架构上验证有效性。摘要未提供具体指标、数值、数据划分或对照基线，无法据此判断收益大小及不同任务间的可比性；实验协议、消融及统计信息尚未验证。复现还需核对融合实现、训练配置及代码可得性。 平台推测（待验证）：若逐层去噪确实能够保留判别信息，并且融合条件适用于 EEG 编码器，该机制可能用于缓解 EEG 表征中的噪声干扰。可复用部分是逐层特征去噪与参数融合思路；需改造部分包括时序与通道特征处理、噪声定义及下游监督方式。视觉数据上的结果不能证明其适用于低信噪比、跨被试或小样本 EEG；去噪可能误删弱任务信号，通道变化也可能破坏特征假设。一个可检验的小实验是在固定跨被试划分下，对比同一 EEG 骨干加入与不加入 DenoiseRep 的表现，同时检查融合前后输出一致性及推理开销。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其特征提取与去噪层参数融合的等价性条件，以及无需标签的特征增强能否在不增加推理计算的前提下稳定改善判别任务；向 EEG 迁移的有效性尚未验证。

  7. OpenReview · Representation learning77

    从表示学习视角理解 Transformers 如何进行上下文学习

    基于摘要分析。本文研究 Transformers 的上下文学习（ICL）机制，即模型如何仅凭少量示范样例、在不更新参数的情况下执行新任务。核心贡献是借助核方法构建单个 softmax attention 层的对偶模型，从表示学习视角解释 ICL 推理，并分析示范 token 数量与泛化误差的关系。 机制方面，作者报告，attention 层的 ICL 推理过程可对应于对偶模型的训练过程，所生成的 token 表示预测与对偶模型的测试输出等价。作者进一步分析该对偶模型的训练过程，推导与示范 token 数量有关的泛化误差界，并将理论结论扩展至单个 Transformer 层及多个 attention 层。摘要未提供等价关系成立的假设、误差界的具体形式或适用分布，因此不能据此推断增加示范必然改善任意任务表现。 方法探索方面，作者受表示学习方法、尤其是对比学习启发，提出对 attention 层的潜在修改，并报告设计了实验支持研究结论。具体修改方式、训练目标、任务与数据集、对照基线、结果指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该分析可能为 EEG 上下文示范如何影响表示提供理论切入点，但语言 token 的结论不能直接迁移为 BCI 效果。迁移假设依赖于 EEG 能否形成适合该理论的 token 表示与任务示范结构；可考虑复用 attention 与对偶模型分析框架，而 EEG 分段、通道表示及示范组织方式需要改造。低信噪比、跨被试差异、通道不一致与小样本可能使理论假设失效。待核对全文条件后，可在固定 EEG 编码器和被试内数据划分下，仅改变上下文示范数量、保持模型参数不变，检验任务误差是否符合理论预期。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是作者通过核方法将 softmax attention 的 ICL 推理与对偶模型训练联系起来，并给出涉及示范 token 数量的泛化误差界；其假设条件及实验支持程度尚待全文核对。

  8. OpenReview · Representation learning76

    强化学习中的离线多任务表征学习

    基于摘要分析。本文研究如何从多个具有共同表征的任务的离线数据中学习共享表征，并提出用于离线多任务表征学习的算法 MORL。其贡献是在低秩强化学习（RL）框架下开展理论分析，并考察所学表征对新任务的作用。 核心设定是上游多个任务与下游新任务共享同一表征。作者进一步分析 reward-free、offline 和 online 三类下游 RL 场景。作者报告，理论结果表明，利用上游离线任务学得的表征，相比直接学习低秩模型的表征具有收益；摘要未给出具体收益界、适用条件或量化结果，因此不能将其解读为已验证的实际性能提升。MORL 的优化目标、算法步骤、离线数据覆盖要求及共享表征的具体形式尚未验证，实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若某类 BCI 闭环控制问题可以表述为多个共享潜在动力学表征的 RL 任务，该框架或可为离线交互数据的跨任务复用提供理论参照。这里可借鉴的是共享表征学习与下游任务适配的分工，而非将低秩 RL 结论直接套用于 EEG 分类。应用于 EEG/BCI 时，观测编码、任务定义及状态—动作—奖励接口均需适配；低信噪比、跨被试差异、通道变化、小样本和离线数据覆盖不足，都可能使共享表征假设失效。现阶段应先核对理论假设是否匹配目标任务，再评估迁移可行性；相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其离线多任务低秩 RL 的共享表征学习框架及下游理论分析，但收益所依赖的任务共享假设与数据条件仍需全文核对，尚不能据此推断 EEG/BCI 效果。

  9. OpenReview · Representation learning76

    用于增强强化学习泛化能力的 State Chrono Representation

    基于摘要分析。该研究关注图像输入强化学习中的状态表征泛化问题，提出 State Chrono Representation（SCR），通过在 bisimulation metric 学习的更新步骤中引入更长期的时间信息，增强表征对未来行为的刻画。 核心机制：现有深度 bisimulation metric 方法利用任务相关特征定义状态距离，并从像素观测学习结构化低维表征。作者认为，这类方法在高难度泛化任务和奖励信息不足的场景中，可能因长期信息刻画不足而受限。SCR 在时间框架下联合考虑未来动态，以及当前和长期未来状态的累积奖励，以扩展状态距离学习。作者称，该策略无需为动态建模引入大量额外参数；具体距离定义、损失形式、时间跨度与训练流程尚未验证。 结果与复现：作者报告，在 DeepMind Control 和 Meta-World 环境中的高难度泛化任务上，SCR 优于其他近期基于度量的方法。摘要未提供具体任务划分、基线名称、指标数值或参数开销，因此无法量化收益或比较不同协议。摘要提供了 SCR 代码仓库，但代码内容、运行条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，长期时间结构可能帮助 EEG 表征区分短时观测相似、后续演化不同的状态。原方法依赖带有状态转移及奖励信息的强化学习轨迹，而常见 EEG 任务未必具有对应奖励监督；可考虑复用时间化状态距离的思路，但需改造奖励定义、时间窗口与任务相关监督。低信噪比、跨被试差异、通道变化和小数据可能使距离学习捕获伪相关，长期信息也未必与目标任务有关。一个可证伪的小实验是在固定 EEG 任务与相同被试划分下，对比短时度量表征和加入长期时间信息的表征，保持编码器与训练预算一致，检查跨被试收益是否稳定。该实验仅为迁移建议；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SCR 如何将长期动态与累积奖励纳入 bisimulation metric 更新，以及其泛化收益是否依赖奖励信息和轨迹结构；向 EEG 表征学习迁移的价值尚未验证。

  10. OpenReview · State space models77

    MambaTree：树拓扑就是状态空间模型所需的一切

    基于摘要分析。MambaTree 针对状态空间模型受序列几何结构约束、长程依赖建模受限的问题，提出根据空间关系与输入特征动态生成树拓扑，并沿该结构传播特征，以突破原有序列传播路径的限制。 核心机制是将特征传播组织从序列改为动态树结构，并引入线性复杂度的动态规划算法来增强长程交互。摘要未给出树构建规则、状态更新方程、训练目标或复杂度的具体计量范围，因此尚不能确定树生成与传播的整体开销，以及其相对序列式状态空间模型的实现条件。 作者报告，在图像分类、目标检测和分割任务中，MambaTree 显著优于现有结构化状态空间模型；在大语言模型微调中，也以较小训练成本在多个文本任务上取得一致提升。这些结论对应摘要所述任务，但具体数据集、指标、划分、对照基线与成本口径未提供，实验协议、消融及统计信息尚未验证，不宜据此量化性能优势或推断其已具备 EEG 多模态建模能力。 平台推测（待验证）：若将 EEG 的通道空间关系与片段特征用于动态树构建，该机制可能为跨通道及长时间跨度交互提供不同于固定序列的传播路径。可考虑复用树上动态规划思想，但输入表征、通道空间编码和树生成约束需要针对 EEG 改造；其对数据规模和监督方式的依赖仍需核对。低信噪比可能使树结构不稳定，跨被试差异、通道布局变化及小数据条件也可能削弱泛化。一个可证伪的小实验是在固定 Cross-subject 划分下，以相同预处理、训练预算和状态空间骨干，对比原序列传播、固定树与动态树，联合检查任务指标、运行成本和树结构稳定性。该实验仅是迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其动态树拓扑与线性复杂度特征传播如何缓解序列结构对长程依赖的限制，但计算成本优势及向 EEG 的迁移价值尚未验证。

  11. OpenReview · State space models74

    Multi-Scale VMamba：层级内嵌层级的视觉状态空间模型

    基于摘要分析。研究针对视觉 State Space Models（SSMs）中多扫描策略带来的冗余，提出 Multi-Scale Vision Mamba（MSVMamba），通过多尺度二维扫描与通道混合模块改善效率和性能之间的权衡。 核心机制：作者分析认为，长程依赖是多扫描策略有效的重要原因。MSVMamba 在原始及下采样特征图上进行多尺度二维扫描，旨在保留长程依赖学习能力并降低计算成本；同时引入 Convolutional Feed-Forward Network（ConvFFN），补充通道混合。摘要未给出具体扫描路径、下采样配置、模块结构、损失或参数量，相关细节尚未验证。 作者报告：MSVMamba-Tiny 在 ImageNet 上取得 83.0% top-1 Accuracy；在 COCO 上，采用 Mask R-CNN 框架及 1x 训练日程，取得 46.9% box mAP 和 42.5% instance mAP；在 ADE20K 上采用单尺度测试，取得 47.9% mIoU。摘要未提供具体对照结果或实测计算开销，不能据此确认相对优势幅度。实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但实现与复现条件尚未核对。 平台推测（待验证）：迁移假设是，多尺度扫描可能用于 EEG 的长短时程依赖建模，缓解长序列计算负担，但原方法依赖视觉二维特征图，不能直接等同于 EEG 通道与时间结构。可考虑复用 SSM 和多尺度处理思路，改造扫描顺序、下采样方式及通道混合模块。风险包括下采样丢失短暂 ERP 或高频信息、空间邻接不匹配，以及跨被试、通道变化和小数据条件下泛化不足。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下，对比单尺度与多尺度扫描，控制参数量和训练预算，同时记录任务指标、延迟及短时事件识别表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其多尺度扫描能否在保留长程依赖建模能力的同时降低计算开销，以及 ConvFFN 的独立贡献；摘要提供了多任务结果，但效率收益与消融证据尚未验证。

  12. OpenReview · State space models79

    VMamba：视觉状态空间模型

    基于摘要分析。该研究针对计算机视觉网络的计算效率问题，将状态空间语言模型 Mamba 改造为视觉骨干 VMamba，提出通过二维扫描聚合上下文信息的架构，并以线性时间复杂度为设计特征。 核心机制是由 Visual State-Space（VSS）块构成网络，并在其中使用 2D Selective Scan（SS2D）模块。SS2D 沿四条扫描路径遍历二维数据，以衔接一维 selective scan 的有序处理方式与二维视觉数据的非序列结构，从不同方向收集上下文信息。作者据此构建一组 VMamba 架构，并通过架构及实现层面的优化加速；具体扫描顺序、网络配置、训练损失及优化细节尚未验证。 作者报告，VMamba 在多种视觉感知任务中表现良好，相较所比较的基准模型具有更好的输入规模扩展效率。摘要未提供具体任务、数据集、指标数值、对照模型或计算成本测量条件，因此尚不能核对性能与效率之间的权衡。实验协议、消融及统计信息尚未验证。摘要提供了源码仓库，但代码与论文实验的一致性、运行环境及复现成本仍需核对。 平台推测（待验证）：迁移假设是，将 SS2D 用于 EEG 的通道×时间表示，可能为长时间窗与跨通道上下文建模提供一种计算效率较高的路径；这不是已验证的 EEG/BCI 结果。原方法依赖具有二维组织结构的视觉输入，而 EEG 通道顺序不天然等同于规则图像网格，需改造通道排列、空间编码及输入适配模块。低信噪比、跨被试分布变化、通道配置差异和小数据训练可能使视觉扫描机制失效。可检验的小实验是在同一 EEG 数据集、固定 Cross-subject 划分及训练预算下，对比二维扫描与一维时间扫描，并扰动通道排列，检验收益是否依赖人为顺序，同时测量不同时间窗长度下的运行成本。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其用四条扫描路径将一维 selective scan 适配二维视觉数据的机制及输入规模扩展效率评估，但该机制对 EEG 的适用性尚未验证。

  13. OpenReview · State space models75

    MVGamba：将 3D 内容生成统一为状态空间序列建模

    基于摘要分析。MVGamba 针对 3D Gaussian 重建中的多视角不一致与纹理模糊问题，提出基于类 RNN 状态空间模型（SSM）的轻量多视角 Gaussian 重建器，并结合现成的多视角扩散模型，统一处理单张图像、稀疏图像或文本提示驱动的 3D 内容生成。 核心机制是沿序列传播包含多视角信息的因果上下文，支持跨视角自细化，同时以线性复杂度生成用于细节建模的长 Gaussian 序列。作者将既有方法的问题归因于采用计算密集型架构时对多视角信息传播的妥协；这一解释及其因果证据仍需正文核对。摘要未给出具体序列组织、SSM 实现、损失函数及训练配置。 作者报告，在所评估的各类 3D 内容生成场景中，MVGamba 优于先进基线，模型规模约为对照的 0.1 倍。摘要未明确该比例对应哪些模型，也未提供数据集、划分、评价指标或具体分数，因而不能据此推断推理速度或显存收益。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但代码内容与复现条件尚未核验。 平台推测（待验证）：可迁移假设是，SSM 的递归上下文传播或可用于 EEG 长时序建模；原方法依赖多视角图像结构及 3D 重建目标，并不直接对应 EEG 监督。可借鉴状态传播模块，但需重新设计时间与通道的序列组织、输入表征和任务输出，不能直接沿用 Gaussian 生成头。低信噪比可能使状态累积噪声，跨被试与通道差异可能破坏上下文一致性，小数据也可能限制训练。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下，对比保留状态传播和重置状态的模型，检验较长上下文是否稳定改善任务指标。尚未检索确认已有 EEG 相关工作。

    阅读价值：值得阅读其以 SSM 传播跨视角上下文并生成长 Gaussian 序列的机制；作者报告以约 0.1 倍模型规模优于对照，但具体评估协议与 EEG 迁移价值尚未验证。

9月25日周三
  1. OpenReview · Representation learning80

    用于因果量估计的正交表征学习

    基于摘要分析。本文研究如何从观测数据中借助表征学习估计因果量，例如条件平均处理效应，并提出 OR-learners：一类针对表征层面定义的因果量的 Neyman 正交学习器，旨在结合表征学习与正交因果估计的理论优势。 核心机制与理论贡献：作者指出，现有端到端表征学习方法未必具备 Neyman 正交学习器的双重稳健性和准 oracle 效率，某些额外约束（如平衡约束）还可能导致估计不一致。作者主张，OR-learners 可基于任意学得的表征一致估计相应因果量，并具有双重稳健性和准 oracle 效率。这里需区分“表征层面定义的因果量”与原始协变量层面的目标：摘要不足以确认两者何时等价，也不能将这些性质理解为无条件保证。具体估计式、损失、辅助模型、训练流程及理论条件尚未验证。 实验与证据边界：作者报告，在大量实验及一定正则条件下，OR-learners 改善了现有表征学习方法并达到 state-of-the-art 性能；摘要未提供数据集、划分、对照基线、指标或数值，因此无法判断改善幅度及适用范围。实验协议、消融及统计信息尚未验证。作者还声称，这是据其所知首次统一表征学习与 Neyman 正交因果量估计的框架，该优先性声明尚未独立核实。 平台推测（待验证）：若 EEG 研究目标是从观测数据估计干预效应，而非普通分类，OR-learners 可能用于评估降维表征上的效应异质性。该假设依赖明确的处理、结局、混杂变量及因果识别条件；可考虑复用正交估计模块，但需改造 EEG 表征和辅助模型。低信噪比、跨被试差异及小数据可能使表征丢失混杂信息或辅助估计不稳定，正交性不能自动解决这些问题。一个可证伪的小实验是在具有已知处理效应的半合成 EEG 数据上固定表征，对比普通表征效应估计与 OR-learners，并逐步增加噪声及混杂信息损失，检验估计偏差是否仍有改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将表征层面的因果量估计与 Neyman 正交学习统一的理论机制，尤其需核对一致性、双重稳健性和准 oracle 效率所依赖的假设，而非仅依据摘要中的性能声明。

9月23日周一
  1. OpenReview · Representation learning76

    通过低维建模理解基于扩散模型的表征学习

    基于摘要分析。研究探讨以生成为目标的 diffusion models 为什么、以及在何种条件下能够通过自监督学习获得高质量表征，提出其能力源于噪声控制的去噪目标对图像数据低维分布的学习，并从后验估计和参数共享两个角度解释这一机制。 作者报告，表征学习性能随噪声水平变化的情况，与相应后验估计的质量密切相关。基于这一观察，论文提供理论分析，解释表征表现随噪声尺度变化的单峰动态，以及去噪过程如何形成有意义的表征。摘要还指出，扩散模型内在的参数共享机制能够解释其相对传统 denoising auto-encoders 的表征学习优势；具体共享方式、理论假设及对照条件尚未验证。 摘要未提供数据集、数据划分、具体指标或结果数值，因此目前只能确认作者提出的机制解释与定性结论，不能判断优势幅度或适用范围。实验协议、消融及统计信息尚未验证；阅读全文时需重点核对低维分布假设、后验估计质量的测量方式，以及噪声尺度和参数共享各自的贡献。 平台推测（待验证）：若 EEG 中存在可稳定恢复的低维任务相关结构，这一机制可能为自监督去噪中噪声强度的选择提供分析视角，但图像领域结果不等于 EEG/BCI 有效。可复用去噪目标与跨噪声尺度参数共享的思路，输入表示和噪声模型则需适配 EEG 的时序、通道结构及生理噪声。低信噪比、跨被试差异、通道变化与小数据可能使低维结构估计不稳定，或使表征偏向非任务相关成分。一个可检验的假设是：在固定被试内划分、相同训练数据与模型容量下，扫描噪声尺度并比较共享参数模型与分别训练的去噪模型，观察去噪质量和下游 MI 表征表现是否呈现一致变化。相关 EEG 工作尚未检索确认。

    阅读价值：该研究以低维分布建模和后验估计解释扩散模型的表征学习能力，值得核对噪声尺度与表征质量之间的理论联系，以及参数共享相对去噪自编码器的作用证据。

9月18日周三
  1. OpenReview · State space models78

    状态空间模型的参数高效微调

    基于摘要分析。本文研究 Mamba 等深度状态空间模型（SSMs）的参数高效微调（PEFT），重点比较现有方法的适用性及微调模块的选择，并提出 LoRA with Selective Dimension tuning（SDLoRA），将线性投影矩阵上的 LoRA 与 SSM 模块中部分通道和状态的选择性更新结合。 作者报告，在 SSM 模型上对四种基本 PEFT 方法进行经验评估后，prompt-based 方法（如 prefix-tuning）效果不佳，理论分析也支持这一观察；相比之下，LoRA 仍然有效。针对 LoRA 的应用位置，作者报告，理论与实验均支持仅将 LoRA 应用于线性投影矩阵、而不修改 SSM 模块的配置效果最好，直接以 LoRA 微调 SSM 模块则效果不佳。SDLoRA 并非在 SSM 模块中简单增加 LoRA，而是对其中部分通道和状态进行选择性更新，同时保留投影矩阵上的 LoRA。作者报告，该组合优于标准 LoRA，但摘要未提供具体任务、数据集、指标或增益幅度。 需核对的关键细节包括：四种 PEFT 方法的完整设置、通道与状态的选择规则、可训练参数预算及其匹配方式，以及理论结论的适用条件。实验协议、消融及统计信息尚未验证，不能据此判断其在不同模型规模或任务上的普适性。 平台推测（待验证）：若已有预训练 EEG SSM 编码器，该机制可能用于缓解跨被试适配中训练样本有限、全量微调成本较高的问题。可复用的是投影矩阵 LoRA 和 SSM 维度选择性更新的思路；需改造的是 EEG 输入映射、任务输出头及维度选择策略。其原始论证背景为语言建模中的 SSM，摘要未说明依赖的预训练规模或下游监督条件；低信噪比、通道配置变化和个体差异可能使所选维度不稳定。一个可证伪的小实验是在固定预训练编码器和 Cross-subject 划分下，以匹配的可训练参数预算比较投影矩阵 LoRA 与 SDLoRA，并检查多次运行的稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过经验比较与理论分析区分 SSM 模块和线性投影矩阵的微调适用性，为复现 Mamba 类模型的 PEFT 提供了具体切入点，但实验协议与性能增益尚待全文核对。

8月20日周二
  1. OpenReview · State space models80

    谱状态空间模型

    基于摘要分析。本文研究具有长程依赖的序列预测，提出基于 spectral filtering algorithm（Hazan et al. 2017）学习线性动力系统的状态空间模型（SSM）新表述，并据此构建 spectral state space model。 核心机制是使用固定、无需学习的卷积滤波器进行序列建模；这不意味着模型全部参数均固定。作者报告，该方法具有可证明的鲁棒性，其性能不依赖底层动力系统的谱或问题维度，并在理论与实践中优于所比较的 SSM。上述保证的具体定义、假设、误差界及比较对象尚未验证，不能据摘要解读为对任意数据均无条件成立。 作者报告，在合成动力系统及不同模态的长程预测任务上的评估支持谱滤波处理极长记忆需求的优势。摘要未提供具体数据集、数据划分、指标、结果数值或基线配置；实验协议、消融及统计信息尚未验证，实现与复现条件也需查阅全文。 平台推测（待验证）：假设 EEG 任务确实依赖较长时间跨度的信息，固定时间卷积滤波器可能作为长程时序模块复用。原方法围绕线性动力系统与序列预测展开，对 EEG 的迁移需明确输入采样结构、预测监督及训练规模，并改造多通道输入与任务输出；固定滤波器不等于 EEG 频带滤波。低信噪比、跨被试非平稳性、通道差异与小数据可能削弱其收益。可检验的小实验是在预先固定的跨被试划分下，将该模块与一个 SSM 基线用于同一 EEG 预测任务，保持输入窗口和训练预算一致，比较不同窗口长度下的预测误差，以检验更长上下文是否带来稳定收益。该方案仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对谱滤波如何在固定卷积滤波器下提供长程记忆及鲁棒性保证，但其理论适用条件与 EEG 迁移效果尚未验证。

7月10日周三
  1. OpenReview · State space models78

    MambaByte：无分词的选择性状态空间模型

    基于摘要分析。MambaByte 研究直接从原始字节学习的 token-free 语言建模：去除子词分词的归纳偏置，却也使序列显著变长。其核心贡献是将 Mamba 状态空间模型（SSM）适配为在字节序列上自回归训练的语言模型，并设计结合 tokenized drafting 与 byte-level verification 的推测解码方案。 机制上，摘要将标准自回归 Transformer 随序列长度增长的有效内存需求，与 Mamba 的固定大小记忆状态和高效解码进行对比。MambaByte 利用后者应对字节级长序列；解码阶段由分词模型生成草稿，再进行字节级验证。具体状态更新、训练损失、草稿模型配置与验证规则尚未验证。 作者报告，在语言建模任务上，MambaByte 可与先进的子词 Transformer 竞争，部分比较中甚至表现更好，同时保留 token-free 模型对噪声的鲁棒性。作者报告，相对于标准 MambaByte 实现，其推测解码方案实现 2.6× 推理加速，解码效率接近子词 Mamba。摘要未提供数据集、模型规模、性能指标、硬件、批量大小及序列长度，因此这些效果与速度结论的适用范围，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，固定大小状态的序列处理机制可能缓解长时程 EEG 建模的计算与内存压力，但原任务依赖离散字节及自回归监督，并不等价于连续、多通道 EEG。可考察复用 SSM 序列模块，输入表示、通道融合与任务输出需改造；字节级验证方案不能直接照搬。低信噪比、跨被试差异、通道变化与小数据训练可能削弱收益。一个可证伪的小实验是在同一 EEG 数据划分与匹配训练预算下，对比 SSM 与 Transformer 随输入时长变化的任务性能、峰值内存及推理耗时；仅降低资源消耗不能证明解码效果改善。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其以固定大小状态处理长字节序列、并结合 tokenized drafting 与 byte-level verification 加速解码的机制，但语言建模效果与效率结论仍需核对全文实验协议。