模型架构预印本基于摘要分析
Multimodal Instruction Tuning with Hybrid State Space Models
基于摘要分析。本文研究多模态大语言模型(MLLMs)处理高分辨率图像与高帧率视频时,输入 token 增长带来的计算负担,提出混合 transformer-MAMBA 模型,以保留长上下文信息并提高推理效率。主要研究对象是视觉多模态理解,而非 EEG 或 BCI。
阅读价值 · 值得核对其混合 transformer-MAMBA 如何兼顾长上下文处理与推理效率,尤其是低分辨率或低帧率训练向高分辨率或高帧率推理的泛化,但效率对照与训练协议尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究多模态大语言模型(MLLMs)处理高分辨率图像与高帧率视频时,输入 token 增长带来的计算负担,提出混合 transformer-MAMBA 模型,以保留长上下文信息并提高推理效率。主要研究对象是视觉多模态理解,而非 EEG 或 BCI。
机制与对照:摘要将瓶颈归因于自注意力对序列长度的二次复杂度,并指出已有路线或采用长上下文预训练但未解决效率问题,或通过筛选图像 patch、视频帧等下采样方式缩短上下文,可能损失信息。本文以 transformer 与 MAMBA 的混合方式处理长序列,但摘要未交代两者的组合结构、视觉 token 编排、指令微调数据、损失及训练流程,不能据此确定具体实现。
结果:作者报告模型能够处理超过 100k tokens 的多模态输入,并在多个 benchmark 上优于现有模型;在高分辨率图像与高帧率视频推理场景中,相对所比较的当前模型,推理效率约提升 4 倍,且收益随图像分辨率或视频帧数增加而扩大。具体 benchmark、基线、硬件、精度设置以及“效率”对应的测量指标尚未验证。作者还声称其模型首次实现仅以低分辨率图像或低帧率视频训练,却可在高分辨率图像或高帧率视频上推理;这一优先性及对应评估协议需查正文核对。
平台推测(待验证):假设混合状态空间机制能在较低计算成本下保留长时序信息,可考虑用于长时间 EEG 与外部事件信息的联合建模。可复用的是长序列处理思路,需改造的是 EEG token 化、通道与时间编码及任务监督;视觉分辨率泛化不等于 EEG 跨采样率或跨被试泛化,低信噪比、通道差异和小数据训练均可能使迁移失败。一个可检验的小实验是在固定被试划分、训练数据和相近参数预算下,对比混合模型与 transformer 在不同 EEG 窗口长度下的任务指标、推理延迟和显存占用。已有 EEG 相关工作尚未检索确认;原论文实验协议、消融及统计信息尚未验证。
- 作者:
- Jianing Zhou; Han Li; Shuai Zhang; Ning Xie; Ruijie Wang; Xiaohan Nie; Sheng Liu; Suma Bhat; Lingyun Wang
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- cagNCwQEEN
学术质量 74 / 100 · 兴趣权重 3 · 机制对应,EEG/BCI 效果尚未验证
- openreview · 元数据快照 · 2025-02-05 · 预印本
学习与优化已撤回基于摘要分析
Reshaping Model Output Space Via Deep Kernel Density Estimation Networks
基于摘要分析。该研究针对传统分类模型只优化训练任务、较少约束输出空间概率分布的问题,提出 DeepKDE,将模型输出空间变换为更便于下游使用的目标分布,例如正态分布或 Gaussian Mixture Models,同时力求保持分类性能。主要研究对象是图像分类模型的输出空间,并非 EEG 或 BCI。
首次公开 2024-09-26 · 最新源版本 2024-11-27 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对传统分类模型只优化训练任务、较少约束输出空间概率分布的问题,提出 DeepKDE,将模型输出空间变换为更便于下游使用的目标分布,例如正态分布或 Gaussian Mixture Models,同时力求保持分类性能。主要研究对象是图像分类模型的输出空间,并非 EEG 或 BCI。
技术机制:摘要明确提出对输出空间进行分布变换,但未说明“输出”具体指 logits、概率还是其他表示,也未披露核密度估计的实现、目标分布匹配的损失形式,以及原模型与变换模块如何训练。需通过全文核对变换如何兼顾分布形状与类别判别信息,以及下游使用是否依赖标签、类别条件或特定样本规模。
评估与结果:作者报告,在 CIFAR-10 和 Fashion MNIST 上,对训练得到的 ResNet-18 与 vision transformers 应用 DeepKDE,成功变换了原模型的输出空间,并在 Accuracy 上优于原模型。摘要未提供具体数值、数据划分、分布匹配指标或不确定性信息;实验协议、消融及统计信息尚未验证,不能据此认定其达到 SOTA 或普遍改善下游任务。
平台推测(待验证):假设 DeepKDE 的输出分布变换能够保留类别信息,它可能为 EEG 分类模型的输出分布整形提供可复用模块,但摘要并未证明其改善校准或跨被试泛化。迁移时需核对目标分布与 EEG 类别结构的关系,并按训练、验证、测试划分拟合变换。低信噪比、被试差异、通道变化及小数据可能使密度估计不稳定,或使分布匹配掩盖判别信息。一个可检验的小实验是在固定的跨被试 EEG 分类协议下,对比原分类器与加入 DeepKDE 的版本,分别评估 Accuracy 和目标分布匹配程度,检验二者能否同时改善。已有 EEG 相关工作尚未检索确认。
- 作者:
- Lior Katz; Tomer Melamed
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- cSd8Eom8Zt
学术质量 69 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2024-11-27 · 已撤回
模型架构预印本基于摘要分析
Training Large Language Model to Reason in a Continuous Latent Space
基于摘要分析。本文研究大语言模型是否必须通过语言空间中的 chain-of-thought(CoT)完成复杂推理,提出 COCONUT(Chain of Continuous Thought),以连续隐藏状态代替显式词元承载中间推理。主要研究对象是大语言模型推理,而非 EEG 解码或 BCI。
阅读价值 · 值得阅读其将隐藏状态直接反馈为后续输入的连续潜在推理机制,并核对相对 CoT 的规划任务收益、推理成本与 BFS 解释的证据;其 EEG/BCI 适用性尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究大语言模型是否必须通过语言空间中的 chain-of-thought(CoT)完成复杂推理,提出 COCONUT(Chain of Continuous Thought),以连续隐藏状态代替显式词元承载中间推理。主要研究对象是大语言模型推理,而非 EEG 解码或 BCI。
核心机制是将大语言模型最后的隐藏状态视为推理状态,即“continuous thought”,不将其解码为词元,而是直接作为下一步输入嵌入反馈给模型。作者认为,语言中的部分词元主要服务于文本连贯性,而关键推理词元可能需要复杂规划,因此连续潜在空间有望减少对语言表达路径的依赖。摘要未提供训练目标、监督构造、连续步骤安排及语言输出与潜在推理的切换方式,这些实现条件尚未验证。
作者报告,在若干推理任务上 COCONUT 能增强模型表现,并在部分需要大量规划的逻辑推理任务中超过 CoT,同时在推理时生成更少词元;摘要未列出任务名称、数据划分、具体指标或分数。生成词元更少不等同于总计算量或延迟更低,需结合连续推理步数和实际运行成本核对。作者还报告,连续思维可编码多个潜在后续步骤,并将其解释为类似 breadth-first search(BFS)的推理模式,而非像 CoT 那样过早选择单一路径;这一解释的分析证据、实验协议、消融及统计信息尚未验证。
平台推测(待验证):若 EEG 下游任务涉及多步决策或多个候选解释,连续状态反馈可能成为可探索的推理模块,但原方法依赖大语言模型的隐藏表示与输入嵌入接口,不能直接视为 EEG 特征编码方案。迁移需要设计神经信号与模型嵌入的对接及任务监督,并核对低信噪比、跨被试差异、通道变化和小数据是否导致潜在状态不稳定。当前材料不足以制定可靠的 EEG 复现实验方案;已有 EEG 相关工作尚未检索确认。
- 作者:
- Shibo Hao; Sainbayar Sukhbaatar; DiJia Su; Xian Li; Zhiting Hu; Jason E Weston; Yuandong Tian
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- tG4SgayTtk
学术质量 80 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
泛化与迁移预印本基于摘要分析
FSL-MIC: An Attentional Few-Shot Learning Framework for EEG Motor Imagery Classification
基于摘要分析。该研究面向 EEG 运动想象(MI)分类中标注数据有限、跨任务与跨被试泛化困难的问题,提出 FSL-MIC 小样本学习框架,通过特征嵌入、注意力和关系建模三个模块,利用少量标注样本进行分类。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究面向 EEG 运动想象(MI)分类中标注数据有限、跨任务与跨被试泛化困难的问题,提出 FSL-MIC 小样本学习框架,通过特征嵌入、注意力和关系建模三个模块,利用少量标注样本进行分类。
机制上,特征嵌入模块提供信号表征;注意力模块识别与查询数据相关的关键特征;关系模块建模跨被试支持集与查询集之间的关系,并预测查询标签。摘要还提到研究 Relation Networks、迁移学习及数据增强对分类性能的作用,但具体网络结构、注意力计算方式、损失函数、训练流程及增强策略尚未验证。
作者报告,该框架在 BCI 2a、BCI 2b 以及作者的实验数据集上有效,并显著优于传统方法。摘要未给出具体指标、分数、对照方法或统计检验,因此不能量化提升或确认其显著性依据。“未见被试类别”的表述也需结合全文核对:目前无法确定训练与测试被试如何隔离、支持集如何采样,以及任务类别是否保持一致,不宜直接视为已验证的跨被试泛化结果。
复现时值得重点核对支持集与查询集的构造、每类标注样本数量、预处理与数据划分,以及注意力、关系模块、迁移学习和数据增强各自的贡献。被试规模、实验协议、消融及统计信息尚未验证。作者提出面向实时 BCI 的应用前景,但摘要未提供在线验证、推理时延或 ITR,不能据此认定其已具备实时系统性能。
- 作者:
- Elnaz Lashgari; Mohamamd Salehan; Ali Lashgari
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- PcE0yAGAGW
学术质量 64 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2025-02-05 · 预印本
表征与基础模型预印本基于摘要分析
PASRL: Stabilising Reinforcement Learning with Past Action-State Representation Learning
基于摘要分析。本文研究深度强化学习(DRL)连续控制中的动作不平滑与振荡问题,提出过去动作与状态表征学习(PASRL),以扩展强化学习算法并支持端到端控制训练,减少对奖励塑形、低通滤波及传统控制器等启发式组件的依赖。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究深度强化学习(DRL)连续控制中的动作不平滑与振荡问题,提出过去动作与状态表征学习(PASRL),以扩展强化学习算法并支持端到端控制训练,减少对奖励塑形、低通滤波及传统控制器等启发式组件的依赖。
作者将问题归因于所讨论的 actor-critic 方法依赖单个时间步的观测向量,未充分表示时序信息;PASRL 的核心思路是将过去动作与状态纳入表征学习。摘要未说明历史窗口、表征网络、损失函数,以及与 actor-critic 更新的具体耦合方式,不能据此判断其采用循环网络、注意力或特定辅助目标。
作者报告,在 MuJoCo benchmark 上,PASRL 能产生更平滑的动作,同时保留探索能力,并减少大量超参数调优的需求。摘要未提供具体任务、对照算法、动作平滑性指标、任务回报、随机种子或数值结果,因此这些结论的适用范围及平滑性与控制性能之间的权衡尚待核对;实验协议、消融及统计信息尚未验证。
平台推测(待验证):若 BCI 闭环控制中的解码输出被用作强化学习控制器的观测,过去动作与状态的表征可能有助于缓解控制指令抖动。可考虑复用历史信息表征思路,但需适配 EEG 观测的低信噪比、跨被试差异、通道变化和反馈延迟;过度平滑也可能削弱快速意图切换。一个可检验的小实验是在固定解码器与数据划分下,对照基础控制器、低通滤波控制器及加入 PASRL 的控制器,同时记录任务表现、动作变化幅度与响应延迟。该假设不代表已证实的 EEG/BCI 效果,已有 EEG 相关工作尚未检索确认。
- 作者:
- Tamas Endrei; Alicia Lozano-Diez; György Cserey
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- IcHHjgdb0o
学术质量 68 / 100 · 兴趣权重 3 · 机制对应,EEG/BCI 效果尚未验证
- openreview · 元数据快照 · 2025-02-05 · 预印本
模型架构预印本基于摘要分析
What Can We Learn from State Space Models for Machine Learning on Graphs?
基于摘要分析。本文研究如何将 State Space Models(SSMs)扩展到缺乏规范节点顺序的图结构数据,提出 Graph State Space Convolution(GSSC),旨在缓解 Message Passing Neural Networks(MPNNs)表达能力及长程依赖建模的限制,同时降低图 transformer 全局注意力的计算开销。
阅读价值 · 值得核对 GSSC 如何以置换等变聚合和可因式分解图核兼顾长程依赖与计算效率,以及其子结构计数表达能力证明;这些机制对 EEG 图建模的价值尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究如何将 State Space Models(SSMs)扩展到缺乏规范节点顺序的图结构数据,提出 Graph State Space Convolution(GSSC),旨在缓解 Message Passing Neural Networks(MPNNs)表达能力及长程依赖建模的限制,同时降低图 transformer 全局注意力的计算开销。
核心机制是结合全局置换等变集合聚合与可因式分解图核,并以节点间相对距离构造卷积核,从而避免依赖固定节点排序。作者称该设计保留了 SSMs 的高效计算、长程依赖建模及跨不同长度输入泛化的优势,并给出 GSSC 在图子结构计数方面比 MPNNs 表达能力更强的理论结果。具体核形式、距离定义、复杂度边界、训练目标及证明条件尚未验证。
作者报告,在 11 个真实世界常用基准数据集上,GSSC 在其中 6 个取得最佳结果,并称相较最先进基线的提升均具有显著性;在其余 5 个取得第二佳结果。摘要未提供数据集名称、任务指标、具体分数、划分方式及显著性检验细节,因此不能据此比较不同任务的提升幅度。实验协议、消融及统计信息尚未验证。摘要提供匿名代码入口,但代码完整性、运行环境与复现结果尚未核对。
平台推测(待验证):若将 EEG 通道或脑区建模为节点,并能定义有意义的相对距离,GSSC 的全局聚合可能用于检验局部消息传递难以捕捉的远距离关系。可复用部分是置换等变聚合和图核机制;需改造的是 EEG 节点特征、边与距离的定义,以及时序信息的接入方式。原方法依赖图结构与节点间距离,所需监督形式及训练规模尚未明确;EEG 低信噪比、功能连接估计不稳定、跨被试差异、通道配置变化和小样本均可能使该假设失效。一个可检验的小实验是在固定 EEG 任务、相同图构建及相同跨被试划分下,对比 GSSC 与 MPNN,并同时记录任务指标、计算成本和通道扰动下的性能变化。已有 EEG 相关工作尚未检索确认,原图基准结果不构成 BCI 有效性的证据。
- 作者:
- Yinan Huang; Siqi Miao; Pan Li
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- xAM9VaXZnY
学术质量 82 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
模型架构已撤回基于摘要分析
Integrating State Space Model and Transformer for Global-Local Processing in Super-Resolution Networks
基于摘要分析。本文研究单幅图像超分辨率(SISR),提出 SST(State Space Transformer),融合 Mamba 状态空间模型(SSM)模块与 Transformer 自注意力层,以兼顾图像的全局信息与局部依赖,并引入 register tokens 和 SE-Scaling 注意力机制改善性能与计算成本。
首次公开 2024-09-26 · 最新源版本 2024-11-12 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究单幅图像超分辨率(SISR),提出 SST(State Space Transformer),融合 Mamba 状态空间模型(SSM)模块与 Transformer 自注意力层,以兼顾图像的全局信息与局部依赖,并引入 register tokens 和 SE-Scaling 注意力机制改善性能与计算成本。
机制与贡献:摘要指出,CNN 对非局部信息的建模受限,Transformer 的全局注意力具有二次复杂度,而采用线性复杂度 SSM 的 Mamba 在二维图像局部依赖捕获上仍存在不足。SST 的设计意图是结合两类模块的优势,但摘要未说明具体连接方式、图像扫描或序列化策略,也未给出 register tokens 的作用细节及 SE-Scaling 的计算形式,不能据此推断网络结构或损失函数。
结果与证据边界:作者报告 SST 在经典与轻量级超分辨率任务上取得 state-of-the-art 结果,但摘要未提供数据集、放大倍率、训练与测试划分、对照方法、评估指标或具体数值。因此,目前无法核对性能优势的幅度及计算成本收益;实验协议、消融及统计信息尚未验证。复现还需确认完整结构、训练配置及实现是否公开。
平台推测(待验证):其全局—局部互补机制可能对应 EEG 中长时间依赖与局部瞬态模式的联合建模,但图像超分辨率有效不等于 BCI 有效。可考虑复用 SSM 与自注意力的组合思路,输入表示、局部邻域和通道关系则需针对 EEG 改造;低信噪比、跨被试差异、通道配置变化及小数据训练均可能使融合收益消失。一个可检验的小实验是在同一 EEG 任务和固定 Cross-subject 划分下,以一致训练预算比较纯 SSM、纯 Transformer 与融合结构,同时记录同一任务指标及计算成本,检验互补性是否成立。相关 EEG 工作尚未检索确认。
- 作者:
- Yukai Sun; Zheng Chen; Yulun Zhang; Jinjin Gu
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- 1YZw3RK2kg
学术质量 65 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2024-11-12 · 已撤回
在线与系统算法预印本基于摘要分析
RotPruner: Large Language Model Pruning in Rotated Space
基于摘要分析。该研究面向大语言模型的参数压缩,提出训练式剪枝框架 RotPruner:旋转线性层的权重矩阵与激活空间,再在旋转空间中应用既有剪枝方法,以减少压缩造成的性能损失。
阅读价值 · 值得关注其通过学习旋转空间改善既有剪枝方法的机制,但摘要不足以核对性能优势、训练成本及压缩后的实际部署收益。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究面向大语言模型的参数压缩,提出训练式剪枝框架 RotPruner:旋转线性层的权重矩阵与激活空间,再在旋转空间中应用既有剪枝方法,以减少压缩造成的性能损失。
作者认为,现有方法依赖启发式指标或逐层重建损失,可能未充分考虑剪枝对模型整体输出的影响;原始参数空间也未必最适合剪枝。RotPruner 的核心思路是先改变剪枝所处的空间,而非仅调整剪枝指标。摘要称其通过高效算法寻找有利于保留剪枝后性能的旋转,并可与其他剪枝方法结合,支持非结构化、半结构化和结构化剪枝。旋转的参数化方式、优化目标、训练数据需求及推理时如何处理旋转尚未验证。
作者报告在 OPT、LLaMA-2 和 LLaMA-3 上评估了语言建模与 zero-shot 任务,并称取得最先进性能;摘要未提供模型规模、剪枝比例、任务与数据集、对照基线或具体指标,因此无法核对优势幅度,也不能据此判断显存、计算量或实际延迟的改善。实验协议、消融及统计信息尚未验证。
平台推测(待验证):若 EEG 解码模型中的线性层存在对坐标表示敏感的剪枝误差,学习旋转空间可能成为压缩模块的候选方案,但大语言模型结果不等于 BCI 有效性。可复用的是旋转后剪枝的框架;需针对 EEG 任务改造优化目标与校准数据,并核对旋转开销。低信噪比、跨被试分布变化及小样本可能导致旋转过拟合。一个可检验的小实验是在固定跨被试划分与相同剪枝比例下,对比原空间剪枝和旋转后剪枝,同时测量解码指标及部署延迟。已有 EEG 相关工作尚未检索确认。
- 作者:
- Haoxian Chen; Limin Wang
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- wV9iMiyQcc
学术质量 76 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
多模态与生成预印本基于摘要分析
EEGTrans: Transformer-Driven Generative Models for EEG Synthesis
基于摘要分析。该研究针对 EEG 噪声及不同实验条件下数据集难以合并的问题,提出基于 Transformer 的生成模型 EEGTrans,通过量化自编码器将 EEG 压缩为离散编码,再以自回归方式生成序列,用于运动想象 BCI 的合成数据增强。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对 EEG 噪声及不同实验条件下数据集难以合并的问题,提出基于 Transformer 的生成模型 EEGTrans,通过量化自编码器将 EEG 压缩为离散编码,再以自回归方式生成序列,用于运动想象 BCI 的合成数据增强。
核心机制是将连续 EEG 的生成转化为离散编码序列的生成。摘要描述编码器接收 EEG 信号、解码器自回归生成离散编码,并将量化表示作为捕获时间特征及支持跨数据集泛化的关键环节。具体量化方法、编码粒度、Transformer 结构、训练目标,以及离散编码如何还原为连续 EEG,尚未验证;不能由摘要中对 LLM 的介绍推断 EEGTrans 的具体训练监督形式。
作者报告,在运动想象 BCI 应用中,合成 EEG 能捕获原始信号的时间模式,并保持其复杂度与功率谱特征;加入合成数据后,分类性能得到改善,且优于基于 Generative Adversarial Networks 的模型。摘要未提供数据集名称、被试数量、数据划分、分类指标或提升幅度,因此这些结论仍需结合完整实验协议核对,不能视为已验证的 Cross-subject 或 Cross-dataset 分类收益。
复现重点包括量化表示对运动想象判别信息的保留程度、生成样本与真实样本的混合方式,以及不同实验条件下的通道、采样率和预处理对齐方法。还需核对生成模型与分类器的数据划分关系、对照方法的训练设置,以及时间模式、复杂度和功率谱的具体评估定义。实验协议、消融及统计信息尚未验证;作者提出的跨数据集泛化潜力不等同于已确立的跨数据集泛化效果。
- 作者:
- Jia-He Lim; Po-Chih Kuo
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- ydw2l8zgUB
学术质量 66 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2025-02-05 · 预印本
多模态与生成预印本基于摘要分析
EEG-Language Pretraining for Highly Label-Efficient Pathology Detection
基于摘要分析。该研究面向临床 EEG 病理检测,探索临床报告与 EEG 联合预训练能否改善表征并降低下游标注需求。作者使用临床报告与 15000 份 EEG 训练 EEG-language models(ELMs),结合多模态对齐、时间序列裁剪与文本分段,并引入多实例学习以缓解无关 EEG 片段或文本片段造成的对齐问题。
阅读价值 · 值得阅读的具体原因是其将临床报告与 EEG 联合预训练,并以多实例学习处理片段间的不相关匹配,作者报告的少标注病理检测收益值得结合完整评估协议核对。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究面向临床 EEG 病理检测,探索临床报告与 EEG 联合预训练能否改善表征并降低下游标注需求。作者使用临床报告与 15000 份 EEG 训练 EEG-language models(ELMs),结合多模态对齐、时间序列裁剪与文本分段,并引入多实例学习以缓解无关 EEG 片段或文本片段造成的对齐问题。
核心机制是利用临床文本为 EEG 表征提供多模态信息。报告片段涵盖患者临床史、EEG 描述及医生解读;时间序列裁剪和文本分段支持片段级处理,多实例学习扩展则用于缓解片段之间的不相关匹配。具体编码器结构、对齐损失、多实例聚合方式及训练设置尚未验证。
作者报告,相比仅接触较窄范围临床文本的模型,使用更丰富报告片段的模型在根据报告检索 EEG 及根据 EEG 检索报告时具有更高 Accuracy。作者还报告,在少标注条件下,ELMs 在零样本分类和线性探测评估中可改善相对于 EEG-only 模型的病理检测表现,多实例学习进一步提升各项任务表现。摘要未提供具体分数、病理类别、数据划分或统计检验信息,因此这些结果不能用于定量比较不同方案。
该工作直接研究 EEG 与临床文本联合建模,但研究目标是临床病理检测,并非 BCI 控制或运动想象解码。复现与判断泛化能力时,需要核对 EEG 和报告的配对规则、被试及记录的划分单位、文本预处理、零样本分类定义、线性探测的标注预算与 EEG-only 对照设置。实验协议、消融及统计信息尚未验证;对其他 EEG 任务或 BCI 场景的有效性也尚未验证。
- 作者:
- Sam Gijsen; Kerstin Ritter
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- OfCtAsnxvT
学术质量 76 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2025-02-05 · 预印本
模型架构已撤回基于摘要分析
Attributed Graph Clustering via Generalized Quaternion Representation Learning
基于摘要分析。该研究针对属性图聚类中 Graph Convolutional Network 的过平滑问题,提出 Graph Clustering based on Generalized Quaternion representation learning(GCGQ):在图自编码器的编码器中引入四元数运算,并加入无需预设簇数 k 的广义图聚类目标,以学习适用于不同 k 的节点表示。
首次公开 2024-09-26 · 最新源版本 2024-12-17 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对属性图聚类中 Graph Convolutional Network 的过平滑问题,提出 Graph Clustering based on Generalized Quaternion representation learning(GCGQ):在图自编码器的编码器中引入四元数运算,并加入无需预设簇数 k 的广义图聚类目标,以学习适用于不同 k 的节点表示。
核心机制有两点:一是将天然对应四个特征分量的四元数运算推广到任意属性维度的图数据;二是将聚类目标作为损失项,使表示学习直接服务于聚类。作者旨在不增加网络深度和参数规模的情况下,获得包含全局分布信息的结构化表示。摘要未提供属性维度与四元数分量的具体映射、编码器结构、损失公式,以及下游聚类如何确定或使用 k,需查阅全文核对;训练目标不预设 k 不等于最终聚类完全无需选择簇数。
作者报告,GCGQ 学到的节点表示更具区分性,包含全局分布信息,并适用于不同 k 的下游聚类;作者还报告开展了显著性检验、消融研究和定性分析。摘要未给出数据集、划分、对照基线、评价指标或具体数值,实验协议、消融及统计信息尚未验证。材料提供了临时匿名代码地址,其可访问性、实现完整性与复现配置尚未验证。
平台推测(待验证):一个可检验的假设是,将 EEG 通道作为节点、通道特征作为属性后,四元数结构化运算可能为脑网络状态聚类提供可复用的表示模块,但这不是已证实的 EEG 或 BCI 效果。迁移需要改造构图规则与属性映射;低信噪比、跨被试差异、通道缺失及小样本可能使图结构不稳定或聚类失真。可在固定被试划分、构图方式及特征条件下,对比普通图自编码器与四元数版本的聚类表现,并测试不同 k 和通道扰动下的稳定性。相关 EEG 工作尚未检索确认。
- 作者:
- Junyang Chen; Yiqun Zhang; Mengke Li; Yang Lu; Yiu-ming Cheung
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- bKCc3USOyv
学术质量 74 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2024-12-17 · 已撤回
表征与基础模型预印本基于摘要分析
Learning Robust EEG Representations with a Large Spatiotemporal Transformer as a Foundation Model
基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题,提出时空 EEG Transformer(ST-EEGFormer),通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模,与跨 MI、P300、SSVEP 范式的适应性评估结合起来。
阅读价值 · 值得阅读其跨 MI、P300 与 SSVEP 范式的统一预训练设计,以及在未参与预训练的数据集上检验有限训练数据条件下泛化能力的实验;作者报告的优势仍需结合具体划分、微调预算与统计结果核对。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题,提出时空 EEG Transformer(ST-EEGFormer),通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模,与跨 MI、P300、SSVEP 范式的适应性评估结合起来。
方法将原始 EEG 切分为片段(patches),投影到嵌入空间,并加入空间与时间嵌入。作者以掩码自编码器(MAE)任务进行自监督预训练,预训练数据由六个公开运动想象(MI)数据集、一个公开 P300 数据集和一个公开稳态视觉诱发电位(SSVEP)数据集组成。摘要未提供片段长度、空间位置编码方式、掩码策略、重建目标细节或模型规模,尚不能确认其处理不同通道配置的具体实现条件。
评估包括预训练所涉及八个数据集上的下游分类微调,以及两个未参与预训练的公开数据集:癫痫发作分类数据集和在线 MI BCI 数据集。对照模型包括简单线性模型、EEGNet、监督学习模型 EEG Conformer,以及基础模型 BIOT 和 Large Brain Model(LaBraM)。作者报告,预训练后的 ST-EEGFormer 在八个预训练数据集的下游分类中均取得高于所比较模型的 Accuracy,并在新数据集、有限训练数据条件下表现出较强泛化能力;摘要未给出具体数值或有限数据的规模。
这些结果支持进一步核查统一时空表征与 MAE 预训练的适应性,但不能直接解释为已验证的跨被试、跨会话或无需微调的泛化。数据集名称、被试数、训练与测试划分、预训练与评估样本的关系、各基线微调预算、消融及统计信息尚未验证。作者还提供模型及支撑结果的特征可视化,其解释性结论需结合正文审阅;代码、权重与完整复现条件尚未验证。
- 作者:
- Liuyin Yang; Marc M. Van Hulle
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- V5Zn0VVvBE
学术质量 76 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2025-02-05 · 预印本
模型架构预印本基于摘要分析
Vision State Space Duality for Medical Image Segmentation: Enhancing Precision through Non-Causal Modeling
基于摘要分析。该研究针对医学图像分割中 CNN 长程建模受限、Transformer 计算复杂度较高的问题,将 Vision State Space Duality(VSSD)整合进 UNet-like 架构,提出 VSSD-UNet。其主要贡献是结合状态空间特征提取、保留空间信息的跳跃连接,以及解码器中的 VSSD 与 self-attention 混合结构。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对医学图像分割中 CNN 长程建模受限、Transformer 计算复杂度较高的问题,将 Vision State Space Duality(VSSD)整合进 UNet-like 架构,提出 VSSD-UNet。其主要贡献是结合状态空间特征提取、保留空间信息的跳跃连接,以及解码器中的 VSSD 与 self-attention 混合结构。
机制上,摘要将 State Space Duality(SSD)描述为 Mamba2 中用于改善性能与效率的 SSM 变体,并以 SSM 的线性计算复杂度作为方法动机。VSSD-UNet 使用一系列 VSSD blocks 提取特征,通过跳跃连接传递空间信息;作者认为混合解码器有助于兼顾局部细节与全局上下文。标题强调非因果建模,但摘要未说明其具体计算机制、扫描方式及与原始 SSD 的差异,不能据此推断实现细节;完整模型的计算与内存开销也尚未验证。
作者报告,在公开病灶分割数据集 ISIC2017 和 ISIC2018 上进行了对比与消融实验,并在相同超参数设置下优于若干 UNet 类型。摘要没有给出指标名称、分数、数据划分、基线清单或消融结果,实验协议、消融及统计信息尚未验证,暂不能判断优势幅度及其稳定性。摘要称代码将很快发布,不代表当前已可获取。
平台推测(待验证):非因果上下文聚合可能适用于离线 EEG 序列分析中的长程依赖瓶颈,但这只是机制层面的迁移假设,医学图像分割结果不构成 BCI 有效性的证据。VSSD blocks 可作为候选复用模块,二维空间组织、跳跃连接与分割解码器则需按 EEG 的时间—通道结构及任务监督改造。低信噪比、通道差异、跨被试分布变化和小数据训练可能削弱收益;非因果处理也不能直接用于要求严格因果性的在线解码。一个可检验的小实验是在固定跨被试划分与训练预算下,对比 VSSD 编码器、因果状态空间编码器及 self-attention 基线,使用一致的任务指标并记录计算开销。已有 EEG 相关工作尚未检索确认。
- 作者:
- Chunqing Ruan
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- GLuzjuG0lo
学术质量 61 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
泛化与迁移预印本基于摘要分析
Beatrix: Out-of-Distribution Generalization of Large EEG Model via Invariant Contrastive Fine-Tuning
基于摘要分析。该研究针对生理状态、个体差异及实验设置变化导致的 EEG 分布外(OoD)泛化困难,提出谱域 EEG 基础模型 Beatrix,并通过 Contrastive Invariant Fine-Tuning(CIFT,不变对比微调)增强域不变表征学习。
阅读价值 · 值得阅读的具体原因是 Beatrix 将解析小波谱分词、半因果生成式预训练与无需显式环境标签的 CIFT 相结合,针对 EEG 分布外泛化提出可核对的方法路径,但其性能优势与参数效率尚需全文实验验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对生理状态、个体差异及实验设置变化导致的 EEG 分布外(OoD)泛化困难,提出谱域 EEG 基础模型 Beatrix,并通过 Contrastive Invariant Fine-Tuning(CIFT,不变对比微调)增强域不变表征学习。
核心机制包括:使用基于解析小波的谱分词表示 EEG 的非平稳动态;在预训练阶段采用半因果生成式建模,学习支持时间域与频率域插值和外推的潜在表征;通过多视图 Transformer 整合谱域、时域及跨通道信息。微调阶段的 CIFT 不依赖显式环境标签,作者将其描述为参数高效的域不变学习方法。摘要未披露具体对比目标、样本配对方式、半因果约束及可训练参数范围,这些实现细节尚未验证。
作者报告,Beatrix 在癫痫发作检测与预测、听觉神经解码、运动想象及睡眠分期等任务中优于现有 EEG 模型,并声称取得领先的 OoD 泛化表现、降低微调成本。但摘要未提供数据集、被试规模、分布外测试的构造方式、数据划分、对照基线、指标或具体数值,因此尚不能判断这些结果对应跨被试、跨会话还是跨数据集泛化,也不能量化其性能与成本收益。
复现时需要核对谱分词和多视图输入的实现、预训练与下游测试数据的关系、CIFT 的损失与训练配置,以及各任务的 OoD 评估协议。尤其需要结合消融结果区分谱表示、生成式预训练和不变微调各自的贡献。实验协议、消融及统计信息尚未验证;目前的摘要支持理解其方法方向,不足以确认作者报告的优势能否迁移至具体 BCI 使用场景。
- 作者:
- Ruizhe Zheng; Daoze Zhang; Zhizhang Yuan; Junru Chen; Yang Yang; yuguo yu
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- IjBndR92Zy
学术质量 75 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2025-02-05 · 预印本
表征与基础模型预印本基于摘要分析
Unifying Disentangled Representation Learning with Compositional Bias
基于摘要分析。本文研究图像中的解耦表征学习:针对属性或对象设计的归纳偏置往往难以兼容其他变化因素,作者因此提出以潜变量组合性为共同目标、同时支持属性解耦与对象解耦的统一框架。
阅读价值 · 值得阅读其以潜变量组合性统一属性与对象解耦的机制,以及不同混合策略如何承载归纳偏置;摘要中的对照结果仍需结合完整实验协议核对,EEG/BCI 适用性尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究图像中的解耦表征学习:针对属性或对象设计的归纳偏置往往难以兼容其他变化因素,作者因此提出以潜变量组合性为共同目标、同时支持属性解耦与对象解耦的统一框架。
核心机制是随机混合来自不同图像的两个潜表示,并最大化所得组合图像的似然。框架通过调整潜表示的混合策略,分别捕获属性或对象因素;作者分析两类因素的组合结构,并将这些结构纳入相应策略。其统一性体现为共享组合性目标,而非取消针对不同因素的结构假设。摘要未交代组合图像的构造方式、混合算子、模型架构及完整训练目标,这些细节尚未验证。
作者报告,在属性解耦的 DCI、FactorVAE scores 评估中,方法优于或接近包括 DisDiff 在内的先进基线;在对象解耦的对象属性预测任务中,方法优于或接近 LSD、L2C。摘要未提供具体数值、数据集与划分,不能据此判断优势幅度或不同设置下的稳定性;实验协议、消融及统计信息尚未验证。复现时需核对两类混合策略的定义、组合样本监督来源,以及各基线的训练与评估条件。
平台推测(待验证):若 EEG 中任务相关活动与被试、会话等变化因素具有可组合结构,潜表示混合可能成为分离这些因素的一种归纳偏置。可复用的是组合性目标及因素特定的混合思路;需改造的是 EEG 编码、时序与通道结构约束,以及组合信号的构造或监督方式。原方法依赖图像因素的组合结构,其监督需求与数据规模尚未验证;EEG 的低信噪比、因素耦合、跨被试差异、通道不一致及小数据可能使混合表示失去生理合理性。一个可检验的小实验是在固定划分的多被试 EEG 数据上,对比无混合与受约束潜表示混合,检验任务信息保留和跨被试泛化是否同时改善。已有 EEG 相关工作尚未检索确认。
- 作者:
- Whie Jung; Dong Hoon Lee; Seunghoon Hong
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- 1UMxtR9Eb9
学术质量 77 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
学习与优化预印本基于摘要分析
Knowing What Not to Do: Leverage Language Model Insights for Action Space Pruning in Multi-agent Reinforcement Learning
基于摘要分析。本文研究多智能体强化学习(MARL)中随智能体数量增加而出现的动作空间组合爆炸问题,提出由大语言模型(LLMs)驱动的探索函数生成框架 Evolutionary action SPAce Reduction with Knowledge(eSpark),通过剪除冗余或无关的状态—动作对改善探索。
阅读价值 · 值得阅读的是 eSpark 将 LLM 生成的探索函数与策略反馈结合,用于削减 MARL 冗余状态—动作对;其跨任务收益由作者报告,但剪枝安全性、反馈机制及对照协议尚需全文核对。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-10
展开技术分析、元数据与版本记录
基于摘要分析。本文研究多智能体强化学习(MARL)中随智能体数量增加而出现的动作空间组合爆炸问题,提出由大语言模型(LLMs)驱动的探索函数生成框架 Evolutionary action SPAce Reduction with Knowledge(eSpark),通过剪除冗余或无关的状态—动作对改善探索。
核心机制是以描述整体任务与环境的基础提示为输入,零样本生成探索函数,再利用策略反馈自主改进。其方法动机是降低现有动作空间压缩技术对人工先验和特定问题结构的依赖。摘要未给出探索函数的表示形式、剪枝如何接入 MARL、策略反馈如何更新函数,以及错误剪枝的恢复机制,这些细节尚未验证。
作者报告,在库存管理和交通信号灯控制两类强化学习任务、共 15 个场景中,eSpark 相对其所结合的 MARL 算法在全部场景取得提升,两类任务的平均性能增益分别为 34.4% 和 9.9%;在超过 500 个智能体的可扩展性挑战中,作者报告提升 29.7%。这些数值是原文所述性能相对增益,不能解读为 Accuracy 或百分点变化;具体指标、基线配置、场景划分、随机种子、消融及统计信息尚未验证。摘要提供了代码地址,但实现可用性及复现条件尚未核对。
平台推测(待验证):该机制可能适用于具有明确状态、离散候选动作及可描述约束的 BCI 辅助交互策略,而不是直接用于 EEG 信号解码。可复用部分是探索函数生成与策略反馈循环,需改造的是状态描述、动作约束和奖励定义。假设低信噪比 EEG 引起的状态误判及跨被试差异会导致有效动作被误剪,小数据反馈也可能使剪枝偏差累积。一个可证伪的小实验是在固定 EEG 解码器和交互环境下,对比不剪枝、规则剪枝与 eSpark,核对任务回报及有效动作误剪率。已有 EEG 相关工作尚未检索确认;原文结果不构成 BCI 有效性的证据。
- 作者:
- Zhihao Liu; Xianliang Yang; Zichuan Liu; Yifan Xia; Wei Jiang; Yuanyu Zhang; Lijuan Li; Guoliang Fan; Lei Song; Jiang Bian
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- SWs8CIdQ33
学术质量 74 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
模型架构已撤回基于摘要分析
KAE: Kolmogorov-Arnold Auto-Encoder for Representation Learning
基于摘要分析。该研究提出 Kolmogorov-Arnold Auto-Encoder(KAE),将 Kolmogorov-Arnold Network(KAN)与自编码器结合,旨在改善潜在表示,并服务于检索、分类与去噪任务。
首次公开 2024-09-26 · 最新源版本 2025-01-01 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究提出 Kolmogorov-Arnold Auto-Encoder(KAE),将 Kolmogorov-Arnold Network(KAN)与自编码器结合,旨在改善潜在表示,并服务于检索、分类与去噪任务。
机制上,KAN 使用边上的可学习激活函数,而非传统 MLP 中节点上的固定激活函数;KAE 利用 KAN 层中的灵活多项式函数捕捉复杂模式与非线性关系。摘要未提供编码器与解码器的具体结构、多项式参数化、损失形式或训练设置,因此尚不能判断收益来自函数表达方式、模型容量还是优化差异。
作者报告,在基准数据集实验中,相较标准自编码器及其他 KAN 变体,KAE 改善了潜在表示质量,降低重建与去噪误差,并提高分类准确率、检索召回率及可解释性。摘要未列出数据集名称、划分协议、指标数值或可解释性评估方法;收益幅度、实验协议、消融及统计信息尚未验证。摘要提供代码入口,但代码可用性、依赖与复现配置尚未核验。
平台推测(待验证):其潜在迁移路径是以 KAN 的可学习非线性映射替代 EEG 自编码器中的部分 MLP 模块,检验是否有助于非线性特征压缩或去噪。这一假设依赖训练样本规模、输入表示及噪声结构;摘要未明确监督设置。自编码表示学习框架可作为复用起点,但 EEG 的时间与通道结构、归一化及噪声目标需要另行设计。低信噪比、小数据和跨被试分布差异可能导致灵活函数拟合噪声,重建改善也不必然提高任务判别能力。可开展一个小规模实验:在同一 EEG 数据划分下,以相同潜在维度和尽量匹配的参数预算比较 KAE 与 MLP 自编码器,同时评估重建误差、冻结表示后的分类表现及计算开销,并将被试内与跨被试结果分开报告。已有 EEG 相关工作尚未检索确认。
- 作者:
- Fangchen Yu; Ruilizhen Hu; Yidong LIN; Yuqi Ma; Zhenghao Huang; Wenye Li
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- K9xuqsaP0R
学术质量 58 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-01-01 · 已撤回
模型架构已撤回基于摘要分析
GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model
基于摘要分析。GroupMamba 研究面向计算机视觉的纯状态空间模型(SSM)在扩大模型规模时的训练不稳定与效率问题,提出 Modulated Group Mamba 层,并结合基于蒸馏的训练目标。原论文的主要研究对象是图像分类、目标检测及分割,而非 EEG 或 BCI。
首次公开 2024-09-26 · 最新源版本 2024-11-12 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。GroupMamba 研究面向计算机视觉的纯状态空间模型(SSM)在扩大模型规模时的训练不稳定与效率问题,提出 Modulated Group Mamba 层,并结合基于蒸馏的训练目标。原论文的主要研究对象是图像分类、目标检测及分割,而非 EEG 或 BCI。
核心机制是将输入通道分为四组,每组独立使用一个 Visual Single Selective Scanning(VSSS)块,分别沿四个空间方向之一扫描;再通过通道调制算子增强组间的跨通道信息交流。作者还提出蒸馏训练目标以稳定大模型训练,并报告其带来一致的性能收益。摘要未给出调制算子的具体形式、蒸馏教师与损失定义,相关实现尚未验证。
作者报告,模型在 ImageNet-1K 图像分类、MS-COCO 目标检测与实例分割、ADE20K 语义分割上优于现有方法。其中,23M 参数的 tiny 变体在 ImageNet-1K 上达到 83.3% 的分类 top-1 Accuracy;相对于作者所称同等模型规模下最佳的现有 Mamba 设计,摘要称其参数效率提升 26%。具体对照型号及效率计算口径尚未验证,不能直接将该数字解释为参数量减少 26%。完整实验协议、消融及统计信息尚未验证。摘要表示代码和模型将公开,不据此认定已发布。
平台推测(待验证):其分组扫描与跨通道调制可能适用于 EEG 时频图或具有明确电极拓扑的二维表示,但这是迁移假设。可复用的是分组处理与信息交互机制;需改造的是输入表示、扫描方向和视觉蒸馏教师。视觉空间邻接不必然对应 EEG 电极或频率关系,低信噪比、跨被试差异、通道缺失和小样本可能削弱收益。可在固定 Cross-subject 划分、相同输入与训练预算下,对比常规 Mamba 与分组扫描版本,并消融通道调制,同时报告分类表现、参数量与计算开销。已有 EEG 相关工作尚未检索确认。
- 作者:
- Abdelrahman M Shaker; Syed Talal Wasim; Salman Khan; Juergen Gall; Fahad Shahbaz Khan
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- RmmrHEH6Nx
学术质量 74 / 100 · 兴趣权重 3 · 机制对应,EEG/BCI 效果尚未验证
- openreview · 元数据快照 · 2024-11-12 · 已撤回
泛化与迁移预印本基于摘要分析
Symmetric Space Learning for Combinatorial Generalization
基于摘要分析。本文研究生成模型的组合泛化:模型能否预测训练中未见的语义变化组合。作者指出,仅从训练数据学习表示上的对称性,无法充分控制其向未见样本的推广,因此提出在潜在空间中施加对称空间结构,将对称性与流形的语义结构联系起来。
阅读价值 · 值得阅读其如何以齐性空间、微分同胚映射与等距性质约束未见样本上的对称性推广,但组合泛化收益的实验协议和适用于 EEG 的机制前提尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-10
展开技术分析、元数据与版本记录
基于摘要分析。本文研究生成模型的组合泛化:模型能否预测训练中未见的语义变化组合。作者指出,仅从训练数据学习表示上的对称性,无法充分控制其向未见样本的推广,因此提出在潜在空间中施加对称空间结构,将对称性与流形的语义结构联系起来。
理论上,作者识别了一项限制对称性泛化的等变性约束,并报告证明了三个性质:将对称空间的齐性空间性质施加于数据流形可消除该约束;在数据到潜在空间的映射为微分同胚时,齐性的潜在流形可诱导数据流形的相应结构;对称空间的等距性质可将一点附近的局部对称性推广到空间中的另一点。这些结论依赖明确的几何与映射条件,不能直接理解为任意生成模型都具备未见组合泛化能力。
实现方面,作者提出将从对称空间采样的点与显式训练的测地线对齐。作者报告在一个 toy dataset 上进行了详细分析,并在常用基准上改善了组合泛化;摘要未提供基准名称、数据划分、对照方法或量化指标。具体模型、损失形式、测地线训练方式、实验协议、消融及统计信息尚未验证。作者声称这是首次有效地将对称性与流形对齐以实现组合泛化,该优先性尚未独立核对。
平台推测(待验证):若 EEG 任务具有可定义、保持任务语义的变化组合,该几何约束可能为未见组合下的表示学习提供思路。可考虑复用潜在空间约束与测地线对齐机制,但需要重新定义 EEG 的有效变换及其监督方式,并验证数据与潜在表示是否满足相关几何前提;低信噪比、跨被试差异、通道变化和小样本均可能使这些假设失效。一个可证伪的小实验是在预先核验标签保持性的两类 EEG 变换下,留出某种变换组合作为测试集,比较相同生成模型加入与不加入该约束的表现。此建议不是已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。
- 作者:
- Jaehyoung Jeong; Hee-Jun Jung; Kangil Kim
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- l4qMrcMp2i
学术质量 77 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
表征与基础模型已撤回基于摘要分析
Unified Deep Discrete Representation Learning Framework
基于摘要分析。本文研究通用深度离散表征学习,针对现有框架通常采用扁平潜在表示、未充分利用离散潜在空间层级结构的问题,提出层级离散表征学习框架,并提供样本复杂度的理论分析及码本利用率与任务表现关系的研究。
首次公开 2024-09-26 · 最新源版本 2024-10-07 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究通用深度离散表征学习,针对现有框架通常采用扁平潜在表示、未充分利用离散潜在空间层级结构的问题,提出层级离散表征学习框架,并提供样本复杂度的理论分析及码本利用率与任务表现关系的研究。
核心思路是利用离散潜在空间中的层级结构,以获得更丰富、更具表达力的表示。作者报告该框架可灵活推广至多种任务,并在不同应用中表现有效,但摘要未给出具体任务、数据集、对照方法或结果指标,因此无法判断收益大小及其适用边界。层级结构的构建方式、离散编码与码本更新机制、损失函数、训练和推理流程,以及理论结论所依赖的假设均尚未验证;实验协议、消融及统计信息也尚未验证。
平台推测(待验证):若层级离散编码能够保留不同时间尺度的有效信息,则可能为 EEG 表征中的多尺度结构提供一种建模思路;这只是机制对应假设,不是已证实的 BCI 效果。候选可复用部分是层级离散潜在表示与码本利用率分析,需改造的部分包括 EEG 时序编码及通道组织方式。低信噪比、跨被试差异和小数据可能导致码本主要编码噪声或被试身份,也可能使层级码本利用不足。一个可检验的小实验是在固定 EEG 任务、相同编码器与训练预算下,对比扁平与层级离散表示,分别评估被试内和跨被试表现,并检查码本利用率是否与任务指标一致变化。该实验仅用于检验迁移假设;已有 EEG 相关工作尚未检索确认。
- 作者:
- Long Tung Vuong; Bang Giang Le; Vy Vo; Anh Tuan Bui; Viet Cuong Ta; Thanh-Toan Do; Dinh Phung; Trung Le
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- oioWoT0OSO
学术质量 68 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2024-10-07 · 已撤回
模型架构预印本基于摘要分析
CMamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting
基于摘要分析。本文研究多变量时间序列预测,针对原始 Mamba 对跨通道依赖处理不足的问题提出 CMamba,将时间依赖建模、跨通道相关性建模与缓解过拟合的机制结合起来;研究对象并非 EEG 或 BCI。
阅读价值 · 值得核对 CMamba 如何通过数据依赖的跨通道建模与 Channel Mixup 改善多变量预测,但摘要尚不足以验证其相对基线的收益或 EEG 适用性。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究多变量时间序列预测,针对原始 Mamba 对跨通道依赖处理不足的问题提出 CMamba,将时间依赖建模、跨通道相关性建模与缓解过拟合的机制结合起来;研究对象并非 EEG 或 BCI。
核心机制包括:改进的 Mamba 模块 M-Mamba,用于时间依赖建模;全局数据依赖 MLP,即 GDD-MLP,用于捕获跨通道依赖;以及用于缓解过拟合的 Channel Mixup。作者将普通 MLP 在相关预测任务中的性能下降归因于缺乏数据依赖性与全局感受野,并以此解释其泛化能力不足。该解释属于作者提出的机制判断,摘要未提供足够的消融证据供独立核对,也未披露各模块的具体结构、损失函数或混合方式。
作者报告,在七个真实世界数据集上的实验显示 CMamba 能改善预测性能。摘要未给出数据集名称、预测长度、数据划分、对照基线、指标及具体数值,因此不能量化收益或判断不同协议下的优势;实验协议、消融及统计信息尚未验证。复现还需核对实现细节、训练配置及代码可用性。
平台推测(待验证):其“时间依赖与数据依赖的跨通道建模相结合”的思路,可能用于 EEG 多通道信号预测,但不等于能提升 BCI 解码。迁移依赖同步多通道序列及预测目标,可考察复用 M-Mamba 与 GDD-MLP,并需改造通道布局处理和 Channel Mixup,以避免破坏电极空间关系。低信噪比、伪迹、跨被试差异、通道缺失及小样本可能使模型学到不稳定相关性。一个可检验的小实验是在固定 EEG 通道配置和相同数据划分下,对比原始 Mamba、加入 GDD-MLP、再加入 Channel Mixup 的多步预测表现,并分别报告被试内与跨被试误差;已有 EEG 相关工作尚未检索确认。
- 作者:
- Chaolv Zeng; Zhanyu Liu; Guanjie Zheng; Linghe Kong
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- OclHGmt2ZM
学术质量 72 / 100 · 兴趣权重 3 · 机制对应,EEG/BCI 效果尚未验证
- openreview · 元数据快照 · 2025-02-05 · 预印本
表征与基础模型预印本基于摘要分析
Contrastive Learning Via Equivariant Representation
基于摘要分析。本文研究自然图像的对比学习,针对不变对比学习(Invariant Contrastive Learning,ICL)未在潜在空间中表征畸变或数据增强相关信息的问题,提出 CLeVER(Contrastive Learning Via Equivariant Representation),旨在利用等变信息改善训练效率与下游任务鲁棒性。
阅读价值 · 值得核对 CLeVER 如何保留增强相关的等变信息,以及其在复杂增强和小规模骨干模型下的效率与鲁棒性收益;摘要尚不足以判断这些收益能否迁移至 EEG。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文研究自然图像的对比学习,针对不变对比学习(Invariant Contrastive Learning,ICL)未在潜在空间中表征畸变或数据增强相关信息的问题,提出 CLeVER(Contrastive Learning Via Equivariant Representation),旨在利用等变信息改善训练效率与下游任务鲁棒性。
核心思路是不仅学习对增强保持不变的表征,也提取并利用与增强变化相关的等变信息。作者称,该框架可兼容任意复杂度的增强策略及多种主流对比学习骨干模型。摘要未提供等变信息的编码方式、损失形式、训练流程,以及不变表征与等变表征如何结合,具体实现尚未验证。
在自然图像实验中,作者报告 CLeVER 提升了基线模型的训练效率和下游任务鲁棒性,并达到 SOTA;作者还报告,所提取的等变信息可在实验任务中同时增强旋转不变性与旋转敏感性,并改善复杂增强下的稳定性,尤其适用于小规模骨干模型。摘要未说明上述性质分别对应哪些任务或评估条件,也未给出数据集、划分、基线、指标及数值,实验协议、消融及统计信息尚未验证。
平台推测(待验证):其可供 EEG 自监督学习参考的机制,是区分需要忽略的增强扰动与需要保留的变化信息,而非直接复用自然图像旋转增强。迁移假设依赖于 EEG 增强具有可记录、可解释且不破坏任务语义的变换信息;可考虑复用等变信息学习思路,但需改造信号编码器、增强方式及变换目标。低信噪比、跨被试差异、通道布局变化和小数据条件可能使模型学习到伪迹或个体特征。一个可检验的小实验是在固定 Cross-subject 划分、骨干与训练预算下,对比普通不变对比学习和加入等变信息学习的实现,同时检查任务性能与变换信息可解码性。该实验须待全文明确机制后设计,已有 EEG 相关工作尚未检索确认。
- 作者:
- Sifan Song; Jinfeng Wang; Qiaochu Zhao; Xiang Li; Dufan Wu; Angelos Stefanidis; Jionglong Su; S Kevin Zhou; Quanzheng Li
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- E4NShSRRDP
学术质量 71 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2025-02-05 · 预印本
学习与优化预印本基于摘要分析
Understanding Self-supervised Learning as an Approximation of Supervised Learning
基于摘要分析。本文针对自监督表征学习主要依靠经验组合技术、缺乏统一理论解释的问题,将自监督学习形式化为监督学习的近似,并从该问题推导出与现有对比损失密切相关的损失,为理解这些损失提供理论基础。
阅读价值 · 值得阅读其从监督学习近似推导对比损失的理论路径,尤其是原型表征偏差与正负样本作用力平衡的解释;这些解释能否指导 EEG 自监督学习尚未验证。
首次公开 2024-09-26 · 最新源版本 2025-02-05 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。本文针对自监督表征学习主要依靠经验组合技术、缺乏统一理论解释的问题,将自监督学习形式化为监督学习的近似,并从该问题推导出与现有对比损失密切相关的损失,为理解这些损失提供理论基础。
核心机制:推导自然引入 prototype representation bias(原型表征偏差)与 balanced contrastive loss(平衡对比损失)两个概念。作者重点讨论框架各组成部分与 SimCLR 实践的对应关系,并研究正样本对之间的吸引力与负样本对之间的排斥力如何平衡。摘要未给出近似成立的具体假设、损失公式及平衡方式,因此尚不能判断理论适用边界或与既有损失的精确差异。
证据与复现:作者称定理证明位于附录,复现实验结果的代码位于补充材料;当前未取得全文或核验这些材料。摘要未提供数据集、划分、对照基线和量化结果,实验协议、消融及统计信息尚未验证。
平台推测(待验证):假设该理论中的正负样本关系能够对应 EEG 的任务相关语义,吸引力与排斥力的平衡可能有助于分析 EEG 对比学习中增强视图不一致、潜在同类样本被当作负样本的问题。可复用的是损失分析与平衡思路,需改造的是 EEG 增强方式及样本配对规则;其所需监督信息、数据规模与理论假设仍须核对全文。低信噪比、被试差异、通道配置变化和小数据条件可能使配对主要反映噪声或被试身份,而非任务信息。一个可检验的小实验是在固定编码器、增强和数据划分的条件下,对比原始 SimCLR 损失与论文的平衡方案,分别评估被试内与跨被试表征效果;具体实现须以全文为准。已有 EEG 相关工作尚未检索确认。
- 作者:
- Byeongchan Lee
- 机构:
- 尚未验证
- 发表平台:
- Submitted to ICLR 2025
- 标识:
- 54jmXCHrTY
学术质量 76 / 100 · 兴趣权重 3 · 机制对应,EEG/BCI 效果尚未验证
- openreview · 元数据快照 · 2025-02-05 · 预印本
多模态与生成已撤回基于摘要分析
MAD: Multi-Alignment MEG-to-Text Decoding
基于摘要分析。该研究关注从非侵入式 MEG 信号生成文本,提出名为 MAD 的端到端多重对齐框架,旨在改善对完全未见文本的解码能力。主要研究对象是 MEG,而非 EEG;摘要将未见文本泛化与其他模态信息的整合列为现有研究需要进一步探索的问题。
首次公开 2024-09-26 · 最新源版本 2024-12-02 · 首次发现 2026-10-10
展开技术分析、元数据与版本记录
基于摘要分析。该研究关注从非侵入式 MEG 信号生成文本,提出名为 MAD 的端到端多重对齐框架,旨在改善对完全未见文本的解码能力。主要研究对象是 MEG,而非 EEG;摘要将未见文本泛化与其他模态信息的整合列为现有研究需要进一步探索的问题。
方法方面,作者将 MEG 到文本转换描述为采用多重对齐的语音解码框架,并声称首次以此类端到端框架直接从 MEG 生成完全未见文本。摘要未说明具体对齐对象、辅助模态、损失函数、训练流程或推理阶段输入,因此尚不能判断各类对齐如何约束神经信号表征与语言生成,也不能确认其他模态是否仅用于训练。
结果方面,作者报告在 GWilliams 数据集上,针对摘要所述未见文本生成任务,BLEU-1 从基线的 5.49 提升至 MAD 的 10.44。该结果属于文本生成指标,不应解释为分类 Accuracy 或整体语义理解能力。基线身份、未见文本的定义、训练与测试划分,以及是否涉及跨被试或跨会话评估均尚未验证,因而目前不能确定提升适用的泛化范围。
作者认为该提升显示了面向实际应用的潜力,但摘要结果尚不足以确认真实使用条件下的有效性。阅读全文时应重点核对多重对齐的具体实现、文本与神经信号的同步方式、辅助信息的使用边界,以及未见文本评估协议。实验协议、消融及统计信息尚未验证;代码、预处理与复现条件亦未由所给材料确认。摘要未提供可具体评估的 EEG 迁移机制,因此不将 MEG 结果外推为已证实的 EEG 解码效果。
- 作者:
- Yiqian Yang; Hyejeong Jo; Yiqun Duan; Qiang Zhang; JINNI ZHOU; Xuming Hu; Won Hee Lee; Renjing Xu; Hui Xiong
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- dM4yZd6ic9
学术质量 68 / 100 · 兴趣权重 3 · 按原研究证据理解,不推断适用范围
- openreview · 元数据快照 · 2024-12-02 · 已撤回
模型架构已撤回基于摘要分析
HeteGraph-Mamba: Heterogeneous Graph Learning via Selective State Space Model
基于摘要分析。该研究针对异构图中不同类型节点的长程依赖建模,以及选择性状态空间模型(SSSMs)与异构图数据的适配问题,提出 heterogeneous graph mamba network(HGMN)。核心贡献是两级 tokenization:先捕获同一节点类型内部的长程依赖,再捕获所有节点类型之间的依赖。
首次公开 2024-09-26 · 最新源版本 2024-11-20 · 首次发现 2026-10-09
展开技术分析、元数据与版本记录
基于摘要分析。该研究针对异构图中不同类型节点的长程依赖建模,以及选择性状态空间模型(SSSMs)与异构图数据的适配问题,提出 heterogeneous graph mamba network(HGMN)。核心贡献是两级 tokenization:先捕获同一节点类型内部的长程依赖,再捕获所有节点类型之间的依赖。
机制与创新:该方法将异构图学习与选择性状态空间模型结合,以分层处理类型内和跨类型关系。作者将其定位为利用 SSSMs 进行异构图学习的首次探索,但该优先性声明尚未独立核对。摘要未说明图节点的排序、拓扑如何进入 token 表示、类型与边信息的编码方式,以及训练目标和推理流程,这些实现细节尚未验证。
结果与证据:作者报告,在异构图基准上与 19 种被其称为 state-of-the-art 的方法比较,HGMN 在准确性和效率方面均优于对照。摘要未提供基准名称、任务、数据划分、具体指标数值或效率测量条件,因此不能据此判断优势幅度或不同协议下的可比性。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未确认。
平台推测(待验证):若 EEG 任务能够构造具有明确节点类型和关系的异构图,两级 tokenization 可能用于区分类型内关联与跨类型依赖,从而探索长程关系建模;这不等于已证实的 BCI 效果。可尝试复用类型内、跨类型的组织机制,但需改造 EEG 特征表示、图构造与节点排序,并核对原方法对监督信息和数据规模的依赖。低信噪比、跨被试差异、通道配置变化及小样本条件可能使图关系不稳定。一个可证伪的小实验是在固定 Cross-subject 划分与相同 EEG 特征、图构造下,比较两级 tokenization、仅类型内建模和常规异构图基线,同时记录任务指标、运行时间与显存占用。已有 EEG 相关工作尚未检索确认。
- 作者:
- Zhenyu Pan; Yoonsung Jeong; Xiaoda Liu; Han Liu
- 机构:
- 尚未验证
- 发表平台:
- ICLR 2025 Conference Withdrawn Submission
- 标识:
- mn61GWpEiK
学术质量 71 / 100 · 兴趣权重 3 · 前沿观察,迁移价值待评估
- openreview · 元数据快照 · 2024-11-20 · 已撤回