跳到正文

算法、任务与模态

消融分析 最新动态

消融分析 研究索引；按可核对的标签归档，不以热度评价质量。

64 条精选近 30 天 58 条共收录 75 条

更新

精选归档 · 第 4 页

8月30日周日第 61–64 条
  1. OpenReview · EEG75

    DLink：从 EEG 基础模型中蒸馏逐层与主导知识

    基于摘要分析。该研究针对 EEG 基础模型（EFMs）推理开销较大、固定教师表征蒸馏可能未充分利用中间层任务信息的问题，提出 DLink（Distilling Layer-wise and Dominant Knowledge），通过输入条件化层路由与频谱引导蒸馏，将教师知识迁移到紧凑学生模型。 核心机制：路由器针对每个输入聚合教师模型不同层的表征，而非仅采用固定层作为蒸馏目标；随后对齐表征的幅度谱与相位谱，以缓解压缩引起的频谱失真。学生采用 project-then-compress 设计来吸收聚合后的教师知识。教师与路由器仅在训练阶段使用，因此无需作为学生推理时的组件。具体投影与压缩结构、频谱计算方式、对齐损失及其权重尚未验证。 作者报告，经验分析显示轻量模型虽具有竞争力，但表现高度依赖任务；具有任务判别力的信息分布在 EFM 的中间层，而非集中于最终层。这构成了动态层聚合的动机，但其适用范围仍需结合正文中的教师模型、任务与分析方法核对。 作者报告，在六个 EEG 基准上的实验中，DLink 改善了紧凑学生模型的表现，并保持轻量推理；进一步分析支持学习式层聚合与频谱蒸馏。摘要未提供基准名称、任务、被试数量、被试内或跨被试等评估协议、具体指标、对照基线及计算成本，无法据此量化收益或比较不同协议的结果。实验协议、消融及统计信息尚未验证。 复现时需核对教师与学生配置、路由器训练方式、project-then-compress 的实现、频谱对齐所在的表征空间，以及固定层蒸馏和其他压缩方法的对照设置。轻量推理不等于低训练成本，实际部署价值还需由学生参数量、计算量、延迟和性能共同验证；代码与权重可用性尚未验证。

    阅读价值：值得核对其输入条件化教师层聚合与幅度、相位频谱蒸馏能否稳定提升紧凑 EEG 模型，尤其是相对固定层蒸馏的收益及训练成本；摘要尚不足以验证具体效果。

1月26日周一
  1. OpenReview · EEG78

    CodeBrain：结合解耦分词器与多尺度架构的 EEG 基础模型

    基于摘要分析。CodeBrain 针对 EEG 基础模型表征辨别力与临床可解释性不足、全局依赖捕获效率不高以及局部神经事件建模不足的问题，提出两阶段方法，将时间与频率解耦的离散分词器与多尺度 EEGSSM 架构结合。 第一阶段采用 TFDual-Tokenizer，将异质的时间与频率 EEG 信号解耦为离散 token。作者称该设计使表征空间实现二次扩展，以增强辨别能力，并通过提示表征与神经事件、频谱节律之间的潜在联系，提供领域相关的表征级可解释性。摘要未说明 token 的具体构造、码本配置、训练目标及二次扩展的定义；这些潜在联系也不能直接等同于已验证的临床解释。 第二阶段的 EEGSSM 将结构化全局卷积与滑动窗口注意力结合，以同时捕获稀疏长程依赖和局部依赖。作者以大脑小世界拓扑作为该设计的动机，但摘要不足以确认其如何映射到 EEG 通道或时间结构，也不能据此认定模型还原了真实脑网络。 作者报告，CodeBrain 在其所称的最大公开 EEG 语料上预训练，并在分布偏移条件下、覆盖八项下游任务和十个数据集的评估中表现出较强泛化能力；同时报告开展了全面消融、scaling-law 分析和可解释性评估。摘要未给出任务与数据集名称、被试数量、被试内／跨被试／跨会话／跨数据集划分、对照基线或具体指标，因此无法量化增益或比较不同协议的结果。实验协议、消融及统计信息尚未验证。 作者提供了代码与预训练权重链接，为复现提供了入口，但其可访问性与实现细节尚未核验。复现时应重点核对预训练和下游数据的划分关系、通道与采样率适配、分词器和 EEGSSM 各自的贡献，以及可解释性证据是否超出表征与节律的关联展示。

    阅读价值：值得核对其时间与频率解耦的离散表征及全局—局部依赖建模是否分别改善分布偏移下的 EEG 泛化，作者报告提供消融与可解释性评估，但具体协议和证据强度尚未验证。

1月1日周一
  1. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。

1月1日周日
  1. OpenReview · EEG71

    EEG 运动想象解码：基于通道注意力机制的比较分析框架

    基于摘要分析。该研究面向 BCI 中的 EEG 运动想象解码，构建可统一集成多种通道注意力机制的轻量架构，以比较这些机制对解码性能及计算开销的影响。核心贡献是提供共同的比较框架，而非仅在复杂架构中评估一种注意力机制。 作者将通道注意力视为传统运动想象空间滤波方法的一种演进，并强调基线结构简洁、不同注意力模块易于接入。该设计有助于在相同框架条件下考察模块收益；但摘要未说明具体注意力方法、作用于原始 EEG 通道还是中间特征通道，以及网络结构、损失与训练设置，这些细节尚未验证。 作者报告在四个数据集上开展实验，框架表现出较好的有效性与跨数据集适用性，通道注意力能够在维持较小内存占用和较低计算复杂度的同时改善性能。摘要未提供数据集名称、被试数量、指标数值、计算开销测量或数据划分，因此不能量化增益，也不能把多个数据集上的有效性直接视为 Cross-dataset 迁移验证。 复现时值得核对统一基线下各注意力模块的训练与调参条件、被试内或跨被试等评估协议，以及性能增益与参数量、内存和计算成本之间的关系。实验协议、消融及统计信息尚未验证；代码与复现资源也需由全文或来源记录确认。

    阅读价值：值得阅读的具体原因是将多种通道注意力机制置于统一轻量基线中比较，有助于核对注意力本身的收益与计算开销，而非将复杂架构的整体增益归因于单一模块。