跳到正文

算法、任务与模态

MoE 最新动态

MoE 研究索引；按可核对的标签归档，不以热度评价质量。

85 条精选近 30 天 50 条共收录 97 条

更新

精选归档 · 第 5 页

5月28日周二第 81–85 条
  1. OpenReview · Representation learning75

    以多样性实现统一：改进多模态 VAEs 的表征学习

    基于摘要分析。该研究针对多模态 VAEs 中共享表征的硬约束可能限制模态信息保留的问题，提出 mixture-of-experts prior，以软约束引导各模态的潜在表征靠近共享的 aggregate posterior。核心贡献是用较柔性的跨模态对齐替代编码器输出、解码器输入或二者的强制共享。 机制上，作者认为现有共享结构对模型施加了硬约束，而所提先验可在形成共同表征的同时，更好地保留各模态原始特征中的信息。摘要未给出先验的具体参数化、aggregate posterior 的构造方式、损失形式及训练与推理流程，不能据此判断其实现复杂度或与既有方法的结构差异。 作者报告，在多个基准数据集及一个具有挑战性的真实神经科学数据集上，相比现有方法，所学潜在表征和缺失模态补全均有改善。摘要未提供数据集名称、神经信号类型、被试数、划分协议、对照方法或具体指标；实验协议、消融及统计信息尚未验证，也无法判断表征改善对应何种下游任务。 平台推测（待验证）：假设用于 EEG 与其他同步模态的联合建模，软共享机制可能缓解不同模态信息被强制压入共同表征的瓶颈。其依赖模态间存在可学习的共享结构，配对数据与监督条件仍需核对；可考虑复用先验与软对齐思想，但需改造 EEG 编解码模块及缺失模态处理流程。低信噪比、跨被试差异、通道变化和小数据条件可能使共享表征受较强模态主导。一个可检验的小实验是在同一配对数据与固定跨被试划分下，对比硬共享和软约束模型，并在预先规定的模态缺失条件下评估补全及下游任务表现。以上不是已验证的 EEG/BCI 结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其 mixture-of-experts prior 如何在跨模态共享与模态特有信息保留之间实现软约束，以及缺失模态补全的收益是否在不同缺失条件下稳定；摘要中的神经科学实验尚不足以确认 EEG/BCI 适用性。

3月4日周一
  1. OpenReview · State space models74

    BlackMamba：面向状态空间模型的混合专家架构

    基于摘要分析。本文主要研究大规模语言建模与长序列处理中的计算效率问题，提出 BlackMamba，将 Mamba 状态空间模型（SSM）与混合专家（MoE）结合，以兼顾序列长度上的线性复杂度与较低的训练、推理计算成本。 核心机制是组合两类架构：SSM 提供随序列长度线性增长的时间与内存复杂度，MoE 以更大的模型内存占用换取计算效率。摘要未披露专家路由、专家数量、模块布局、损失函数或训练细节，不能据此确定具体实现。该研究依赖大规模 token 序列训练；作者报告在自定义数据集的 300B tokens 上完整训练了两种模型规格，原文记为 340M/1.5B 与 630M/2.8B，但摘要未解释各组数值的参数口径。 在摘要所述评估中，作者报告 BlackMamba 的表现可与 Mamba 和 transformer 基线竞争，并在训练与推理 FLOPs 上更有优势；具体任务、数据划分、基线配置及量化指标尚未验证，不能将 FLOPs 优势直接等同于实际延迟优势。作者报告已开源模型权重、检查点与推理代码，这为核对实现及效率结论提供了条件。实验协议、消融及统计信息尚未验证，复现仍需确认数据可获取性、训练配置与硬件条件。 平台推测（待验证）：若线性序列建模与条件专家计算能够迁移，可能有助于降低长时段 EEG 建模的计算成本，但原领域有效不等于 BCI 有效。可考虑复用 SSM 与 MoE 组合机制，改造连续多通道信号输入和任务输出；低信噪比、跨被试差异、通道变化及小数据规模可能使路由不稳定或专家过拟合。一个可证伪的小实验是假设其组合优于单独 Mamba，在同一 EEG 任务、固定跨被试划分及一致训练预算下进行对照，同时测量任务指标、显存和实测延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 BlackMamba 相对 Mamba 与 transformer 基线的质量—计算量权衡，以及 MoE 的显存与路由开销是否抵消其 FLOPs 优势；摘要中的语言建模结果尚不能证明 EEG/BCI 有效性。

1月1日周一
  1. OpenReview · EEG73

    EEGMamba：用于 EEG 分类的双向状态空间模型与混合专家

    基于摘要分析。EEGMamba 面向不同任务中 EEG 信号长度、通道数不一致，以及 Transformer 长序列建模计算开销较大的问题，将 Spatio-Temporal-Adaptive（ST-Adaptive）模块、Bidirectional Mamba 和 Mixture of Experts（MoE）整合为统一的多任务 EEG 分类框架。 机制上，ST-Adaptive 通过空间自适应卷积对不同长度和通道数的 EEG 进行统一特征提取，并引入 class token 实现时间维度适配；摘要未说明具体的长度对齐与通道映射方式。Bidirectional Mamba 用于进一步提取 EEG 特征，作者旨在兼顾长序列处理的分类准确性与推理速度。Task-aware MoE 配置一个通用专家，以建模不同任务 EEG 的差异与共性；专家路由、任务信息如何输入以及训练损失尚未验证。 作者报告，在八个公开 EEG 数据集上进行了测试，覆盖癫痫发作检测、情绪识别、睡眠分期和运动想象四类任务，并报告性能优于对照方法。摘要未提供数据集名称、被试规模、评价指标、具体分数或对照基线，也未明确被试内、跨被试、跨会话或跨数据集划分，因此不能据此确认对未见任务的泛化能力，或量化准确性与速度之间的收益。 复现时应重点核对多任务联合训练与评估协议、异构通道和序列长度的处理，以及 ST-Adaptive、双向建模和通用专家各自的贡献；推理效率比较还需结合输入长度、硬件与计时条件。实验协议、消融及统计信息尚未验证。摘要称代码将于近期发布，当前材料不能确认代码已公开。

    阅读价值：值得核对 EEGMamba 如何通过输入适配、双向状态空间建模和任务感知专家机制处理异构 EEG，但其跨任务泛化与推理效率优势仍需结合全文中的训练划分和对照实验验证。

  2. OpenReview · EEG76

    MoGE：通过分解 EEG 实现跨被试情绪识别的图专家混合模型

    基于摘要分析。该研究针对 EEG 情绪识别中被试间差异导致的泛化困难，提出 Sparse Mixture of Graph Experts（MoGE），从神经网络架构设计而非主要依靠域对齐或正则化损失的角度探索域泛化，使训练后的模型面向未见被试进行无校准推理。 核心机制是由路由器将各 EEG 通道分配给专门的专家。作者将这一设计解释为把复杂的脑活动分解到不同功能区域，并以图专家混合架构处理这些通道。摘要未说明图的构建方式、路由依据、专家结构、稀疏激活规则及专家输出的融合方式；通道分配是否对应可解释的脑功能区域，也需结合全文证据核对，不能仅凭架构描述认定。 作者报告，在三个公开数据集的跨被试情绪识别与域泛化评估中，使用经验风险最小化（ERM）训练的 MoGE，在 SEED、SEED-IV、SEED-V 上的 Accuracy 分别为 88.0%、74.3% 和 81.8%，并称相较其他域泛化方法达到 SOTA。上述结果分别属于各自数据集，不能直接横向比较；具体被试划分、预处理、对照基线、调参流程、消融及统计信息尚未验证。 材料给出了代码仓库，为复现提供入口，但代码内容与运行条件尚未核验。复现时值得重点核对：跨被试训练与测试的组织方式，以及在相同预处理和 ERM 训练条件下，通道路由与图专家模块对性能的独立贡献。现有摘要支持其在 EEG 情绪识别中的研究定位，不足以推出对其他 BCI 任务的有效性。

    阅读价值：值得核对的是 MoGE 通过通道路由与图专家架构、而非专门的域对齐损失改善跨被试泛化的思路；作者报告了三个 EEG 情绪数据集上的结果并提供代码，但具体划分、对照与统计信息尚未验证。

9月23日周六
  1. OpenReview · State space models73

    基于潜在扩散的图像超分辨率：采样空间混合专家与频率增强解码器方法

    基于摘要分析。本文研究图像超分辨率（SR），针对潜在扩散方法中的压缩重建失真，以及计算成本对扩散模型参数规模的限制，提出频率补偿模块和 Sample-Space Mixture of Experts（SS-MoE），分别改善高频信息重建与模型容量。 核心机制：潜在扩散先通过特征编码器将图像映射到紧凑潜在空间，再在该空间中生成超分辨率图像，以降低像素空间扩散的计算开销。作者提出在潜在空间到像素空间的重建过程中补偿频率成分，并报告该设计可减轻重建失真，尤其是高频信息失真。SS-MoE 则用于提升潜在扩散 SR 的模型容量；作者报告其不会显著增加推理成本。摘要未交代专家划分、路由策略、训练目标或频率补偿的具体实现，尚不能据此推断网络结构。 结果与验证边界：作者报告这些设计在 4× 盲超分辨率基准上改善性能，并可扩展至 8× 图像 SR 基准。摘要没有给出具体数据集、退化设置、划分、对照基线、评价指标或数值，因此无法判断提升幅度，也无法核对重建质量与计算成本之间的权衡。实验协议、消融及统计信息尚未验证。 阅读与复现重点是核对频率补偿是否恢复真实细节、两项设计各自的贡献，以及推理成本所采用的测量条件。本文的主要对象是图像重建，并非 EEG 或 BCI；现有材料不支持将图像高频重建收益等同于神经信号恢复效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对频率补偿与 Sample-Space Mixture of Experts（SS-MoE）能否分别缓解潜在空间压缩失真和模型容量受推理成本限制的问题，但具体收益及成本测量尚未验证。