跳到正文

算法、任务与模态

Transformer 最新动态

Transformer 研究索引；按可核对的标签归档，不以热度评价质量。

176 条精选近 30 天 61 条共收录 239 条

更新

精选归档 · 第 9 页

9月23日周六第 161–176 条
  1. OpenReview · Representation learning76

    用于鲁棒表征学习的上下文视觉 Transformer

    基于摘要分析。研究针对不同群组间潜在因素变化导致的图像分布偏移，提出 Contextual Vision Transformers（ContextViT），通过群组上下文条件化图像表征，并在推理时适应新的测试分布。 核心机制借鉴 in-context learning：将与输入图像属于同一群组的图像信息映射为额外的 context token，再将其附加到输入图像 tokens 中，使表征随群组上下文调整。作者另引入 context inference network，从某一群组的一批样本即时预测 context token。该机制依赖可用的群组归属及同组样本；摘要未说明群组的具体定义、上下文聚合方式、训练损失或测试时是否更新模型参数，因此不能将其直接等同于参数更新式测试时自适应。 作者报告，在监督微调设置下，为预训练 ViTs 加入上下文条件化机制，在 iWildCam 和 FMoW 上持续改善分布外泛化；在自监督表征学习设置下，ContextViT 在 Camelyon17 病理图像及 JUMP-CP 显微图像基准上，比对应 ViT 获得更稳定的分布偏移下图像表征。摘要未给出指标数值、数据划分或效应大小，实验协议、消融及统计信息尚未验证。复现时需核对群组构造、上下文批次采样、预训练条件与基线配置。 平台推测（待验证）：迁移假设是，EEG 的被试或会话可作为群组，上下文条件化可能帮助处理跨被试或跨会话分布变化。可复用 context token 与上下文推断思路，但需将图像 token 编码改为 EEG 时序或时空编码，并明确测试群组可用样本及监督条件。低信噪比、小批次、通道配置差异，以及同组任务类别比例变化，都可能使上下文混入噪声或任务内容。一个可检验的小实验是在固定 Cross-subject 划分下，以同一 EEG 编码器比较无上下文与同组上下文条件化，并加入打乱群组的对照；严格固定测试上下文采样规则，检验增益是否来自有效群组信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其由同组样本推断 context token 的机制及测试时分组协议：这为利用群组上下文处理分布偏移提供了具体方法，但其对 EEG 跨被试或跨会话表征的价值尚未验证。

9月22日周五
  1. OpenReview · State space models73

    通过状态空间增强 Transformer 实现高效长序列建模

    基于摘要分析。本文主要研究自然语言处理中的长序列建模：标准 Transformer 注意力具有二次计算成本，而高效注意力变体的全局信息建模能力受限。作者提出 State Space Augmented Transformer（SPADE），将状态空间模型（SSM）与高效局部注意力结合，以兼顾长程依赖和复杂局部信息。 核心机制是在 SPADE 的底层引入 SSM，其余层采用高效局部注意力。作者认为，SSM 提供的全局信息可以补充局部注意力对长程依赖捕获的不足，而局部注意力则补足 SSM 对复杂局部信息表达灵活性不足的问题。摘要未说明具体 SSM 形式、局部注意力方案、融合操作、损失函数或实际计算与存储开销，这些细节尚未验证。 作者报告，该方法在 Long Range Arena benchmark 和语言建模任务上取得了支持其有效性的实验结果；为考察可扩展性，作者还预训练了大型 encoder-decoder 模型，并在自然语言理解和自然语言生成任务上进行了微调评估。摘要未提供具体分数、模型规模、数据划分及对照基线，因此不能量化性能提升或效率收益，实验协议、消融及统计信息尚未验证。作者表示代码与预训练模型检查点将公开，但仅凭该材料无法确认当前可用状态。 平台推测（待验证）：其全局 SSM 与局部注意力互补机制可能对应长时段 EEG 中跨时间依赖与短时波形特征并存的建模需求，但这是迁移假设，不是本文已验证的 EEG/BCI 结果。可复用的是两类模块的组合思路，需改造输入表征、通道编码及任务输出，并核对序列长度、监督方式和训练规模。EEG 的低信噪比、跨被试差异、通道配置变化及小数据条件可能削弱全局状态建模的收益。一个可检验的小实验是在固定跨被试划分与训练预算下，对比局部注意力模型及加入底层 SSM 的版本，报告同一任务指标、显存与推理耗时，检验收益是否来自全局模块。已有 EEG 相关工作尚未检索确认。

    阅读价值：SPADE 以底层 SSM 补充全局信息、其余层使用高效局部注意力，为核对长序列建模中全局依赖与局部表达的互补机制提供了具体对象，但其 EEG/BCI 适用性尚未验证。

  2. OpenReview · Representation learning74

    NAR-Former V2：重新审视用于通用神经网络表示学习的 Transformer

    基于摘要分析。该研究关注神经网络架构本身的表示学习，目标是在不实际训练或部署候选网络的情况下预测其属性，辅助网络设计与部署。作者提出 NAR-Former V2，以修改后的 Transformer 同时表示单元结构网络与完整网络。 方法先将网络视为图，通过 tokenizer 将其编码为序列，再将 GNN 的归纳表示学习能力引入 Transformer，以改善对未见架构的泛化；此外还提出若干面向图结构表示的修改。摘要未说明具体编码规则、归纳机制的实现、损失函数及这些修改的组成，不能据此判断其如何保留拓扑关系或处理不同规模的网络。 结果方面，作者报告：在 NNLQP 数据集的完整网络编码与延迟预测任务上，该方法明显优于 GNN 方法 NNLP；在 NASBench101 与 NASBench201 的单元结构网络准确率预测任务上，与其他先进方法取得高度可比的表现。摘要未提供具体分数、指标、划分或目标硬件条件，实验协议、消融及统计信息尚未验证。作者提供了代码链接，但代码可运行性与复现条件尚未核验。 平台推测（待验证）：迁移假设是利用架构表示预测器降低 EEG 候选网络的逐一训练与部署评估成本，而非直接学习 EEG 信号。可复用部分是架构图编码与属性预测框架；需核对 tokenizer 对 EEG 常用算子的支持，并收集任务特定的架构—性能或硬件延迟标签。原方法依赖架构图及其目标属性监督，所需数据规模尚未验证。EEG 的低信噪比、被试和通道差异，以及小样本评估波动，可能使准确率标签不稳定，削弱架构层面的泛化。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下，为一组候选架构采集性能标签，按架构留出测试，与 GNN 预测器比较误差及排序一致性；这属于迁移验证建议，不是论文已完成的实验。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将 GNN 的归纳表示学习能力融入 Transformer、统一处理单元结构与完整网络的机制，但用于 EEG 网络设计的价值尚未验证。

  3. OpenReview · Representation learning76

    局部性感知的可泛化隐式神经表示

    基于摘要分析。该研究针对可泛化隐式神经表示（INR）难以定位并捕捉像素、射线等细粒度局部信息的问题，提出结合 transformer 编码器与局部性感知 INR 解码器的框架。原论文主要研究坐标驱动的数据表示，并以图像生成等下游任务检验局部潜在表示的用途，并非 EEG 或 BCI 研究。 可泛化 INR 通过潜在编码调制坐标神经网络的权重或中间特征，使一个连续函数能够表示多个数据实例。本文的 transformer 编码器从单个数据实例预测一组 latent tokens，将局部信息编码到不同 token 中；解码器针对输入坐标，以 cross-attention 选择性聚合这些 tokens，提取调制向量，再通过多个频率带宽进行由粗到细的调制与解码。其机制贡献在于分别从空间选择性和频谱多尺度两个方面引入局部性，而非仅使用统一的实例级调制。 作者报告，该框架显著优于此前的可泛化 INR，并在图像生成等下游任务中验证了局部潜在表示的用途。摘要未提供数据集、划分、指标、具体对照与数值，因此无法量化收益或判断不同协议下的可比性；损失函数、频带实现、训练规模、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 可被表示为以时间及通道位置为坐标的连续信号，按坐标选择局部 tokens 与多频带调制可能用于重建局部时频细节。可复用的是坐标条件聚合和频带调制机制，需改造输入编码、通道空间表达及频率尺度；所需监督、数据规模与适用采样结构仍待核对。低信噪比下，局部表示可能拟合伪迹，被试差异、通道布局变化及小数据也可能削弱泛化。一个可检验的小实验是在同一 EEG 数据划分与相同训练预算下，对比局部 token 聚合和统一潜在编码调制的遮蔽片段重建误差，再核对多频带调制的增益；这不等同于已验证的 BCI 解码效果。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其按坐标选择局部潜在 token 与多频带粗到细调制的机制，以核对局部表征对可泛化 INR 的贡献；其对 EEG 的适用性尚未验证。

1月1日周日
  1. OpenReview · Representation learning76

    面向强化学习的掩码对比表征学习

    基于摘要分析。本文研究像素输入强化学习（RL）中的状态表征学习与样本效率，提出 masked contrastive representation learning for RL（M-CURL）：利用连续视频帧之间的相关性，通过掩码特征重建与对比学习辅助训练状态编码器。 核心机制：系统包含用于编码输入状态的 CNN、用于动作选择的策略网络，以及辅助 Transformer 编码器。训练时随机掩码若干帧的特征，由 CNN 与 Transformer 利用上下文帧重建这些特征；二者通过对比学习联合训练，使重建特征接近对应真实特征、远离其他特征。摘要未说明具体损失公式、负样本构造及掩码比例。策略评估时仅使用 CNN 与策略网络，移除 Transformer，因此辅助时序建模模块不参与评估阶段的动作选择。 结果与证据边界：作者报告，相较 CURL，M-CURL 在 DMControl suite 的 16 个环境中有 14 个环境取得改善，在 Atari 2600 Games 的 26 个环境中有 23 个环境取得改善。这些数字是改善的环境数量，并非性能提升幅度；具体交互预算、评价指标、随机种子、统计不确定性及各环境结果尚未验证。摘要提供了代码仓库，但实现与论文设置的一致性尚未核验，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，EEG 相邻时间窗的时序关联也可能为掩码特征预测提供监督信号，但视频 RL 中有效不等于 EEG/BCI 中有效。可复用的是辅助上下文编码器、特征级掩码与对比目标；需将图像 CNN 改造为适配 EEG 时间与通道结构的编码器，并重新设计窗口、正负样本及掩码策略。低信噪比、跨被试差异、通道变化和小数据可能使模型学习伪迹或局部冗余，而非任务相关表征。一个可检验的小实验是在固定数据划分和标注预算下，对比相同 EEG 编码器的普通对比预训练与加入掩码上下文重建的预训练，分别评估被试内与跨被试表现，并确保相邻窗口不跨越训练与测试边界。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用相邻帧上下文进行掩码特征重建、并在策略评估时移除辅助 Transformer 的设计，但作者报告的 RL 改善尚不能证明其对 EEG 表征学习有效。

  2. OpenReview · Representation learning71

    基于程序切片的代码变更表示学习

    基于摘要分析。本文研究软件开发与维护中的代码变更表示，提出基于程序切片的表示方法，并以预训练稀疏 Transformer 模型 CCS2VEC 学习变更表征，旨在改善代码变更语义建模及噪声或交织变更带来的任务困难。 核心机制是将修改代码与未修改代码之间的数据依赖和控制依赖纳入表示，而不只使用词法 token 或语法 AST（抽象语法树）路径。该方法依赖程序代码中的可分析依赖结构；CCS2VEC 使用三个预训练任务，但摘要未披露任务定义、损失形式、切片构造细节及稀疏注意力机制，相关实现尚未验证。 作者报告，在三个下游任务上微调预训练模型后，CCS2VEC 相较 CC2VEC 有所提升。摘要将提交消息生成和缺陷修复提交识别列为代码变更表示的应用示例，但未明确三个评估任务的完整组成，也未提供数据集、划分、评价指标或改进幅度。实验协议、消融及统计信息尚未验证，需通过全文核对依赖建模与预训练各自的贡献，以及对噪声和交织变更的评估方式。 本文主要研究对象是软件代码变更，而非神经信号。程序中的数据与控制依赖不能直接等同于 EEG 通道或时间片之间的关系；现有材料未建立具体的 EEG/BCI 方法对应路径，因此不提出跨领域复现实验建议。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用程序切片引入修改代码与未修改代码之间数据及控制依赖的表示机制，但作者报告的下游改进仍需结合完整实验协议核对，不能据此推断 EEG/BCI 效果。

  3. OpenReview · EEG73

    用于 EEG 癫痫发作识别的无监督多变量时间序列 Transformer

    基于摘要分析。研究针对 EEG 癫痫发作识别依赖专家片段标注的问题，将发作识别建模为无监督异常检测：仅使用不含发作的 EEG 训练带有 Transformer 编码器的自编码器，在推理时依据重建误差区分发作与非发作窗口。 核心机制是学习无发作 EEG 的重建模式，并引入面向多变量时间序列的掩码策略。作者将其描述为首个用于原始 EEG 癫痫发作识别的无监督 Transformer 模型，但该优先性声明尚未独立核实。摘要未提供掩码在时间与通道维度上的具体设计、无监督损失形式、重建误差汇总方式或判别阈值，因此尚不能据此还原实现。方法不依赖发作片段标签进行模型训练，但需要取得可确认不含发作的训练记录，不宜将其理解为完全无需数据筛选。 作者报告，在三个公开 EEG 基准数据集的发作与非发作窗口区分任务中，相对监督学习对照，recall、accuracy 和 AUC 的提升最高分别为 16%、9% 和 9%，并称在高度类别不平衡数据上尤其有益。摘要未说明这些提升是相对百分比还是百分点，也未提供数据集名称、基线细节、被试内或跨被试协议及具体划分，不能直接外推为跨被试泛化效果。 复现时需核对无发作训练数据的筛选、训练与测试的被试及记录隔离、窗口划分、阈值选择依据，以及掩码策略和 Transformer 编码器的贡献。实验协议、消融及统计信息尚未验证。作者提出其可能有助于更易获得的癫痫早期检测，但摘要中的窗口分类结果不等同于临床早期诊断或部署有效性证据。

    阅读价值：值得核对其无发作 EEG 重建与多变量掩码策略如何支持异常检测，尤其是类别不平衡条件下相对监督基线的收益；具体划分、阈值选择及统计证据尚未验证。

  4. OpenReview · State space models76

    用于语音识别的多头状态空间模型

    基于摘要分析。该研究针对语音识别中的序列建模，提出带特殊门控机制的多头状态空间模型 MH-SSM，使并行头学习局部与全局时间动态；同时提出以 MH-SSM 层增强 transformer 模块的 Stateformer。 机制与对照：MH-SSM 被设计为 transformer 编码器中多头注意力的可直接替换模块。作者报告，在 LibriSpeech 语音识别任务上，该架构显著优于 transformer transducer，但摘要未提供这一替换方案的具体分数及显著性检验细节。Stateformer 则采用增强 transformer 模块的方式，不能与完全替换注意力的方案混为一谈。门控形式、状态空间参数化、训练目标及推理实现尚未验证。 结果：作者报告，Stateformer 在不使用外部语言模型的条件下，开发集 word error rate 为 1.76%/4.37%，测试集为 1.91%/4.36%，并称其达到 LibriSpeech 任务的当时最优表现。摘要未明确两组数值对应的子集名称，因此不补写；训练数据配置、对照设置、消融及统计信息尚未验证，也不能据此推断其计算效率优势。 平台推测（待验证）：假设局部与全局时间动态的并行建模能缓解 EEG 长序列中短时事件与较长时间依赖难以兼顾的问题，可尝试复用 MH-SSM 序列模块，但需改造 EEG 通道输入与任务输出。原任务依赖语音序列及语音识别监督，其收益对训练规模的依赖尚不清楚；低信噪比、通道差异、跨被试分布变化及小数据可能使门控学到噪声或被试特异模式。一个可证伪的小实验是在同一 EEG 任务、固定跨被试划分和训练预算下，仅将基线编码器的多头注意力替换为 MH-SSM，比较预先指定的任务指标与跨被试稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：MH-SSM 通过带门控的并行状态空间头建模局部与全局时间动态，值得核对其替换及增强注意力模块的实现与对照，但语音识别收益能否迁移至 EEG 尚未验证。

  5. OpenReview · EEG72

    脑信号能否揭示与人类语言的内在对齐？

    基于摘要分析。该研究探讨 EEG 与人类语言之间的关系及依赖，提出 MTAM（Multimodal Transformer Alignment Model），在表征层面对齐两种模态，并通过 sentiment analysis 和 relation detection 检验对齐表征的下游价值。 机制方面，作者将 Canonical Correlation Analysis 与 Wasserstein Distance 等关系对齐技术用作损失函数，以变换特征并学习 EEG 与语言的协调表征。摘要未说明这些目标的具体组合、权重、模态编码方式，以及训练和推理阶段各自需要哪些输入，因此尚不能确定其收益来自何种对齐机制，也不能将结果解释为仅凭 EEG 即可解码语言。 结果方面，作者报告在 ZuCo 与 K-EmoCon 两个数据集上取得新的 SOTA：sentiment analysis 的 F1-score 在 K-EmoCon 上提升 1.7%，在 ZuCo 上提升 9.3%；relation detection 的 F1-score 在 ZuCo 上提升 7.4%。这些数值沿用摘要表述，相对提升还是绝对百分点提升尚未验证；对应基线、F1 汇总方式及被试内、跨被试或其他数据划分协议也尚未验证，不能据此直接比较不同任务或数据集的效果。 作者还通过特征分布、对齐权重和脑地形图解释性能改善，分别讨论模态关系的编码、语言语义与 EEG 频率特征的影响，以及脑区连接的可视化。上述内容属于作者提供的解释；仅凭摘要无法确认其是否支持独立的神经机制结论，脑地形图也不能单独证明功能连接。 摘要提供了代码仓库，具备进一步核对实现的入口，但代码可用性、数据预处理、同步与配对方式、实验协议、消融及统计信息尚未验证。复现时应优先核对语言单模态、EEG 单模态与多模态对齐模型的对照，以及训练测试划分和推理输入条件，以判断对齐模块的独立贡献。现有证据支持 EEG—语言多模态任务研究，尚不能外推为通用 BCI 解码能力。

    阅读价值：值得核对 MTAM 如何以 Canonical Correlation Analysis 与 Wasserstein Distance 对齐 EEG 和语言表征，以及这种对齐在不同数据划分下是否稳定改善下游任务。

  6. OpenReview · State space models77

    使用状态空间 Transformer 进行高效电影场景检测

    基于摘要分析。研究针对电影场景检测需要跨越长视频片段进行推理、而常见视频识别模型侧重短时分析的问题，提出可端到端训练的 TranS4mer，以分层的局部与长程建模捕获电影场景线索。原论文研究对象是电影视频，并非 EEG 或 BCI。 核心模块 S4A 结合 structured state-space sequence（S4）与自注意力（A）。输入为已划分为镜头的帧序列：模块先通过自注意力捕获镜头内部的短程依赖，再用状态空间运算聚合镜头之间的长程线索；多个 S4A 模块堆叠构成 TranS4mer。其机制依赖帧—镜头的层级结构，区别于仅对短视频片段建模的方案。具体监督信号、损失函数、模块数量、训练规模与镜头划分方式尚未验证。 作者报告，TranS4mer 在 MovieNet、BBC 和 OVSD 三个电影场景检测数据集上优于此前方法；相较标准 Transformer，速度为其 2 倍，所需 GPU 显存约为其三分之一。摘要未给出检测指标、数据划分、基线配置及测速硬件、序列长度等条件，因此这些结果不能脱离原评估协议比较。实验协议、消融及统计信息尚未验证。作者表示将发布代码和模型，材料不能确认其已公开。 平台推测（待验证）：迁移假设是，将 EEG 长记录划为局部时间窗，以自注意力处理窗内关系、以 S4 聚合跨窗依赖，可能缓解长序列全局注意力的计算负担。可复用的是局部—长程分工，需改造视频特征输入、分段策略及任务输出，并重新设计监督目标。EEG 缺少天然镜头边界，低信噪比、跨被试差异、通道配置变化及小数据训练均可能使该结构失效。可检验的小实验是在同一 EEG 数据划分与训练预算下，对比该结构、纯自注意力及纯 S4，检验长上下文是否带来任务指标收益，并记录显存与运行时间；这不是原论文已证实的结论，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以镜头内自注意力与镜头间状态空间运算分工处理长视频的机制；作者报告了效率优势，但能否迁移到 EEG 长序列建模尚未验证。

  7. OpenReview · State space models76

    用于第一视角三维手部轨迹预测的不确定性感知状态空间 Transformer

    研究针对第一视角 RGB 视频中的手部轨迹预测，提出从早期观测预测三维空间轨迹的任务，并设计不确定性感知状态空间 Transformer（USST），以回应仅在二维图像空间预测难以满足三维应用需求的问题。基于摘要分析，未取得论文全文。 USST 在经典状态空间模型框架下结合注意力机制与偶然不确定性（aleatoric uncertainty）；摘要还提出利用速度约束和大型视觉 Transformer 上的 visual prompt tuning（VPT）进一步增强模型。状态变量、状态转移与观测关系、不确定性的参数化方式、损失函数及训练与推理流程尚未验证，不能据此将其等同于其他现代序列状态空间架构。 作者开发了用于采集高质量三维手部轨迹的标注流程。作者报告，在 H2O 和 EgoPAT3D 数据集的二维与三维轨迹预测评估中，USST 优于所比较的方法；摘要未提供具体指标、数值、数据划分或对照配置，实验协议、消融及统计信息尚未验证。作者称代码与数据已公开发布，但本次未核验其完整性及复现条件。 平台推测（待验证）：其潜在方法联系在于，将动态状态建模与观测不确定性结合，可能为 EEG 驱动的连续运动轨迹解码提供思路。假设是注意力与不确定性建模能帮助区分运动动态和噪声观测，而非原论文已证明 BCI 效果。原任务依赖视频观测与三维轨迹标注；迁移时需替换视觉编码及 VPT 模块，并处理 EEG 与运动轨迹的时间对齐。低信噪比、跨被试差异、通道变化与小数据可能导致状态估计或不确定性校准失效。一个可检验的小实验是在固定被试内划分的配对 EEG—轨迹数据上，比较相同解码骨干加入或不加入不确定性建模后的轨迹误差与校准表现。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是 USST 将注意力机制与偶然不确定性纳入经典状态空间框架来预测三维手部轨迹的思路，但其具体实现、对照效果及 EEG/BCI 迁移价值尚未验证。

  8. OpenReview · EEG74

    EEG Conformer：用于 EEG 解码与可视化的卷积 Transformer

    基于摘要分析。该研究针对 EEG 解码中 CNN 感受野有限、可能难以捕获长期依赖的问题，提出紧凑的 EEG Conformer，将局部特征提取与全局关联建模整合到统一的 EEG 分类框架，并提供脑地形图可视化策略。 核心机制是先通过一维时间卷积和空间卷积学习低层局部特征，再直接连接自注意力模块，提取局部时间特征之间的全局关联，最后使用基于全连接层的分类器预测 EEG 类别。其方法价值在于将卷积与自注意力作为互补模块，而非单独依赖局部卷积；具体网络深度、参数量、损失函数、训练配置与推理成本尚未验证。 可视化方面，作者将类激活映射投影到脑地形图，以增强分类结果的可解释性。摘要未提供该投影的具体计算流程或解释性验证结果，因此不能据此认定可视化已经揭示了可靠的神经生理机制。 作者报告，在涵盖 EEG 运动想象与情绪识别范式的三个公开数据集上，方法取得了当时的 state-of-the-art 性能，并提出其有潜力成为通用 EEG 解码的新基线。摘要未列出数据集名称、被试数量、数据划分、被试内或跨被试等评估协议、对照方法与具体指标，故目前无法核对性能提升的幅度或跨协议可比性；实验协议、消融及统计信息尚未验证。 作者说明代码已公开，可作为复现入口。复现时需结合全文与实现核对 EEG 预处理、输入窗口、卷积和注意力配置、训练策略及评估划分，并分别检验全局关联模块的增益与脑地形图可视化的稳定性。摘要尚不足以确定其跨被试、跨会话泛化能力。

    阅读价值：值得核对其局部卷积特征与全局自注意力的组合机制，以及类激活映射到脑地形图的可视化策略；摘要提供了公开代码入口，但性能优势及解释性仍需结合完整实验协议验证。

1月1日周六
  1. OpenReview · EEG73

    EEGformer：面向低通道数可穿戴连续监测设备的基于 Transformer 的原始 EEG 癫痫检测

    基于摘要分析。该研究针对长期连续癫痫监测对低误报、佩戴舒适性和低功耗的要求，提出紧凑的 Transformer 模型 EEGformer，直接使用四个颞区通道的原始 EEG 进行癫痫发作检测，并在微控制器（MCU）上验证实时推理的可行性。 核心思路是利用 Transformer 捕捉时间序列中的长程依赖，减少对针对特定数据设计的手工特征的依赖。摘要未提供输入窗口、具体模型结构、损失函数、训练策略或预处理细节，因此不能据此认定信号完全未经预处理。 作者报告，在所检查的八名患者的癫痫发作事件中，模型检出率为 73%；仅考虑其中六名患者时，事件检出率为 100%，不能将这一子集结果推广到全部患者。作者报告平均发作起始检测延迟为 15.2 秒，误报率为 0.8 FP/h；多数测试获得 100% 特异性，但 40 次测试中有 5 次异常表现，作者将其主要归因于 EEG 伪迹。事件检出率、特异性与每小时误报率反映不同层面的表现，不应相互替代。被试内或跨被试协议、数据划分以及各指标的统计口径尚未验证。 作者以 CHB-MIT Scalp EEG 数据集为参照，与针对目标数据集设计手工特征的先进分类器比较，报告准确性结果接近、发作起始检测延迟降低超过 20%；与两种经优化的卷积神经网络方法比较，作者报告在全部准确性指标上更优。具体基线、指标数值、消融及统计信息尚未验证。 部署方面，作者报告模型在 Ambiq Apollo4 MCU、96 MHz 工作频率下，单次推理耗时 405 毫秒、能耗 1.79 毫焦耳。这支持其嵌入式推理可行性，但不等于已验证整机长期续航或临床连续监测安全性。复现需进一步核对通道选择、窗口与报警规则、患者级划分、伪迹处理，以及推理数值精度和资源占用；代码与权重可用性尚未验证。

    阅读价值：值得阅读的具体原因是作者同时报告了四通道原始 EEG 癫痫发作检测表现与 MCU 实测时延、能耗，可用于核对低功耗连续监测中检测灵敏度、误报和部署成本的权衡，但临床适用性尚未验证。

  2. OpenReview · Representation learning78

    通过同步动量分组进行无监督视觉表征学习

    基于摘要分析。本文研究无监督视觉表征学习，提出 SMoG（Synchronous Momentum Grouping），通过组级对比学习结合实例级对比与聚类方法的优势，旨在减少假负样本并缓解聚类监督信号的滞后。 核心机制是保留对比学习框架，但将对比单位从单个实例替换为组；动量分组机制使特征分组与表征学习同步进行。作者认为，实例级判别过于细粒度，可能把语义相近样本当作负样本，而聚类方法的监督信号可能滞后于表征更新。摘要未提供分组规则、动量更新公式、损失形式或训练细节，尚不能确认其具体实现及适用条件。 作者报告，SMoG 在 CNN 和 Transformer 骨干上均有效，优于当时的无监督表征学习方法；在 ImageNet 线性评估中，其结果超过常规监督学习，且表征可迁移至下游任务。摘要未给出具体数值、骨干配置、数据划分、对照基线或下游任务名称，实验协议、消融及统计信息尚未验证，不能据此判断各项比较的公平性或优势幅度。 平台推测（待验证）：若 EEG 样本存在可稳定识别的潜在状态组，组级对比可能减少语义相近片段被视为负样本的问题，同步分组也可能缓解训练中表征变化导致的监督滞后。可考虑复用组级对比和动量分组机制，但需改造 EEG 编码器、信号增强与分组策略；原方法的图像增强、样本规模及潜在分组结构是否适用于 EEG 尚不明确。低信噪比、通道差异和跨被试偏移可能使分组主要捕获伪迹或被试身份，小数据也可能导致分组不稳定。 一个可检验的小实验是在固定 EEG 编码器、增强、训练预算和 Cross-subject 划分下，对比实例级对比与同步组级对比，冻结编码器进行线性评估，同时检查分组与任务类别、被试身份的关联。该实验仅用于检验迁移假设，不代表已有 BCI 效果；相关 EEG 工作尚未检索确认。

    阅读价值：SMoG 将对比单位从实例改为组，并同步更新分组与表征，为分析假负样本和聚类监督滞后提供了具体机制，但其比较优势与 EEG 迁移价值尚需验证。

  3. OpenReview · State space models77

    使用状态空间 Transformer 的高效电影场景检测

    基于摘要分析。本文研究电影场景检测：场景理解需要跨越较长电影片段整合线索，而多数视频识别模型侧重短时分析。作者提出可端到端训练的 State-Space Transformer 模型 TranS4mer，通过结合局部自注意力与长程状态空间运算，建模电影中的短程和长程依赖。 核心模块 S4A 结合 structured state-space sequence（S4）与自注意力（A）。输入是已划分为电影镜头的帧序列；模块先用自注意力捕获镜头内短程依赖，再用状态空间运算聚合镜头间长程线索。TranS4mer 由多个 S4A 模块堆叠构成，具体堆叠数量、特征提取方式、损失函数及训练配置尚未验证。该设计的关键在于利用镜头这一层级结构，分别处理局部关系与跨镜头上下文。 作者报告，在 MovieNet、BBC 和 OVSD 三个电影场景检测数据集上，TranS4mer 优于此前方法；相较标准 Transformer，速度为其 2 倍，GPU 显存需求约为其三分之一。摘要未给出检测指标、划分协议、具体对照配置及效率测量条件，因此这些结果仅适用于作者所述电影场景检测评估，实验协议、消融及统计信息尚未验证。作者表示将发布代码和模型，材料不能确认其已公开。 平台推测（待验证）：可检验的迁移假设是，将局部交互与长程状态聚合分离，可能缓解长时 EEG 建模的计算负担。可复用的是 S4A 的分工机制，但电影镜头结构不能直接等同于 EEG 时间窗；需要改造信号编码、时间分段与任务监督。摘要也不足以判断原方法的数据规模要求。低信噪比、跨被试差异、通道布局变化及小数据训练均可能使局部注意力学习到噪声，或使长程聚合混合不同生理状态。一个小规模可证伪实验是在同一 EEG 数据集、固定跨被试划分及相同输入长度和训练预算下，对比局部注意力加 S4、纯注意力和纯 S4，核对任务指标与速度、显存，并测试时间窗长度变化。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 TranS4mer 将镜头内自注意力与镜头间 S4 状态空间聚合分工结合的长序列建模机制；其效率优势由作者报告，对 EEG 的迁移价值尚未验证。

  4. OpenReview · State space models80

    使用状态空间视频模型进行长电影片段分类

    基于摘要分析。本文研究长电影片段分类中的长程时序推理问题，提出 ViS4mer，将 Transformer 的短程时空特征提取与结构化状态空间序列（S4）层的长程建模结合，以缓解长序列自注意力的二次计算成本。 核心机制是使用标准 Transformer encoder 提取短程时空特征，再交由多尺度时序 S4 decoder 进行长程推理。decoder 各层逐步降低时空特征分辨率与通道维度，在压缩表示的同时建模长程时空依赖。其方法价值在于局部特征提取和长程推理的模块分工，而非将整个视频处理流程完全替换为 S4。 作者报告，相对于对应的纯自注意力模型，ViS4mer 速度为其 2.63 倍，GPU 显存需求为其八分之一；硬件、输入长度、批量大小及计时口径尚未验证。作者报告，在 Long Video Understanding（LVU）benchmark 的 9 项长电影视频分类任务中，6 项达到当时的最先进结果，并在 Breakfast 和 COIN 程序性活动数据集上取得有竞争力的结果。具体任务指标、数据划分、对照配置、消融及统计信息尚未验证，不能据此比较不同评估协议。摘要提供了公开代码地址，但运行环境、预训练依赖及复现完整性尚未核对。 平台推测（待验证）：这一机制可对应长时段 EEG 建模中全局注意力成本较高的瓶颈，但视频结果不等于 BCI 效果。迁移假设依赖于任务确有长程时序信息，以及局部 EEG 特征能保留该信息；可复用 S4 长程推理模块，需改造视频时空编码和多尺度降采样，使其适配 EEG 通道、采样率及任务监督。低信噪比、跨被试分布差异、通道配置变化和小数据可能使压缩过程丢失短暂 ERP 或其他判别线索。一个可检验的小实验是固定 EEG 局部编码器与数据划分，仅比较 S4 和自注意力长程模块，在不同输入时长下记录任务指标、推理时间及显存，并严格隔离训练与测试被试。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其将短程 Transformer 特征提取与多尺度 S4 长程推理结合的机制及效率对照，但作者报告的视频任务收益尚不能视为 EEG/BCI 有效性的证据。