跳到正文

算法、任务与模态

Transformer 最新动态

Transformer 研究索引；按可核对的标签归档，不以热度评价质量。

51 条精选近 30 天 34 条共收录 62 条

更新

精选归档 · 第 3 页

1月1日周三第 41–51 条
  1. OpenReview · EEG74

    EEGCiD：将 EEG 凝缩到扩散模型中

    EEGCiD 针对 EEG 模型开发所需大量数据带来的存储与共享隐私问题，提出将原始数据集知识凝缩到扩散模型及小规模潜在编码集合中的方法，以生成信息集中的合成 EEG 样本，而非以外观接近原始信号为主要目标。基于摘要分析，未取得论文全文。 核心机制分为知识建模与数据凝缩两个阶段：首先使用原始 EEG 数据预训练确定性 denoising diffusion implicit model（DDIM），以保存数据集知识；其骨干采用包含空间与时间自注意力模块（STSA）的 transformer，替代传统 U-Net。随后，从原始数据集中随机选取样本子集，经 DDIM 前向过程得到凝缩潜在编码 z，再通过匹配合成样本与原始数据在多个 EEG 解码模型中的特征分布来优化 z。该集成特征匹配策略意在将对解码任务有用的信息集中到较小的合成数据集中；具体损失形式、解码模型组合及优化细节尚未验证。 作者报告，在三个 EEG 数据集上，凝缩数据集在有限样本条件下取得较好的分类表现，并能有效防御成员推断攻击（MIA）。摘要未提供数据集名称、任务、被试数、被试内或跨被试划分、凝缩样本规模、分类指标数值及对照设置，因此无法量化分类收益，也不能比较不同协议下的效果。实验协议、消融及统计信息尚未验证。 复现与应用评估需核对 DDIM 预训练成本、潜在编码优化成本，以及生成合成数据所需模型权重是否计入总存储开销。隐私结论还需核对 MIA 的攻击者能力、访问权限和评估指标；合成样本不与原始信号外观相似，本身不能构成隐私保证。作者报告的 MIA 防护效果应限定于其实际测试设置，不能据此推断身份或健康信息的其他泄露风险均已消除。

    阅读价值：值得阅读其将确定性 DDIM 与多解码模型特征分布匹配结合的 EEG 数据凝缩机制，但分类收益与成员推断攻击防护效果仍需结合压缩规模、评估协议和攻击设置核对。

  2. OpenReview · EEG72

    EEGDM：基于生成式扩散模型的 EEG 表征学习

    基于摘要分析。该研究针对 EEG 标注有限、信号变异性高导致的表征学习困难，提出生成式扩散表征学习框架 EEGDM，并将预训练得到的潜在 EEG 表征用于下游分类，探索区别于现有 EEG 基础模型的技术路径。 核心机制是用于扩散预训练的结构化状态空间模型 SSMDP：作者以其捕获 EEG 的时间动态，并在 Denoising Diffusion Probabilistic Model（DDPM）框架下训练。随后，作者提出 latent fusion transformer（LFT），利用所得潜在表征完成分类。摘要未说明扩散噪声设定、具体训练目标、潜在表征提取位置及 LFT 的融合方式，这些实现细节尚未验证。 评估采用涉及发作间期癫痫样放电的 TUEV 与涉及癫痫发作检测的 CHB-MIT，并与现有方法及 EEG 基础模型比较。作者报告 EEGDM 优于所比较的方法，但摘要未提供具体指标、数值、基线名单及被试内或跨被试等划分信息，因而尚不能判断优势幅度、统计可靠性或跨协议泛化能力。这些任务属于 EEG 临床事件识别，不能直接视为已验证的 BCI 控制效果。 作者将大型 EEG 基础模型的训练与推理成本、模型增大时收益有限作为研究动机，但摘要并未给出 EEGDM 的参数量、训练开销或推理效率，不能据此确认其计算成本优势。复现时需核对数据预处理、预训练与下游数据的划分关系、分类协议、基线配置以及 SSMDP 和 LFT 的独立贡献；实验协议、消融及统计信息尚未验证。摘要提供了源码与 checkpoint 链接，但其内容、可运行性和复现实验条件尚未核验。

    阅读价值：值得核对其以结构化状态空间模型进行扩散预训练、再融合潜在 EEG 表征的机制，以及相对 EEG 基础模型的分类收益与计算成本；摘要中的性能优势尚需结合完整实验协议验证。

9月26日周四
  1. OpenReview · EEG76

    以大型时空 Transformer 为基础模型学习鲁棒 EEG 表征

    基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题，提出时空 EEG Transformer（ST-EEGFormer），通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模，与跨 MI、P300、SSVEP 范式的适应性评估结合起来。 方法将原始 EEG 切分为片段（patches），投影到嵌入空间，并加入空间与时间嵌入。作者以掩码自编码器（MAE）任务进行自监督预训练，预训练数据由六个公开运动想象（MI）数据集、一个公开 P300 数据集和一个公开稳态视觉诱发电位（SSVEP）数据集组成。摘要未提供片段长度、空间位置编码方式、掩码策略、重建目标细节或模型规模，尚不能确认其处理不同通道配置的具体实现条件。 评估包括预训练所涉及八个数据集上的下游分类微调，以及两个未参与预训练的公开数据集：癫痫发作分类数据集和在线 MI BCI 数据集。对照模型包括简单线性模型、EEGNet、监督学习模型 EEG Conformer，以及基础模型 BIOT 和 Large Brain Model（LaBraM）。作者报告，预训练后的 ST-EEGFormer 在八个预训练数据集的下游分类中均取得高于所比较模型的 Accuracy，并在新数据集、有限训练数据条件下表现出较强泛化能力；摘要未给出具体数值或有限数据的规模。 这些结果支持进一步核查统一时空表征与 MAE 预训练的适应性，但不能直接解释为已验证的跨被试、跨会话或无需微调的泛化。数据集名称、被试数、训练与测试划分、预训练与评估样本的关系、各基线微调预算、消融及统计信息尚未验证。作者还提供模型及支撑结果的特征可视化，其解释性结论需结合正文审阅；代码、权重与完整复现条件尚未验证。

    阅读价值：值得阅读其跨 MI、P300 与 SSVEP 范式的统一预训练设计，以及在未参与预训练的数据集上检验有限训练数据条件下泛化能力的实验；作者报告的优势仍需结合具体划分、微调预算与统计结果核对。

  2. OpenReview · Representation learning76

    DenoiseRep：用于表征学习的去噪模型

    基于摘要分析。DenoiseRep 研究如何将去噪机制用于判别任务的表征学习，通过联合特征提取与去噪提升特征的判别能力。其核心贡献是将骨干网络中的各嵌入层视为逐步去噪层，并通过参数融合消除独立去噪计算。 机制上，作者将从低层到高层的级联特征提取，与递归、逐步的特征去噪统一起来。作者称，特征提取层与去噪层的参数可以融合，并给出了融合前后等价性的理论论证，据此主张特征去噪无需额外计算。摘要未说明去噪目标、噪声构造、损失形式、训练流程或参数融合的适用条件，这些内容尚需全文核对。该方法被描述为无需标签，也可与可用标签互补；这不等于所有下游任务的训练均不使用标签。 作者报告，在重识别数据集 Market-1501、DukeMTMC-reID、MSMT17、CUHK-03、vehicleID，图像分类数据集 ImageNet、UB200、Oxford-Pet、Flowers，以及 COCO 目标检测和 ADE20K 图像分割任务上观察到稳定的改进，并在 ResNet、ViT、Swin、Vmamda 架构上验证有效性。摘要未提供具体指标、数值、数据划分或对照基线，无法据此判断收益大小及不同任务间的可比性；实验协议、消融及统计信息尚未验证。复现还需核对融合实现、训练配置及代码可得性。 平台推测（待验证）：若逐层去噪确实能够保留判别信息，并且融合条件适用于 EEG 编码器，该机制可能用于缓解 EEG 表征中的噪声干扰。可复用部分是逐层特征去噪与参数融合思路；需改造部分包括时序与通道特征处理、噪声定义及下游监督方式。视觉数据上的结果不能证明其适用于低信噪比、跨被试或小样本 EEG；去噪可能误删弱任务信号，通道变化也可能破坏特征假设。一个可检验的小实验是在固定跨被试划分下，对比同一 EEG 骨干加入与不加入 DenoiseRep 的表现，同时检查融合前后输出一致性及推理开销。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其特征提取与去噪层参数融合的等价性条件，以及无需标签的特征增强能否在不增加推理计算的前提下稳定改善判别任务；向 EEG 迁移的有效性尚未验证。

  3. OpenReview · Representation learning77

    从表示学习视角理解 Transformers 如何进行上下文学习

    基于摘要分析。本文研究 Transformers 的上下文学习（ICL）机制，即模型如何仅凭少量示范样例、在不更新参数的情况下执行新任务。核心贡献是借助核方法构建单个 softmax attention 层的对偶模型，从表示学习视角解释 ICL 推理，并分析示范 token 数量与泛化误差的关系。 机制方面，作者报告，attention 层的 ICL 推理过程可对应于对偶模型的训练过程，所生成的 token 表示预测与对偶模型的测试输出等价。作者进一步分析该对偶模型的训练过程，推导与示范 token 数量有关的泛化误差界，并将理论结论扩展至单个 Transformer 层及多个 attention 层。摘要未提供等价关系成立的假设、误差界的具体形式或适用分布，因此不能据此推断增加示范必然改善任意任务表现。 方法探索方面，作者受表示学习方法、尤其是对比学习启发，提出对 attention 层的潜在修改，并报告设计了实验支持研究结论。具体修改方式、训练目标、任务与数据集、对照基线、结果指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该分析可能为 EEG 上下文示范如何影响表示提供理论切入点，但语言 token 的结论不能直接迁移为 BCI 效果。迁移假设依赖于 EEG 能否形成适合该理论的 token 表示与任务示范结构；可考虑复用 attention 与对偶模型分析框架，而 EEG 分段、通道表示及示范组织方式需要改造。低信噪比、跨被试差异、通道不一致与小样本可能使理论假设失效。待核对全文条件后，可在固定 EEG 编码器和被试内数据划分下，仅改变上下文示范数量、保持模型参数不变，检验任务误差是否符合理论预期。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是作者通过核方法将 softmax attention 的 ICL 推理与对偶模型训练联系起来，并给出涉及示范 token 数量的泛化误差界；其假设条件及实验支持程度尚待全文核对。

1月16日周二
  1. OpenReview · Representation learning74

    基于细粒度交互的蛋白质–配体结合表征学习

    基于摘要分析。该研究针对蛋白质–配体结合预测中监督数据有限、模型泛化受限的问题，提出以细粒度交互为核心的自监督表征学习方法。不同于分别预训练蛋白质和配体的思路，作者将预训练表述为：给定结合口袋与配体，预测最终结合复合物结构。 机制上，方法采用基于 Transformer 的交互模块，并设置原子对距离图预测与配体掩码重建两项预训练任务，分别从结构空间和特征空间建模结合交互。摘要未说明距离图的具体覆盖范围、掩码策略、损失形式及任务组合方式，这些实现细节尚未验证。 作者报告，该方法在蛋白质–配体亲和力预测、虚拟筛选和蛋白质–配体对接等任务中表现优于对照方法，但摘要未提供数据集、数据划分、基线名称、指标或数值，因而无法判断优势幅度及泛化边界。实验协议、消融及统计信息尚未验证；复现还需核对预训练数据来源、复合物结构处理、下游训练设置，以及代码和模型权重的可用性。 平台推测（待验证）：可借鉴的是“显式关系预测与掩码重建联合预训练”的机制，而非直接移植分子结合模型。其原始任务依赖结合口袋、配体及原子级结构关系；EEG 中可假设用通道间关系预测辅助掩码信号重建，以应对标注有限时的表征学习问题。可复用交互建模和双任务框架，但需改造输入编码与关系目标，不能将原子距离直接等同于 EEG 功能连接。低信噪比、参考方式、跨被试差异和通道配置变化均可能使关系目标不稳定，小数据下也可能学到伪迹。一个可证伪的小实验是：在固定 Cross-subject 划分和相同预训练数据条件下，对比仅掩码重建与加入关系预测的模型，检验下游性能及通道扰动稳定性是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以原子对距离预测和配体掩码重建联合学习细粒度交互的自监督机制，但摘要中的多任务优势仍需结合完整实验协议核对，向 EEG 的迁移尚未验证。

  2. OpenReview · Representation learning76

    NfgTransformer：标准式博弈的等变表示学习

    基于摘要分析。本文研究标准式博弈（Normal-form games，NFGs）的神经网络表示，核心问题是：策略重新编号不改变博弈本身，但模型应随策略置换相应变换其表示或输出。作者提出利用这一等变性的 NfgTransformer，以统一的 NFG 表示支持多种博弈论任务。 机制与贡献：摘要将策略置换等变性作为架构的归纳偏置，而非将策略排列视为具有固定语义的输入顺序。这一区分关注等变性而非单纯的不变性：博弈意义保持一致，策略相关表示仍需与重新编号对应。具体输入编码、注意力结构、等变性实现方式、损失函数与训练流程尚未验证。 结果与证据：作者报告，该方法在均衡求解、偏离收益估计（deviation gain estimation）与排序等任务中达到最先进性能，并称模型具有可解释性和多用途性。摘要未提供数据来源、博弈规模、训练与测试划分、对照基线、指标或具体数值，因此这些性能主张的适用范围，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是依据任务的真实对称性设计表示，但策略重新编号的等价性不能直接推广为 EEG 通道任意置换的等价性，因为通道通常具有电极位置和生理意义。是否能迁移到 EEG/BCI，需先确认对应的数据结构与对称性假设；现有材料不足以支持具体迁移方案或效果判断，相关 EEG 工作尚未检索确认。复现首先需要核对全文中的博弈生成或采样方式、监督信号、评估协议及实现可获得性。

    阅读价值：值得阅读其如何将策略置换等变性纳入统一的博弈表示，并核对该归纳偏置在均衡求解、偏离收益估计与排序任务中的实际贡献；摘要中的性能与可解释性主张尚需全文验证。

1月1日周一
  1. OpenReview · EEG77

    利用 EEGformer 降低可穿戴癫痫发作检测的误报：面向 MCU 的紧凑 Transformer 模型

    基于摘要分析。研究针对可穿戴设备长期连续监测 EEG 时的癫痫发作自动检测问题，提出紧凑 Transformer 模型 EEGformer，仅使用颞区通道，并通过面向硬件的设计探索兼顾检测延迟、误报率及低功耗 MCU 部署需求。 技术机制：摘要将 Transformer 用于无需手工特征提取的端到端时间序列处理，核心贡献在于将少通道采集条件与端侧计算约束纳入模型设计。具体网络结构、输入窗口、损失函数、训练策略及硬件优化方法尚未验证，不能据摘要判断性能收益分别来自模型设计、预处理还是检测后处理。 检测结果：作者报告，在 CHB-MIT 数据集上，相较于面向颞区采集的现有最先进模型，发作起始检测延迟降低 20%，同时达到 73% 的癫痫发作检测概率和每小时 0.15 次误报（FP/h）。摘要未给出对照模型名称、绝对延迟、被试内或跨被试协议及数据划分，因此这些结果应限定于作者所用评估条件。作者另报告，在一个新的、具有挑战性的头皮 EEG 数据集上，检测到 88% 的标注发作事件，误报率为 0.45 FP/h；该数据集名称、被试规模和评估划分尚未验证，两组结果不能直接比较。 部署结果：作者在单核 Apollo4 MCU 以及并行 GAP8、GAP9 MCU 上评估部署，报告最节能的 GAP9 实现每次推理耗时 13.7 ms、能耗 0.31 mJ。作者据此认为模型可支持少通道、具有多日续航的可穿戴检测系统；但单次推理指标不等于整机续航实测，推理频率、采集与通信功耗及电池条件仍需核对。 复现重点是确认颞区通道配置、连续记录的训练与测试划分、发作事件匹配规则、误报统计时长，以及检测阈值对检出概率、误报率和延迟的影响。实验协议、消融及统计信息尚未验证，代码与部署资源的可用性也尚未确认。该研究属于 EEG 临床监测算法与端侧部署研究，摘要中的检测结果不应直接视为临床有效性验证。

    阅读价值：值得阅读的具体原因是，作者将颞区少通道 EEG 癫痫发作检测的误报率、检测延迟与 MCU 推理能耗联合评估，为可穿戴端侧模型的设计提供了可核对的参考，但数据划分和检测协议仍需全文验证。

9月23日周六
  1. OpenReview · Representation learning76

    用于鲁棒表征学习的上下文视觉 Transformer

    基于摘要分析。研究针对不同群组间潜在因素变化导致的图像分布偏移，提出 Contextual Vision Transformers（ContextViT），通过群组上下文条件化图像表征，并在推理时适应新的测试分布。 核心机制借鉴 in-context learning：将与输入图像属于同一群组的图像信息映射为额外的 context token，再将其附加到输入图像 tokens 中，使表征随群组上下文调整。作者另引入 context inference network，从某一群组的一批样本即时预测 context token。该机制依赖可用的群组归属及同组样本；摘要未说明群组的具体定义、上下文聚合方式、训练损失或测试时是否更新模型参数，因此不能将其直接等同于参数更新式测试时自适应。 作者报告，在监督微调设置下，为预训练 ViTs 加入上下文条件化机制，在 iWildCam 和 FMoW 上持续改善分布外泛化；在自监督表征学习设置下，ContextViT 在 Camelyon17 病理图像及 JUMP-CP 显微图像基准上，比对应 ViT 获得更稳定的分布偏移下图像表征。摘要未给出指标数值、数据划分或效应大小，实验协议、消融及统计信息尚未验证。复现时需核对群组构造、上下文批次采样、预训练条件与基线配置。 平台推测（待验证）：迁移假设是，EEG 的被试或会话可作为群组，上下文条件化可能帮助处理跨被试或跨会话分布变化。可复用 context token 与上下文推断思路，但需将图像 token 编码改为 EEG 时序或时空编码，并明确测试群组可用样本及监督条件。低信噪比、小批次、通道配置差异，以及同组任务类别比例变化，都可能使上下文混入噪声或任务内容。一个可检验的小实验是在固定 Cross-subject 划分下，以同一 EEG 编码器比较无上下文与同组上下文条件化，并加入打乱群组的对照；严格固定测试上下文采样规则，检验增益是否来自有效群组信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其由同组样本推断 context token 的机制及测试时分组协议：这为利用群组上下文处理分布偏移提供了具体方法，但其对 EEG 跨被试或跨会话表征的价值尚未验证。

1月1日周日
  1. OpenReview · State space models76

    用于语音识别的多头状态空间模型

    基于摘要分析。该研究针对语音识别中的序列建模，提出带特殊门控机制的多头状态空间模型 MH-SSM，使并行头学习局部与全局时间动态；同时提出以 MH-SSM 层增强 transformer 模块的 Stateformer。 机制与对照：MH-SSM 被设计为 transformer 编码器中多头注意力的可直接替换模块。作者报告，在 LibriSpeech 语音识别任务上，该架构显著优于 transformer transducer，但摘要未提供这一替换方案的具体分数及显著性检验细节。Stateformer 则采用增强 transformer 模块的方式，不能与完全替换注意力的方案混为一谈。门控形式、状态空间参数化、训练目标及推理实现尚未验证。 结果：作者报告，Stateformer 在不使用外部语言模型的条件下，开发集 word error rate 为 1.76%/4.37%，测试集为 1.91%/4.36%，并称其达到 LibriSpeech 任务的当时最优表现。摘要未明确两组数值对应的子集名称，因此不补写；训练数据配置、对照设置、消融及统计信息尚未验证，也不能据此推断其计算效率优势。 平台推测（待验证）：假设局部与全局时间动态的并行建模能缓解 EEG 长序列中短时事件与较长时间依赖难以兼顾的问题，可尝试复用 MH-SSM 序列模块，但需改造 EEG 通道输入与任务输出。原任务依赖语音序列及语音识别监督，其收益对训练规模的依赖尚不清楚；低信噪比、通道差异、跨被试分布变化及小数据可能使门控学到噪声或被试特异模式。一个可证伪的小实验是在同一 EEG 任务、固定跨被试划分和训练预算下，仅将基线编码器的多头注意力替换为 MH-SSM，比较预先指定的任务指标与跨被试稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：MH-SSM 通过带门控的并行状态空间头建模局部与全局时间动态，值得核对其替换及增强注意力模块的实现与对照，但语音识别收益能否迁移至 EEG 尚未验证。

1月1日周六
  1. OpenReview · EEG73

    EEGformer：面向低通道数可穿戴连续监测设备的基于 Transformer 的原始 EEG 癫痫检测

    基于摘要分析。该研究针对长期连续癫痫监测对低误报、佩戴舒适性和低功耗的要求，提出紧凑的 Transformer 模型 EEGformer，直接使用四个颞区通道的原始 EEG 进行癫痫发作检测，并在微控制器（MCU）上验证实时推理的可行性。 核心思路是利用 Transformer 捕捉时间序列中的长程依赖，减少对针对特定数据设计的手工特征的依赖。摘要未提供输入窗口、具体模型结构、损失函数、训练策略或预处理细节，因此不能据此认定信号完全未经预处理。 作者报告，在所检查的八名患者的癫痫发作事件中，模型检出率为 73%；仅考虑其中六名患者时，事件检出率为 100%，不能将这一子集结果推广到全部患者。作者报告平均发作起始检测延迟为 15.2 秒，误报率为 0.8 FP/h；多数测试获得 100% 特异性，但 40 次测试中有 5 次异常表现，作者将其主要归因于 EEG 伪迹。事件检出率、特异性与每小时误报率反映不同层面的表现，不应相互替代。被试内或跨被试协议、数据划分以及各指标的统计口径尚未验证。 作者以 CHB-MIT Scalp EEG 数据集为参照，与针对目标数据集设计手工特征的先进分类器比较，报告准确性结果接近、发作起始检测延迟降低超过 20%；与两种经优化的卷积神经网络方法比较，作者报告在全部准确性指标上更优。具体基线、指标数值、消融及统计信息尚未验证。 部署方面，作者报告模型在 Ambiq Apollo4 MCU、96 MHz 工作频率下，单次推理耗时 405 毫秒、能耗 1.79 毫焦耳。这支持其嵌入式推理可行性，但不等于已验证整机长期续航或临床连续监测安全性。复现需进一步核对通道选择、窗口与报警规则、患者级划分、伪迹处理，以及推理数值精度和资源占用；代码与权重可用性尚未验证。

    阅读价值：值得阅读的具体原因是作者同时报告了四通道原始 EEG 癫痫发作检测表现与 MCU 实测时延、能耗，可用于核对低功耗连续监测中检测灵敏度、误报和部署成本的权衡，但临床适用性尚未验证。