跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

103 条精选近 30 天 62 条共收录 117 条

更新

精选归档 · 第 5 页

1月1日周三第 81–100 条
  1. OpenReview · EEG72

    EEGDM：基于生成式扩散模型的 EEG 表征学习

    基于摘要分析。该研究针对 EEG 标注有限、信号变异性高导致的表征学习困难，提出生成式扩散表征学习框架 EEGDM，并将预训练得到的潜在 EEG 表征用于下游分类，探索区别于现有 EEG 基础模型的技术路径。 核心机制是用于扩散预训练的结构化状态空间模型 SSMDP：作者以其捕获 EEG 的时间动态，并在 Denoising Diffusion Probabilistic Model（DDPM）框架下训练。随后，作者提出 latent fusion transformer（LFT），利用所得潜在表征完成分类。摘要未说明扩散噪声设定、具体训练目标、潜在表征提取位置及 LFT 的融合方式，这些实现细节尚未验证。 评估采用涉及发作间期癫痫样放电的 TUEV 与涉及癫痫发作检测的 CHB-MIT，并与现有方法及 EEG 基础模型比较。作者报告 EEGDM 优于所比较的方法，但摘要未提供具体指标、数值、基线名单及被试内或跨被试等划分信息，因而尚不能判断优势幅度、统计可靠性或跨协议泛化能力。这些任务属于 EEG 临床事件识别，不能直接视为已验证的 BCI 控制效果。 作者将大型 EEG 基础模型的训练与推理成本、模型增大时收益有限作为研究动机，但摘要并未给出 EEGDM 的参数量、训练开销或推理效率，不能据此确认其计算成本优势。复现时需核对数据预处理、预训练与下游数据的划分关系、分类协议、基线配置以及 SSMDP 和 LFT 的独立贡献；实验协议、消融及统计信息尚未验证。摘要提供了源码与 checkpoint 链接，但其内容、可运行性和复现实验条件尚未核验。

    阅读价值：值得核对其以结构化状态空间模型进行扩散预训练、再融合潜在 EEG 表征的机制，以及相对 EEG 基础模型的分类收益与计算成本；摘要中的性能优势尚需结合完整实验协议验证。

  2. OpenReview · EEG75

    CodeBrain：融合解耦分词器与多尺度架构的 EEG 基础模型

    基于摘要分析。CodeBrain 针对 EEG 通道配置、序列长度和任务目标差异带来的模型迁移困难，提出结合解耦分词器与多尺度架构的 EEG 基础模型，以两阶段训练学习通用表征。 第一阶段，TFDual-Tokenizer 独立对异质的时域和频域成分进行离散编码。作者称该设计可使离散表征空间获得二次方级扩展，并通过跨域 token 分析提供一定可解释性；具体码本规模、组合方式、分词器训练目标及解释性验证尚未验证。第二阶段，EEGSSM 将结构化全局卷积与滑动窗口注意力结合，分别覆盖稀疏长程依赖和局部依赖，并以掩码自监督学习预测 TFDual-Tokenizer 产生的 token 索引。 相较全连接 Transformer，作者认为 EEGSSM 更符合脑组织的小世界拓扑，能够高效捕捉 EEG 的多尺度结构。这是作者对架构的机制解释，尚不能仅凭摘要认定其具有经验证的生物学对应关系或明确的计算效率优势。 作者报告，在 10 个公开 EEG 数据集上采用线性探测评估，实验支持 CodeBrain 的泛化能力。摘要未列出数据集名称、任务、指标、基线或数据划分，因此不能判断这些结果分别对应被试内、跨被试、跨会话还是跨数据集协议，也不能量化性能提升。需进一步核对预训练与下游评估的数据关系、通道差异处理方式，以及解耦分词器和全局—局部架构各自的贡献；实验协议、消融及统计信息尚未验证。 复现方面，摘要说明代码和预训练权重将在未来版本发布，当前材料不足以确认可用实现。复现还需核对预处理流程、掩码策略、码本设置、预训练数据组成及线性探测配置。

    阅读价值：值得关注其时域与频域解耦离散表征及全局—局部依赖建模的组合机制，但跨数据集泛化的具体协议、效率收益与拓扑解释仍需全文核对，代码和预训练权重尚待发布。

  3. OpenReview · State space models71

    SSMLoRA：利用状态空间模型增强低秩适应

    基于摘要分析。SSMLoRA 针对语言模型参数高效微调中 LoRA 表现随插入位置变化、部分插入可能造成参数冗余的问题，引入状态空间模型（SSM）连接低秩矩阵，使适配过程能够利用前一低秩空间的计算，并支持更稀疏的插入。 机制上，摘要描述了输入到低秩空间的映射，以及低秩空间之间的计算复用；其目标不仅是减少可训练参数，还包括减少不必要的适配模块插入。SSM 状态如何传递、低秩矩阵如何连接、插入位置如何选择，以及训练损失与推理开销，均需全文核对，不能仅凭摘要确定具体结构。 作者报告，在 General Language Understanding Evaluation（GLUE）benchmark 上，SSMLoRA 使用 LoRA 一半的适配参数即可取得相当表现；这一结论限于摘要所述 GLUE 对照，基础模型、各任务指标、数据划分、低秩维度及参数统计口径尚未验证。作者还认为其结构有望处理更长输入序列，但摘要未提供长序列实验结果，因此不能视为已验证优势。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接，代码完整性与可复现性仍待检查。 平台推测（待验证）：若 EEG 预训练模型采用多处 LoRA 适配，可假设低秩空间之间的状态传递有助于减少插入点。可复用的是低秩适配与状态连接思路，需改造的是 EEG 骨干接口、跨模块状态定义及通道布局适配。该假设依赖可适配的预训练骨干和足够的任务监督；低信噪比、跨被试差异、通道变化及小样本可能使共享状态传播噪声或产生过拟合。一个可证伪的小实验是在固定跨被试划分与同一 EEG 骨干上，对比常规 LoRA、稀疏 LoRA 和 SSMLoRA，同时控制可训练参数预算与训练条件，检验收益是否来自状态连接而非参数配置。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SSM 连接低秩空间是否能降低 LoRA 对插入位置的敏感性：作者报告在 GLUE 上以一半适配参数取得相当表现，但具体参数口径、插入方案与评估协议尚未验证。

  4. OpenReview · EEG75

    CodeBrain：结合解耦 Tokenizer 与多尺度架构的 EEG 基础模型

    基于摘要分析。CodeBrain 面向通道配置、序列长度和任务目标差异导致的 EEG 模型迁移困难，提出将时频解耦 Tokenizer 与多尺度架构结合的两阶段 EEG 基础模型，以增强异质信号表征和长短程依赖建模。 第一阶段，TFDual-Tokenizer 分别对时间与频率成分进行离散化。作者称，这种解耦方式使离散表征空间获得平方级扩展，并可通过跨域 token 分析提供一定可解释性；具体码本配置、组合方式及解释性验证尚未验证。第二阶段，EEGSSM 将结构化全局卷积与滑动窗口注意力结合，用于联合建模稀疏长程依赖和局部依赖，并以掩码自监督目标预测 TFDual-Tokenizer 生成的 token 索引。摘要未给出具体损失形式、掩码策略或训练规模。 相较于全连接 Transformer，作者将 EEGSSM 的设计解释为更贴近脑网络的小世界拓扑，并更高效地捕捉 EEG 的多尺度结构。这是作者的结构动机与结论，尚不能据此认定模型已验证真实脑连接结构，或在计算开销上具有确定优势。 作者报告，在 10 个公开 EEG 数据集上采用 linear probing 评估，结果支持 CodeBrain 的泛化能力。摘要未提供数据集名称、任务、被试数量、划分方式、对照基线和指标数值，因此无法判断其证据对应被试内、跨被试、跨会话还是跨数据集泛化，也不能直接比较不同协议下的性能。 复现时需核对时频解耦与多尺度模块各自的贡献、不同通道配置和序列长度的处理方式，以及预训练与下游评估的数据关系。实验协议、消融及统计信息尚未验证。作者表示代码与预训练权重将在未来版本发布；当前材料不能确认其已公开，也不能据此归类为模型或软件发布。

    阅读价值：值得阅读其时频解耦离散表征与全局—局部依赖建模的组合机制，但作者所述泛化能力与效率优势仍需结合完整评估协议、消融及资源开销核对。

11月12日周二
  1. OpenReview · Representation learning76

    通过指令微调进行无监督文本表示学习，用于零样本稠密检索

    基于摘要分析。该研究针对稠密检索依赖标注数据、低资源场景难以获得监督信号的问题，在双编码器检索框架下对预训练编码器—解码器 LLM 进行指令微调，以学习无监督文本表示并改善零样本检索。 核心机制包含两部分：利用指令微调后的 LLM 生成与语料文本相关的合成查询，并以这些查询的表示增强语料表示；再通过 self-instruct tuning 对齐查询与语料文本的表示。作者将表示增强的理论依据关联到 Rao-Blackwell 定理，但摘要不足以核对其具体估计量、适用假设、表示组合方式及训练目标。 作者在低资源设置下，使用三个英语、两个德语和一个葡萄牙语检索数据集，以 NDCG@10、MRR@100 和 Recall@100 评估方法。作者报告所有指标的平均零样本检索表现均得到改善，相对开箱即用的 FLAN-T5 不同模型变体，绝对 NDCG@10 增益区间为 [4.73%, 6.15%]（保留摘要原文数值表述），并超过四个有监督稠密检索器。数据集名称、训练与测试划分、各指标分项结果、模型规模、对照训练条件及统计显著性检验尚未验证，不能据此认定在所有单独数据集上均占优。 平台推测（待验证）：其较直接的 BCI 应用是领域文献或实验记录的文本检索，而非 EEG 信号表征学习。迁移假设依赖生成模型能够产生准确的 BCI 专业查询；可复用合成查询增强与表示对齐思路，但需验证术语错误和生成偏差是否损害检索。摘要未提供将该机制映射到 EEG 时序、通道或跨被试结构的依据，不能推断其提升 EEG 解码；相关 EEG 工作尚未检索确认。复现还需核对指令模板、合成查询生成设置、表示聚合方式与实现可用性。

    阅读价值：值得核对其利用合成查询增强文档表示并通过自指令微调对齐查询与文档的机制，以及低资源零样本检索增益对模型规模、数据划分和对照设置的依赖。

10月22日周二
  1. OpenReview · Representation learning81

    面向强化学习的有理论依据的视频表征学习

    基于摘要分析。本文研究如何利用视频数据预训练适用于决策的表征，核心目标是恢复底层 MDP 的潜在状态，并分析这些表征能否支持高效的下游强化学习。贡献在于区分 iid 观测噪声与时间相关外生噪声，给出不同条件下的样本复杂度结论。 作者考察 autoencoding、temporal contrastive learning 和 forward modeling 三类常见方法。在仅存在 iid 噪声的设定下，作者报告为 temporal contrastive learning 和 forward modeling 证明了上界：这些方法能够学习潜在状态，并支持具有多项式样本复杂度的下游 RL。摘要未给出 autoencoding 的对应理论结论，也未提供具体损失、模型实现及定理成立的完整假设，尚需正文核对。 对于还包含外生噪声的设定，例如背景中人物或车辆运动造成的非 iid、时间相关变化，作者报告了一个下界：从视频学习的样本复杂度可能比从带动作标签的轨迹学习呈指数级劣化。这是特定理论设定下的困难性结论，不能泛化为所有视频预训练方法必然失效。作者报告在三个视觉领域开展了实验，结果与理论发现一致；领域名称、数据划分、对照基线、指标、消融及统计信息尚未验证。 平台推测（待验证）：本文对 EEG 表征学习的启发是区分与任务相关的潜在状态和时间相关干扰，而非直接复用视觉实验结果。迁移假设依赖 EEG 序列中存在可辨识的任务状态及适用的动态模型；可考察 temporal contrastive learning 的训练思路，但需改造信号编码与时间采样。低信噪比、跨被试差异、通道变化及小数据可能使模型优先编码干扰。一个可检验的小实验是在固定被试内划分下，对比加入独立噪声与时间相关干扰后，预训练表征在同一下游任务上的表现变化。该实验仅检验机制假设，不验证原论文的 RL 复杂度结论；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是作者以理论上下界区分 iid 噪声与时间相关外生噪声下视频表征学习的可行性，为判断无动作标签预训练何时有助于下游 RL 提供了可核对的条件。

10月16日周三
  1. OpenReview · State space models71

    SSMLoRA：利用状态空间模型增强低秩适配

    基于摘要分析。SSMLoRA 针对语言模型参数高效微调中 LoRA 对插入位置敏感、部分插入可能冗余的问题，引入状态空间模型（SSM）连接低秩矩阵，旨在通过复用先前低秩空间的计算，在更稀疏的插入配置下维持任务性能。 机制上，标准 LoRA 向预训练权重矩阵引入低秩适配参数；SSMLoRA 在输入映射至低秩空间之外，进一步利用先前低秩空间的计算。其主要研究价值是检验适配模块之间的信息传递能否降低对插入密度的依赖。摘要未说明 SSM 的具体状态更新、连接顺序、插入策略、训练损失或基础语言模型，相关实现尚未验证。 作者报告，在 GLUE 基准上，SSMLoRA 使用 LoRA 一半的参数获得可比性能；摘要未提供具体分数、任务级结果、参数统计口径及训练和评估划分，不能据此判断所有任务均保持性能。作者还认为其结构有望处理更长输入序列，但摘要未给出相应长序列实验结果。实验协议、消融及统计信息尚未验证，复现前需核对插入数量、低秩维度、SSM 开销与对照配置。 平台推测（待验证）：假设 EEG 预训练模型具有多个可插入适配模块的位置，跨模块复用低秩计算可能帮助降低下游微调参数量，但语言理解结果不等于 EEG/BCI 有效。可复用的是低秩适配与 SSM 连接思路，需改造的是适配位置、输入表示及状态传递方式；摘要并未确定这种状态传递是否对应时间维度。低信噪比、跨被试分布差异、通道变化和小样本可能使共享状态传播无关信息。一个可证伪的小实验是在同一 EEG 预训练模型与固定 Cross-subject 划分下，对比标准 LoRA、稀疏 LoRA 与 SSMLoRA，在匹配适配参数预算时检验任务性能及稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其通过 SSM 连接低秩适配计算、减少 LoRA 插入位置的机制，以及作者报告的 GLUE 性能与适配参数量权衡；其长序列优势尚待具体实验验证。

9月28日周六
  1. OpenReview · Representation learning73

    面向稳健因果表征学习的预训练语言模型微调

    基于摘要分析。该研究针对预训练语言模型（PLMs）微调后依赖非因果、虚假特征而难以泛化到域外（OOD）数据的问题，提出在单域场景下结合微调表征与因果前门调整，学习更稳健的表征。其核心贡献是建立微调、数据增强与因果机制之间的联系，以支持域泛化。 机制方面，摘要明确指出方法依赖一项 decomposition（分解）假设，并将微调得到的表征作为数据增强来源，通过 causal front-door adjustment（因果前门调整）构建稳健表征。作者将这一思路与依赖较强无隐藏共同原因假设的调整方法，以及依赖多域数据抑制虚假特征的方法区分开来。但分解对象、因果变量关系、前门调整的具体实现、训练目标及推理流程尚未验证；“较温和假设”是作者对适用条件的描述，仍需结合正文核对。 作者报告，在合成与真实场景的实验中，该方法相较现有方法具有更好的泛化能力。摘要未提供数据集、任务、模型规模、划分方式、对照基线或指标数值，实验协议、消融及统计信息尚未验证，不能据此判断优势幅度或适用范围。 平台推测（待验证）：这一机制可能为 EEG 中抑制被试或采集环境相关的虚假特征提供思路，但语言表征上的有效性不等于 EEG/BCI 有效。可探索复用表征增强与因果调整框架，需改造 EEG 编码器、增强方式及变量分解定义，并确认单域监督条件下相关假设是否成立；低信噪比、通道变化、小样本及跨被试差异可能使增强保留混杂因素，或破坏任务相关信息。一个可证伪的小实验是在固定被试内训练、跨会话测试的 EEG 分类协议下，比较普通微调、仅表征增强及加入因果调整的版本，检查域外收益是否稳定。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其如何在单域监督数据下，以微调表征作为数据增强来源并结合因果前门调整构建稳健表征，尤其是分解假设的适用条件与域外泛化的验证协议。

9月26日周四
  1. OpenReview · EEG76

    以大型时空 Transformer 为基础模型学习鲁棒 EEG 表征

    基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题，提出时空 EEG Transformer（ST-EEGFormer），通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模，与跨 MI、P300、SSVEP 范式的适应性评估结合起来。 方法将原始 EEG 切分为片段（patches），投影到嵌入空间，并加入空间与时间嵌入。作者以掩码自编码器（MAE）任务进行自监督预训练，预训练数据由六个公开运动想象（MI）数据集、一个公开 P300 数据集和一个公开稳态视觉诱发电位（SSVEP）数据集组成。摘要未提供片段长度、空间位置编码方式、掩码策略、重建目标细节或模型规模，尚不能确认其处理不同通道配置的具体实现条件。 评估包括预训练所涉及八个数据集上的下游分类微调，以及两个未参与预训练的公开数据集：癫痫发作分类数据集和在线 MI BCI 数据集。对照模型包括简单线性模型、EEGNet、监督学习模型 EEG Conformer，以及基础模型 BIOT 和 Large Brain Model（LaBraM）。作者报告，预训练后的 ST-EEGFormer 在八个预训练数据集的下游分类中均取得高于所比较模型的 Accuracy，并在新数据集、有限训练数据条件下表现出较强泛化能力；摘要未给出具体数值或有限数据的规模。 这些结果支持进一步核查统一时空表征与 MAE 预训练的适应性，但不能直接解释为已验证的跨被试、跨会话或无需微调的泛化。数据集名称、被试数、训练与测试划分、预训练与评估样本的关系、各基线微调预算、消融及统计信息尚未验证。作者还提供模型及支撑结果的特征可视化，其解释性结论需结合正文审阅；代码、权重与完整复现条件尚未验证。

    阅读价值：值得阅读其跨 MI、P300 与 SSVEP 范式的统一预训练设计，以及在未参与预训练的数据集上检验有限训练数据条件下泛化能力的实验；作者报告的优势仍需结合具体划分、微调预算与统计结果核对。

6月18日周二
  1. OpenReview · State space models75

    ProtMamba：一种感知同源性但无需序列比对的蛋白质状态空间模型

    基于摘要分析。ProtMamba 针对蛋白质设计中如何利用同源序列的进化信息、同时避免依赖不完善的多序列比对构建流程这一问题，提出基于 Mamba 的蛋白质语言模型。其核心贡献是将拼接的同源序列作为长上下文输入，在不进行序列比对的情况下建模同源信息。 机制与训练：模型在大规模拼接同源序列数据上训练，通过 fill-in-the-middle 目标结合自回归与掩码语言建模。作者报告，相比基于注意力的模型，ProtMamba 能高效处理包含数百条蛋白质序列的长上下文。摘要未给出数据集名称、具体规模、模型参数量、目标实现及计算效率测量条件，这些信息尚未验证。 结果与证据边界：作者报告模型可用于新序列生成和适应度预测，并在模型规模较小的情况下取得与其他蛋白质语言模型有竞争力的表现，认为这体现了长上下文条件信息的重要性。具体指标、对照模型、数据划分、同源关系控制、消融及统计信息尚未验证，因此不能据此判断性能提升幅度或将效果单独归因于 Mamba、同源上下文或训练目标。 平台推测（待验证）：其长上下文条件建模机制可能为 EEG 中利用多段相关记录提供思路，但蛋白质同源序列的进化关系并不等同于跨被试或跨会话的 EEG 关联。迁移假设依赖可靠的记录分组与上下文构造，需要改造连续信号表示、通道编码和训练目标；低信噪比、通道差异及小数据可能使长上下文引入无关信息。一个可检验的小实验是在固定 EEG 任务与数据划分下，比较相关记录上下文、随机记录上下文和无上下文条件，检验收益是否来自上下文相关性。该实验仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 ProtMamba 以无需多序列比对的同源序列长上下文建模探索进化信息利用，并结合 fill-in-the-middle 训练目标；其性能与规模优势仍需结合全文中的评估协议和对照核验。

1月16日周二
  1. OpenReview · Representation learning81

    面向强化学习的原则性视频表征学习

    基于摘要分析。该研究探讨如何利用视频预训练面向决策的表征，核心目标是恢复底层 MDP 的潜在状态，并从理论上刻画不同噪声条件下的学习难度。研究比较 autoencoding、temporal contrastive learning 与 forward modeling，区分观测中的 iid 噪声，以及具有时间相关性的外生噪声，例如背景中人员或车辆的运动。 理论方面，作者报告：在仅有 iid 噪声的设定下，为 temporal contrastive learning 和 forward modeling 建立了上界，表明这些方法能够学习潜在状态，并支持具有多项式样本复杂度的下游 RL。在同时存在外生噪声的设定下，作者建立下界，说明从视频学习的样本复杂度可能比从带动作标签的轨迹学习呈指数级恶化。该结论针对摘要所述设定，不宜扩展为所有视频预训练方法均无效；定理所需的可辨识性条件、数据生成假设及复杂度依赖项尚未验证。 实验方面，作者报告在两个视觉领域评估了这些表征学习方法，结果与理论发现一致。摘要未提供领域名称、数据规模、划分、对照细节或具体指标；autoencoding 的具体理论结论，以及实验协议、消融及统计信息尚未验证。摘要也未说明实现与复现资源。 平台推测（待验证）：若将视频中的潜在状态与外生干扰结构对应到 EEG，本文可为区分任务相关动态与时间相关干扰提供分析视角，但前提是潜在状态及决策结构的假设适用。可借鉴的是噪声分类与表征目标的比较框架；观测建模和决策接口需针对 EEG 改造。低信噪比、跨被试差异、通道变化及小数据都可能破坏状态可辨识性，不能由视觉领域结论推出 BCI 效果。一个可检验的小实验是在可控潜在状态的多通道模拟信号中，分别加入 iid 与时间相关干扰，比较上述表征方法的状态恢复能力，并在明确记录动作的决策设定中加入带动作标签的轨迹对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 iid 噪声与时间相关外生噪声的理论区分，以理解视频预训练何时支持高效下游 RL、何时相较带动作标签的轨迹面临样本复杂度障碍；具体定理条件尚待全文核对。

  2. OpenReview · Representation learning76

    理解 CLIP 中的可迁移表征学习与零样本迁移

    基于摘要分析。本文研究 CLIP 如何通过视觉—语言对比预训练学习可迁移的联合表征，以及这些表征为何能支持下游零样本迁移；贡献包括跨模态特征对齐的形式化分析、零样本迁移性能分析，以及由理论分析启发的新 CLIP-type 方法。 机制与证据：CLIP 利用图像与文本两种模态的对比预训练学习联合表征。本文围绕不同模态的特征如何对齐展开理论研究，并以真实数据实验支持理论分析。摘要未提供理论假设、对齐的数学定义、性能界或新方法的具体改动，因此尚不能判断其结论依赖何种数据结构、监督条件与训练规模，也不能将其归纳为某种具体损失或网络结构。 结果与核验：作者报告，新 CLIP-type 方法在基准数据集上优于 CLIP 及其他当时的先进方法。摘要没有给出数据集名称、任务、划分、指标或提升幅度；实验协议、消融及统计信息尚未验证。复现需进一步核对预训练数据、对照模型、零样本提示与评估设置，以及实现和计算资源要求。 平台推测（待验证）：跨模态对齐分析可能为 EEG 与文本或其他模态的联合表征研究提供理论视角，但这是迁移假设，不是本文已验证的 BCI 结果。可借鉴的是对齐与迁移的分析思路；EEG 编码、配对语义和时序聚合需另行设计，低信噪比、跨被试差异、通道配置与小样本可能削弱对齐效果。由于具体方法和理论条件尚不明确，目前不宜据此制定方法级复现实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 CLIP 跨模态特征对齐与零样本迁移的理论分析，但新方法的性能优势及其对 EEG 的适用性仍需结合全文与实验协议核验。

  3. OpenReview · Representation learning74

    基于细粒度交互的蛋白质–配体结合表征学习

    基于摘要分析。该研究针对蛋白质–配体结合预测中监督数据有限、模型泛化受限的问题，提出以细粒度交互为核心的自监督表征学习方法。不同于分别预训练蛋白质和配体的思路，作者将预训练表述为：给定结合口袋与配体，预测最终结合复合物结构。 机制上，方法采用基于 Transformer 的交互模块，并设置原子对距离图预测与配体掩码重建两项预训练任务，分别从结构空间和特征空间建模结合交互。摘要未说明距离图的具体覆盖范围、掩码策略、损失形式及任务组合方式，这些实现细节尚未验证。 作者报告，该方法在蛋白质–配体亲和力预测、虚拟筛选和蛋白质–配体对接等任务中表现优于对照方法，但摘要未提供数据集、数据划分、基线名称、指标或数值，因而无法判断优势幅度及泛化边界。实验协议、消融及统计信息尚未验证；复现还需核对预训练数据来源、复合物结构处理、下游训练设置，以及代码和模型权重的可用性。 平台推测（待验证）：可借鉴的是“显式关系预测与掩码重建联合预训练”的机制，而非直接移植分子结合模型。其原始任务依赖结合口袋、配体及原子级结构关系；EEG 中可假设用通道间关系预测辅助掩码信号重建，以应对标注有限时的表征学习问题。可复用交互建模和双任务框架，但需改造输入编码与关系目标，不能将原子距离直接等同于 EEG 功能连接。低信噪比、参考方式、跨被试差异和通道配置变化均可能使关系目标不稳定，小数据下也可能学到伪迹。一个可证伪的小实验是：在固定 Cross-subject 划分和相同预训练数据条件下，对比仅掩码重建与加入关系预测的模型，检验下游性能及通道扰动稳定性是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以原子对距离预测和配体掩码重建联合学习细粒度交互的自监督机制，但摘要中的多任务优势仍需结合完整实验协议核对，向 EEG 的迁移尚未验证。

1月1日周一
  1. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。

12月17日周日
  1. OpenReview · Representation learning78

    视频自监督表征学习的基准评估

    基于摘要分析。该研究针对视频自监督表征学习中实验设置不统一、方法间难以比较的问题，提出统一比较基准，并系统研究预训练数据及模型选择对下游表现的影响。作者还依据研究观察提出一种使用有限训练数据的方法，但摘要未说明其具体机制。 研究覆盖数据集规模、复杂度、数据分布、数据噪声和特征分析五个方面。作者报告，实验涉及七种方法、七种网络架构、五个数据集及两种下游任务；摘要未列出名称、数据划分、评估指标及各方法与架构的组合方式。这些数量仅说明研究覆盖范围，不能据此判断各设置之间的可比性。 作者报告，所提出方法在使用有限训练数据时，优于使用其十倍预训练数据的已有最先进方法。该结论对应的任务、指标、数据来源、对照方法与训练预算尚未验证，不能解读为通用的数据效率优势。复现时需核对统一基准如何控制架构、预训练预算和下游评估方式，以及各项观察是否得到消融与统计分析支持；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：对数据规模、分布和噪声的分项评估思路，可用于考察 EEG 自监督预训练在小数据和跨被试条件下的稳定性；可复用的是评估框架，而非尚未披露的视频方法机制。若用于 EEG，需改造输入表示、预训练任务与噪声设置，并控制被试划分。低信噪比、通道差异和小样本可能改变视频领域观察到的规律。一个可检验的小实验是在固定模型与下游标注预算下，改变无标签 EEG 预训练数据规模和噪声强度，以固定跨被试划分检验表征收益是否稳定。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是其在统一评估条件下考察视频自监督学习对数据规模、分布及噪声等因素的依赖，可为预训练方法的公平比较提供参考；具体协议与结论适用范围尚未验证。

11月7日周二
  1. OpenReview · Representation learning73

    理解 CLIP 中的可迁移表征学习与零样本迁移

    基于摘要分析。本文研究 CLIP 的视觉—语言对比预训练为何能够形成可迁移表征，以及这些表征如何支持下游任务的零样本迁移。作者对跨模态特征对齐进行形式化分析，并据此提出一种新的 CLIP-type 方法。 机制与贡献：CLIP 通过视觉—语言对比预训练学习联合图像与文本表征；本文的分析重点是不同模态特征如何对齐，以及这种表征与下游零样本迁移性能之间的关系。摘要未提供理论假设、具体定理、损失形式或新方法相对 CLIP 的改动，因而尚不能判断其解释适用范围与实现条件。 结果与证据边界：作者报告，新方法在基准数据集上优于 CLIP 及其他被比较的方法，但摘要未列明数据集、任务、指标、数值和对照配置。实验协议、消融及统计信息尚未验证；复现还需核对训练数据、模型配置、评估流程及实现是否可获取。 平台推测（待验证）：假设跨模态对齐的理论条件也适用于 EEG 与文本或刺激表征的配对学习，该分析可能帮助理解 EEG 表征的语义迁移瓶颈，但视觉—语言领域的有效性不等于 BCI 有效性。可借鉴的是对齐与迁移的分析思路；EEG 编码器、配对粒度和语义监督需另行设计，原方法依赖的数据结构、监督条件及规模也需核对。低信噪比、跨被试差异、通道配置变化与小样本可能破坏对齐条件。待全文机制明确后，可在具有可靠刺激配对的 EEG 数据上，以相同数据划分和编码器比较 CLIP 式目标与新方法，检验留出被试或留出类别上的迁移表现是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 CLIP 跨模态特征对齐与零样本迁移的理论分析，但新方法的性能优势及其向 EEG 表征学习迁移的价值尚需核对全文与实验。

10月28日周六
  1. OpenReview · Representation learning73

    自监督跨表表征学习的规模扩展实验

    基于摘要分析。该研究关注深度表格表征学习的规模扩展潜力，提出面向单表与跨表学习的 Transformer 架构，并通过自监督掩码单元格恢复进行预训练，考察模型规模与预训练设置对表征质量的影响。 核心机制是使用表特定 tokenizer 处理不同表格，并共享 Transformer 主干；训练以缺失值插补为任务，通过恢复被掩码的单元格学习表征。摘要未说明 tokenizer 如何编码列类型、表结构与单元格，也未给出掩码策略或具体损失形式。 作者报告，规模实验覆盖约 10^4 至 10^7 参数的模型，预训练数据由 76 个不同数据集组成，共包含 135 M 个训练 token。评估分别考察单表与跨表预训练设置，在整理的基准数据集上使用线性探测，并与常规基线比较。摘要未列出基准名称、划分方式、基线名称或性能指标，因此尚不能判断规模收益、跨表迁移效果及其统计可靠性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，将 EEG 的结构化试次特征视为表格，用数据集特定 tokenizer 接入共享主干，以应对不同特征布局下的表征复用问题。可复用部分是共享主干与掩码恢复目标；需改造特征编码、通道与频带对应关系，并明确跨被试、跨会话的划分。原方法依赖表格单元格结构与较大规模预训练数据，不能直接等同于原始 EEG 时序建模；低信噪比、通道差异及小数据可能使恢复目标偏向噪声或数据集特征。可检验的小实验是在固定 Cross-subject 划分及相同训练预算下，对比单数据集与跨数据集预训练后的冻结表征线性探测，且预训练排除测试被试。相关 EEG 工作尚未检索确认。

    阅读价值：该研究以表特定 tokenizer 与共享 Transformer 主干探索跨表自监督预训练及规模效应，值得核对其线性探测对照和跨表泛化协议，但摘要未提供性能结果。

10月8日周日
  1. OpenReview · Representation learning76

    表征投影不变性缓解表征坍塌

    基于摘要分析。本文研究预训练语言模型微调时的表征退化（表征坍塌）问题，提出 Representation Projection Invariance（REPINA）正则化，通过抑制不期望的表征变化来维持表征的信息含量。研究同时扩展了表征坍塌的分析，并提出若干量化指标。 机制与证据：摘要将 REPINA 描述为作用于微调过程的表征约束，但未提供投影操作、约束对象或损失的具体形式，这些细节尚未验证。作者报告，在包含 GLUE benchmark 和六个额外数据集的 13 项语言理解任务上，与 5 个可比基线进行域内评估时，REPINA 在其中 10 项任务上优于其他基线。作者还报告分布外表现改善、少样本设置下有效，以及对标签扰动具有鲁棒性；摘要未给出相应指标、效应大小及具体协议，不能据此比较不同评估条件下的收益。作者报告其方法更有效地缓解表征坍塌，但坍塌指标与下游性能之间的关系仍需核对正文。 平台推测（待验证）：迁移假设是，若预训练 EEG 表征在小样本任务微调中也出现信息退化，类似表征正则化可能有助于保留可迁移信息。原方法依赖预训练语言模型的上下文表征与下游微调流程；其具体监督条件、数据规模要求及投影机制尚未验证。可借鉴的是约束表征变化和量化坍塌的思路，需改造的是 EEG 时间窗、通道结构及预训练与微调表征的对应方式。低信噪比、跨被试差异及通道变化可能使约束保留噪声或被试特异信息，过强约束也可能阻碍任务适应。 可检验的小实验：取得完整方法后，在固定的 Cross-subject EEG 划分下，对同一预训练模型比较常规微调与加入 REPINA 的微调，统一标签预算和调参规则，同时观察任务指标及表征坍塌指标是否共同改善。此方案并非已验证结果；已有 EEG 相关工作尚未检索确认。完整实验协议、消融及统计信息尚未验证。

    阅读价值：REPINA 将微调中的表征坍塌缓解与域内、分布外及少样本表现联系起来，值得核对其正则化定义、坍塌度量及基线比较，但其对 EEG 微调的价值尚未验证。

9月26日周二
  1. OpenReview · Representation learning78

    URL：面向可迁移不确定性估计的表征学习基准

    基于摘要分析。研究关注预训练模型迁移到新数据集时，不确定性估计能否与表征一起可靠迁移，提出 Uncertainty-aware Representation Learning（URL）基准。该基准同时评估表征的迁移能力，并使用一项新指标衡量不确定性估计的零样本迁移能力；指标定义与具体计算方式尚未验证。 作者报告，在 ImageNet 上预训练、迁移至八个下游数据集的评估中，比较了十种不确定性估计方法：关注表征本身不确定性或直接估计预测风险的方法，优于基于上游类别概率的方法。摘要未提供下游数据集名称、具体方法清单、分数及数据划分，因此不能据此比较不同协议下的效果。作者认为，可迁移的不确定性量化仍是开放挑战，但不一定与传统表征学习目标冲突；这一判断的适用范围及统计支持需核对全文。 其评估思路区分了“表征能否支持下游任务”与“不确定性是否仍能反映下游风险”，有助于避免将上游类别置信度直接视为跨任务可靠性。来源提供了代码链接，但实现细节、运行条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 预训练表征在跨被试或跨数据集迁移时仍包含可识别的风险信息，URL 的双重评估思路可能用于检验表征质量与不确定性质量是否同步变化。可复用的是评估框架；需改造的是 EEG 编码器、下游任务接口及与任务风险对应的评价实现。低信噪比、通道差异和小样本可能使不确定性主要反映采集条件，而非预测错误。一个可检验的小实验是在固定的 Cross-subject 划分下，比较表征不确定性与上游类别概率对下游错误的识别能力，并同时报告任务性能。此处为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：URL 将表征迁移能力与不确定性估计的零样本迁移能力分开评估，值得用于核对预训练模型的不确定性是否能随表征一起迁移，但其对 EEG 的适用性尚未验证。

9月23日周六
  1. OpenReview · Representation learning76

    面向机器人操作的人类导向表征学习

    基于摘要分析。该研究针对机器人操作中的视觉表征学习，提出在预训练视觉编码器上进行人类导向的多任务微调：以手部检测、状态估计等与人类—环境交互相关的感知技能作为学习任务，并通过 Task Fusion Decoder 引导表征编码这些技能共同需要的结构，服务于下游机器人操作策略学习。 核心机制是将 Task Fusion Decoder 作为即插即用的嵌入转换模块，利用不同感知技能之间的潜在关系来指导表征学习。与仅依赖自监督目标的视觉表征相比，作者主张，联合学习多个简单但与交互相关的感知技能，更适合为机器人操作提供可泛化表征。摘要未说明任务关系的具体建模方式、监督来源、损失形式，以及视觉编码器与解码器的训练配置，这些细节尚未验证。 作者报告，在覆盖多种机器人任务与机器人形态的仿真及真实环境实验中，Task Fusion Decoder 持续改善了 R3M、MVP 和 EgoVLP 三种视觉编码器用于下游操作策略学习的表征。摘要未提供具体数据集、数据划分、评估指标、提升幅度或逐项对照结果，因此尚不能量化增益或判断不同实验之间的可比性；实验协议、消融及统计信息尚未验证。摘要指向包含演示、数据集、模型和代码的项目页面，但资源内容与复现条件尚未核验。 平台推测（待验证）：可迁移的假设是，通过与目标任务相关的辅助感知任务及其关系约束，缓解 EEG 表征与下游任务需求不匹配的问题。原方法依赖视觉输入及多任务监督，迁移时需将视觉编码器和感知任务替换为 EEG 编码器及有明确监督依据的辅助任务，并重新定义任务间关系；不能直接沿用手部检测等视觉技能。低信噪比、跨被试与通道差异、小样本监督可能导致辅助任务学习伪相关或产生负迁移。一个可检验的小实验是在固定 EEG 数据划分和监督预算下，对比单任务微调、多任务微调及加入任务融合模块的方案，观察跨被试性能是否稳定改善。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对 Task Fusion Decoder 如何利用感知技能间的关系改进预训练表征，以及其在不同视觉编码器和机器人操作任务中的增益是否具有一致的评估依据。