跳到正文
只看表征与基础模型#发表状态未知
12月31日周三
  1. OpenReview · EEG69

    用于长序列 EEG 建模的高效自监督框架

    该研究针对 EEG 低信噪比、高被试间差异及 Transformer 长序列建模的计算开销，提出自监督框架 EEGM2，通过结合 Mamba-2 的 U 形编码器—解码器与联合 L1-spectral 损失，兼顾长程依赖建模和时频特征保留。以下基于摘要分析，未取得论文全文。 核心机制方面，摘要称 Mamba-2 的选择性信息传播机制有助于捕获长程依赖，并使框架达到线性复杂度。联合 L1-spectral 损失用于保留时间动态与频谱特征，但其具体形式、权重配置、频谱计算方式及自监督任务构造尚未验证，不能据此认定采用了掩码建模或特定重建协议。U 形结构与 Mamba-2 的具体组合方式也需查阅全文。 结果方面，作者报告 EEGM2 在短序列与长序列建模中达到领先性能，并具备较强的跨被试泛化与跨域迁移能力；同时报告内存占用降低、推理加快。摘要未提供数据集、被试数、序列长度、划分方式、基线、指标或数值，因此这些结论目前只能作为作者报告，不能量化优势，也不能将跨域迁移直接等同于跨数据集评估。实验协议、消融及统计信息尚未验证。 复现时应重点核对：线性复杂度对应的计算范围与实际序列长度；相同硬件、批量大小和精度下的内存与推理开销；跨被试评估中的预训练与下游数据划分；以及 Mamba-2 和 L1-spectral 损失各自的贡献。摘要提供了模型与代码地址，但其可访问性、配置完整性及结果可复现性尚未验证。面向资源受限 BCI 设备的适用性是作者提出的应用判断，实际设备上的延迟、内存和功耗表现仍需核对。

9月23日周二
  1. OpenReview · Representation learning75

    关系表征学习

    基于摘要分析。该研究提出 Relational Representation Learning（RRL），将表征学习统一描述为关系图估计问题：不再孤立地处理样本，而是通过样本间的成对关系定义学习目标，并由编码器产生的嵌入估计关系图、最小化其与指定目标图的差异。 核心贡献是把自监督、半监督与监督学习目标纳入同一数学框架。作者据此分析自监督学习中的收敛缓慢、性能差异，以及 projector 与 backbone 的准确率差距，并讨论辅助投影头的作用。摘要未给出关系图的具体构造、差异度量、损失形式或训练流程，这些实现细节尚未验证。 作者报告，在其所用实验设置中，提高图内关系的丰富度能够加快收敛并改善下游表现。摘要未提供数据集、划分、对照基线、指标数值或关系丰富度的操作定义，因此目前无法判断改善幅度与适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 样本之间能够定义可靠的任务相关关系，RRL 或可用于研究跨被试表征中任务信息与个体差异的分离。其迁移依赖可用的成对关系或监督信息，以及足够稳定的图估计；可复用的是目标图与嵌入关系匹配的思路，需改造 EEG 编码器、关系构造及通道对齐方式。低信噪比可能使图主要反映伪迹，被试与通道差异可能主导样本关系，小数据则可能导致关系估计不稳定。一个可证伪的小实验是，在固定 EEG 数据划分、编码器与训练预算下，比较原有预训练目标和 RRL 目标，并逐步改变关系丰富度，观察收敛速度与同一跨被试协议下的下游指标是否同步改善。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其将多类预训练目标统一为关系图估计的形式化框架，并核对关系丰富度如何影响收敛与下游表现；这些结论在 EEG 场景中的适用性尚未验证。

7月13日周日
  1. OpenReview · Representation learning60

    知识图谱增强的 DNA 表征学习

    基于摘要分析。研究针对 DNA 预训练模型主要依赖核苷酸序列自监督学习、难以利用专家整理的结构化知识这一问题，提出 Knowledge Graph-Augmented DNABERT（KGA-DNABERT），在 DNABERT-2 的掩码语言建模（MLM）目标之外引入知识图谱（KG）建模。其贡献包括探索序列表征与知识图谱嵌入的结合，并报告这一尝试在所测试知识图谱上的收益有限。 方法上，作者从人类基因组数据库 GenomicKB 提取事实三元组以构建 KG，并纳入六种常用 KG embedding 方法，尝试补充序列层面之外的知识。摘要未列出这些方法的名称，也未说明三元组与序列的对齐方式、目标组合形式及训练流程，因此尚不能判断知识通过何种具体路径影响 DNA 表征。 结果方面，作者报告，在本文测试的 KG 条件下，加入知识图谱未带来实质性收益；摘要没有提供任务、指标、划分协议或数值。作者将这一结果归因于所构建 KG 仅覆盖 GenomicKB 的一部分、知识覆盖不足，但这一解释是否得到覆盖率分析或受控实验支持尚未验证。该结论不宜扩大为知识图谱增强 DNA 表征普遍无效。实验协议、消融及统计信息尚未验证，代码与复现条件也尚未验证。 平台推测（待验证）：其可迁移假设是，结构化领域知识可能补充 EEG 自监督序列表征，但需先建立可与 EEG 样本对齐的实体、关系及知识监督；DNA 中的实体关系不能直接复用。可借鉴的是辅助 KG 建模思路，需改造的是知识构建与信号对齐模块。低信噪比、跨被试差异、通道配置变化和小数据可能使知识对齐不稳，或让辅助目标引入偏差。一个可检验的小实验是在固定 EEG 数据划分与编码器条件下，对照仅掩码建模、加入真实 KG 和加入关系打乱的 KG，并控制知识覆盖率，检验收益是否确由结构知识带来。已有 EEG 相关工作尚未检索确认。

6月22日周日
  1. OpenReview · Representation learning67

    因果信息指导的统一语义与 ID 表示学习

    基于摘要分析。研究针对大规模在线广告推荐中曝光有限、数据稀疏及冷启动条件下的物品表示问题，提出融合语义 token 与 ID token 的统一表示学习框架，并结合分层相似度机制与因果学习原则，以改善物品区分能力和泛化能力。 核心机制：ID token 作为物品特有信息的锚点，语义 token 编码可共享、可迁移的属性。作者认为，单独依赖 ID 表示容易产生冗余且冷启动泛化较差，而语义表示也可能存在重复与收益不稳定。框架在早期层使用余弦相似度，以缓解嵌入过度平滑；在最终层使用欧氏距离，以增强物品区分。摘要还提出通过因果学习解耦用户曝光偏差，但因果变量、识别假设、具体损失与训练流程尚未验证。 结果与复现：作者报告，在三个基准数据集上，相较作者所称的 SOTA 基线取得 6%–17% 的性能提升，并将 token 词表规模缩减超过 80%。摘要未明确数据集名称、评价指标、提升是相对比例还是百分点、数据划分及词表缩减的对照条件，因此这些数字不能直接解释为 Accuracy 提升或模型参数缩减。摘要提供了代码地址，但代码可用性、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，将共享语义与个体特有信息分开建模，可能有助于处理 EEG 的跨被试差异。原方法依赖用户—物品交互、物品 ID、语义属性及曝光过程；EEG 中没有直接等价的曝光机制，需要重新定义数据结构、监督信号与偏差来源。可考虑复用双类表示和分层相似度思想，但被试 ID 不应直接替代物品 ID。低信噪比、通道不一致与小样本可能使共享语义不稳定，或使 ID 表示记忆被试而损害泛化。一个可证伪的小实验是在固定 Cross-subject 划分下，对比共享表示、共享加被试特有表示及加入分层相似度的版本，检查收益是否稳定出现在未见被试上；已有相关 EEG 工作尚未检索确认。

5月10日周六
  1. OpenReview · Representation learning77

    基于 Empowerment 的表征学习与技能发现

    基于摘要分析。本文研究强化学习中表征学习与无监督技能发现如何联合进行，提出以 empowerment 目标同时优化观测表征和可执行技能，并提供理论分析及新的 actor-critic 架构。 核心机制：摘要将 empowerment 描述为衡量智能体从某种表征出发能够执行的不同技能的最大数量。作者的理论分析指出，如果表征不把具有不同充分统计量的观测合并，可执行的不同技能数量就会增加，因此最大化该目标有助于学习观测的充分统计量表征。为联合学习表征与技能，作者采用相较既有工作更紧的互信息变分下界，并通过新的 actor-critic 架构优化该目标；下界的具体形式、成立条件、技能参数化及训练流程尚未验证。 结果与证据边界：作者报告，在其经验评估中，该方法相比现有无监督技能发现方法能学习显著更多的技能，并能获得适用于下游强化学习的表征。摘要未给出环境、观测结构、基线名称、技能计数标准或下游指标，故无法量化收益，也无法核对“显著”的统计含义。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，若 EEG 驱动的交互任务具备可执行动作、连续交互轨迹和可区分的结果，该目标可能帮助保留与控制有关的状态信息，而非仅重建观测；这并不等同于已验证的 EEG 分类收益。可考虑复用互信息目标与 actor-critic 优化框架，但需改造 EEG 编码器、技能定义和交互环境。低信噪比、跨被试及通道差异可能使技能区分依赖伪相关，小数据也可能使互信息估计不稳定。一个可证伪的小实验是在固定 EEG 交互任务、数据划分和交互预算下，对照联合目标与仅技能发现目标，检验下游控制表现及跨被试稳定性；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以 empowerment 联合驱动表征学习与无监督技能发现的理论机制，并核对更紧的互信息变分下界是否带来可复现的收益；摘要未提供具体实验协议。

1月1日周三
  1. OpenReview · EEG72

    EEGDM：基于生成式扩散模型的 EEG 表征学习

    基于摘要分析。该研究针对 EEG 标注有限、信号变异性高导致的表征学习困难，提出生成式扩散表征学习框架 EEGDM，并将预训练得到的潜在 EEG 表征用于下游分类，探索区别于现有 EEG 基础模型的技术路径。 核心机制是用于扩散预训练的结构化状态空间模型 SSMDP：作者以其捕获 EEG 的时间动态，并在 Denoising Diffusion Probabilistic Model（DDPM）框架下训练。随后，作者提出 latent fusion transformer（LFT），利用所得潜在表征完成分类。摘要未说明扩散噪声设定、具体训练目标、潜在表征提取位置及 LFT 的融合方式，这些实现细节尚未验证。 评估采用涉及发作间期癫痫样放电的 TUEV 与涉及癫痫发作检测的 CHB-MIT，并与现有方法及 EEG 基础模型比较。作者报告 EEGDM 优于所比较的方法，但摘要未提供具体指标、数值、基线名单及被试内或跨被试等划分信息，因而尚不能判断优势幅度、统计可靠性或跨协议泛化能力。这些任务属于 EEG 临床事件识别，不能直接视为已验证的 BCI 控制效果。 作者将大型 EEG 基础模型的训练与推理成本、模型增大时收益有限作为研究动机，但摘要并未给出 EEGDM 的参数量、训练开销或推理效率，不能据此确认其计算成本优势。复现时需核对数据预处理、预训练与下游数据的划分关系、分类协议、基线配置以及 SSMDP 和 LFT 的独立贡献；实验协议、消融及统计信息尚未验证。摘要提供了源码与 checkpoint 链接，但其内容、可运行性和复现实验条件尚未核验。

    阅读价值：值得核对其以结构化状态空间模型进行扩散预训练、再融合潜在 EEG 表征的机制，以及相对 EEG 基础模型的分类收益与计算成本；摘要中的性能优势尚需结合完整实验协议验证。

11月12日周二
  1. OpenReview · Representation learning76

    通过指令微调进行无监督文本表示学习，用于零样本稠密检索

    基于摘要分析。该研究针对稠密检索依赖标注数据、低资源场景难以获得监督信号的问题，在双编码器检索框架下对预训练编码器—解码器 LLM 进行指令微调，以学习无监督文本表示并改善零样本检索。 核心机制包含两部分：利用指令微调后的 LLM 生成与语料文本相关的合成查询，并以这些查询的表示增强语料表示；再通过 self-instruct tuning 对齐查询与语料文本的表示。作者将表示增强的理论依据关联到 Rao-Blackwell 定理，但摘要不足以核对其具体估计量、适用假设、表示组合方式及训练目标。 作者在低资源设置下，使用三个英语、两个德语和一个葡萄牙语检索数据集，以 NDCG@10、MRR@100 和 Recall@100 评估方法。作者报告所有指标的平均零样本检索表现均得到改善，相对开箱即用的 FLAN-T5 不同模型变体，绝对 NDCG@10 增益区间为 [4.73%, 6.15%]（保留摘要原文数值表述），并超过四个有监督稠密检索器。数据集名称、训练与测试划分、各指标分项结果、模型规模、对照训练条件及统计显著性检验尚未验证，不能据此认定在所有单独数据集上均占优。 平台推测（待验证）：其较直接的 BCI 应用是领域文献或实验记录的文本检索，而非 EEG 信号表征学习。迁移假设依赖生成模型能够产生准确的 BCI 专业查询；可复用合成查询增强与表示对齐思路，但需验证术语错误和生成偏差是否损害检索。摘要未提供将该机制映射到 EEG 时序、通道或跨被试结构的依据，不能推断其提升 EEG 解码；相关 EEG 工作尚未检索确认。复现还需核对指令模板、合成查询生成设置、表示聚合方式与实现可用性。

    阅读价值：值得核对其利用合成查询增强文档表示并通过自指令微调对齐查询与文档的机制，以及低资源零样本检索增益对模型规模、数据划分和对照设置的依赖。

3月1日周五
  1. OpenReview · EEG67

    EEGFormer：面向可迁移、可解释的大规模 EEG 基础模型

    基于摘要分析。该研究针对现有 EEG 自监督方法多在单个数据集、单一下游任务上预训练，以及端到端学习结果难以理解的问题，提出 EEG 基础模型 EEGFormer。其核心思路是在大规模复合 EEG 数据上进行自监督预训练，学习可用于多种下游任务的通用表示，并提供对数据中有用模式的解释。 技术机制：摘要明确了多来源数据预训练与自监督学习的总体路线，但未说明复合数据的组成、信号预处理、通道对齐、预训练目标、模型结构及下游适配方式。不能仅凭 EEGFormer 名称推断其具体网络设计，也无法判断模型如何实现模式解释，以及解释是否经过独立验证。 评估与贡献：作者报告在多种下游任务及不同迁移设置下开展了评估，并展示了可迁移的异常检测表现与所学习模式的可解释性。摘要未提供任务清单、数据集、被试规模、划分协议、对照基线或量化指标，因此尚不能判断结果对应跨被试、跨会话还是跨数据集迁移，也不能据此确认其优于现有方法。文中癫痫检测等应用是研究背景，不应直接视为已完成的评估任务。 复现与核对重点：需取得全文确认预训练和下游数据的关系、迁移设置、异常检测评价标准，以及解释结果所依据的分析方法；实验协议、消融及统计信息尚未验证。代码、预训练权重和复现资源的可用性也尚未验证，当前材料不足以将其认定为模型权重发布。

2月8日周四
  1. OpenReview · Representation learning76

    通过最优 canonical metric 进行自监督李代数表征学习

    基于摘要分析。该研究针对有限训练样本下的视觉分类，提出自监督李代数表征学习框架 SLA-Net，核心是将表征距离的优化置于李代数的向量空间中，并联合自监督学习与监督分类。 作者指出，在其讨论的理论设定下，直接使用李群上的 canonical metric 并不正确，并声称证明了有效的优化度量应采用李代数上的 canonical metric。SLA-Net 最小化目标与预测李代数表征之间的 canonical metric 距离，以避免在流形上计算非平凡测地距离；自监督任务与监督分类同时优化同一组共享参数。摘要未说明目标表征的构造方式、自监督任务、度量的具体形式，以及原标题中“Optimal”所对应的优化条件，这些均需核对正文。 作者报告，在八个公共数据集上的有限样本视觉分类评估支持 SLA-Net 的有效性，并将泛化改善归因于联合优化。摘要未提供数据集名称、样本规模、数据划分、对照基线或具体指标，因而无法判断收益幅度及适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 特征具有可合理映射至李群或李代数的几何结构，该方法的向量空间距离优化与共享表征学习可能有助于小样本 EEG 分类。可复用的是李代数表征距离与联合优化思路；需改造的是 EEG 编码器、几何映射及自监督目标，不能直接将一般 EEG 特征或协方差结构等同于论文所需的李群结构。低信噪比、跨被试分布差异、通道配置变化及小数据下不稳定的几何估计都可能使收益失效。可检验的小实验是在固定跨被试划分与相同标注预算下，比较同一编码器的监督基线、加入普通向量距离的自监督版本及加入论文李代数度量的版本，核对分类指标及多次重复的波动。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其 canonical metric 的理论适用条件及自监督与监督分类共享参数的实现；这为有限样本表征学习提供了具体研究路径，但在 EEG 上的有效性尚未验证。

1月1日周一
  1. OpenReview · EEG66

    EEGFormer：迈向可迁移、可解释的大规模 EEG 基础模型

    基于摘要分析。该研究针对 EEG 自监督学习常局限于单一数据集和单一下游任务、难以充分利用多来源未标注数据，以及端到端学习结果不易解释的问题，提出 EEG 基础模型 EEGFormer。其核心思路是在大规模复合 EEG 数据上预训练，学习可用于不同下游任务的通用表征，并提供对数据中有用模式的解释。 技术路径上，摘要明确采用自监督学习与大规模复合数据预训练，但未披露模型结构、自监督目标、数据组合方式、通道与采样率处理，或下游适配流程。因此，目前可以确认其研究重点是跨任务表征复用与可解释性，而不能进一步判断通用表征由何种机制形成，或解释结果如何对应 EEG 模式。作者将既有工作的单数据集预训练及解释困难作为研究动机，但这一概括的适用范围仍需结合正文和相关工作核对。 作者报告在多种下游任务及不同迁移设置中开展了评估，并展示了可迁移的异常检测表现和所学模式的可解释性。摘要未提供任务清单、数据集、被试规模、数据划分、对照基线或指标数值，也未说明迁移设置是否对应跨被试、跨会话或跨数据集，因而尚不能判断迁移收益的幅度及适用边界。 阅读与复现时，需重点核对预训练与下游评估的数据关系、不同数据来源的统一处理、适配时使用的监督信息，以及解释结果的验证方式。模型配置、预训练数据规模、权重与代码可用性，以及实验协议、消融及统计信息尚未验证。上述未知不代表作者未开展相关分析。

  2. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。

10月8日周日
  1. OpenReview · Representation learning64

    面向科学多文献的内容与拓扑感知表示学习

    基于摘要分析。该研究针对句子级或文档级表示学习忽略文档间联系的问题，提出 SMRC²，将科学多文献作为输入，联合学习内容中的潜在语义与拓扑网络中的关联信息，旨在改善多文档场景的表示能力。 核心机制是通过语言模型与图结构，在共享空间中整合语义和文档间关系。相较于独立编码单篇文档的思路，其研究重点是把跨文档联系显式纳入表示学习。摘要未说明拓扑网络的构建依据、节点与边的定义、共享空间的对齐方式、损失函数或训练与推理流程，这些技术细节尚未验证。 作者报告，广泛实验支持该方法的优越性与有效性，但摘要未提供具体任务、数据划分、对照基线、指标或数值，因此无法核对提升幅度及适用范围。作者表示将发布代码和一个生物医学领域的新数据集；这属于发布计划，不能据此认定资源已经公开。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：内容与关系联合建模的假设可用于探索 EEG 片段表示与片段间关系的融合，但文献拓扑不能直接等同于脑电连接结构。可复用的是共享表示空间中的语义—关系融合思路，需要改造输入编码器和建图规则，并核对原方法所依赖的监督信息与数据规模。EEG 的低信噪比、跨被试差异、通道配置变化及小样本条件可能使图关系不稳定，削弱融合收益。一个可证伪的小实验是在固定 Cross-subject 划分下，对比仅使用 EEG 内容表示、加入预定义关系图及加入随机图的模型，保持编码器与训练预算一致，检验真实关系是否提供额外信息。上述迁移尚非论文验证结果，已有 EEG 相关工作尚未检索确认。

7月10日周一
  1. OpenReview · Representation learning72

    电商购物行为的拓扑表征学习

    基于摘要分析。本文研究如何从客户购物行为中学习紧凑表征，以支持电商推荐相关任务；作者将产品类别层面的客户交互定义为购物轨迹，并提出端到端模型 C-STAR，为变长购物轨迹学习嵌入。 机制上，C-STAR 显式捕获轨迹分布相似性与轨迹拓扑语义，从结构和语义两个方面形成由粗到细的轨迹表征学习范式。摘要未说明拓扑的具体定义、相似性计算方式、网络结构、损失函数及训练监督，因此尚不能判断这些信息如何被联合编码，也不能将其等同于特定的图学习或拓扑数据分析算法。 作者报告，在 Amazon 私有数据和四个公开数据集上，所学嵌入对客户分群、购物轨迹补全等客户中心任务有效。公开数据集名称、划分方式、对照基线、具体指标及提升幅度均尚未验证；实验协议、消融及统计信息尚未验证，代码与数据可获得性也需核对。 平台推测（待验证）：假设 EEG 中的状态变化可被可靠离散化为变长轨迹，分布相似性与轨迹拓扑语义的联合表征可能用于研究跨被试状态序列差异。原方法依赖产品类别交互结构，但摘要未明确监督形式和数据规模；可考虑复用轨迹编码思路，而输入表示、状态定义及拓扑构造需要改造。低信噪比、被试差异、通道配置变化和小数据可能使轨迹结构不稳定。一个可检验的小实验是在固定 EEG 数据划分与状态提取流程下，对比分布表征、拓扑表征及二者联合表征的跨被试任务表现；这仅是迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注 C-STAR 如何同时编码变长轨迹的分布相似性与拓扑语义，但摘要不足以判断具体实现及其向 EEG 时序表征迁移的有效性。