跳到正文
只看表征与基础模型#撤回
9月23日周一
  1. OpenReview · EEG80

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    基于摘要分析。本文针对 EEG 数据格式异构、预训练范式及迁移方式受限的问题，提出通用 EEG 基础模型 EEGPT，将电极级建模、自回归下一信号预测和多任务迁移结合起来，旨在从单数据集专用模型走向兼容不同采集设备、被试与任务的统一模型。 核心机制方面，作者以每个电极作为基本建模单元，整合来自多种 EEG 数据集、涉及最多 138 个电极的数据，形成 37.5M 个预训练样本；摘要未说明样本的切分方式、时长及数据集构成。预训练采用下一信号预测，以替代传统掩码自编码器范式并学习序列与时间依赖，但预测单元、序列组织、损失形式及推理流程尚未验证。作者还探索模型规模规律，所研究模型最大达到 1.1B 参数；规模效应的具体曲线及训练资源尚未验证。 迁移阶段采用跨任务共享的可学习电极图网络。作者报告该机制支持多任务兼容与协同，并称模型可接受最多 138 个电极及其任意组合。需要结合全文核对电极位置与身份如何编码、不同采样率及设备如何对齐，以及任意电极组合的验证范围。 结果方面，作者报告在 5 类下游任务、12 个基准上同时评估，且在所有下游任务上均优于现有专用模型，并通过广泛消融验证有效性。摘要未提供任务与数据集名称、指标数值、对照模型或被试内、跨被试、跨会话、跨数据集划分，因此尚不能判断收益大小及不同协议下的泛化能力；实验协议、消融及统计信息尚未验证。“首个通用 EEG 基础模型”“首个自回归 EEG 预训练模型”及 EEG 研究中最大模型等均为作者主张，不视为已独立核实的结论。 复现方面，作者表示将公开训练代码和模型检查点，当前材料不能确认已发布。后续应核对预训练与下游数据划分、预处理、任务共享方式和训练成本，以区分规模、电极级表示及多任务学习各自带来的贡献。

9月17日周二
  1. OpenReview · Representation learning74

    论自监督表征学习的通用性

    基于摘要分析。本文研究自监督学习（SSL）如何获得兼具可区分性、泛化性与可迁移性的表征，提出通用性度量 σ-measurement 和 GeSSL 框架，尝试把训练样本上的学习效果与未见数据集、分布偏移下未见任务的适用性统一起来。 机制上，作者从任务视角重新解释 SSL，将每个 mini-batch 视为一个多类别分类任务，并区分两类目标：学习通用性，即降低所有训练样本上的损失；评估通用性，即学习能够泛化到未见数据集和任务的因果不变表征。σ-measurement 用于衡量 SSL 模型与任务专用最优模型之间的性能差距。GeSSL 先通过最小化 SSL 损失学习任务专用模型，再纳入后续更新以增强可区分性，最后整合这些模型，从多个 mini-batch 任务中学习。摘要未明确该更新过程的数学形式，也未说明因果不变性的具体识别或约束方式。 作者报告理论与实验证据支持 GeSSL 的有效性，但摘要未提供数据集、划分协议、对照方法、指标或数值。实验协议、消融及统计信息尚未验证；复现还需核对 σ-measurement 的计算方式、任务专用最优模型的求解条件、模型整合流程及计算开销。 平台推测（待验证）：若 mini-batch 任务整合确实能够减少表征对局部分布的依赖，该机制可能用于探索 EEG 跨被试或跨会话迁移。可复用的是任务化训练与模型整合思路；需要改造 EEG 编码器、任务构造及自监督目标，并验证其数据规模与监督依赖。EEG 的低信噪比、通道差异和小样本可能使批次任务主要反映噪声或被试特征，而非稳定任务信息。一个可检验的小实验是：固定 EEG 编码器与自监督目标，在相同 Cross-subject 划分下比较普通 SSL 与加入 GeSSL 任务整合的训练，核对下游同一指标及计算开销。已有 EEG 相关工作尚未检索确认。

9月23日周六
  1. OpenReview · Representation learning72

    面向单调物理系统的偏序表征强化学习

    基于摘要分析。研究针对绳索操控、倒水等高维视觉—运动控制任务中，无模型强化学习在状态表征与动力学学习方面样本需求较高的问题，提出 Partial Order Representation（POR）框架，利用物理系统的单调性为训练提供结构化信号。 核心思路是让强化学习表征更好地捕捉系统状态之间的偏序关系。摘要以倒水时水向下流动为动机，但未说明偏序关系如何构建、如何进入训练目标，以及 POR 与具体强化学习算法如何结合；不能据此推断其损失形式、网络结构或是否需要额外监督。需进一步核对单调性成立的条件、约束作用于哪些状态变量，以及复杂操控中的非单调过程如何处理。 作者报告，POR 在多种具有挑战性的视觉—运动控制任务中，相比其所称的先进方法提高了样本效率与任务表现。摘要未提供具体任务清单、基线名称、评估指标、交互预算或数值，因此尚不能判断优势幅度及不同任务间的一致性。实验协议、消融及统计信息尚未验证，实现与复现条件也需查阅全文。 平台推测（待验证）：可借鉴的是“将可验证的顺序关系用于表征学习”这一思路，而不是假设 EEG 本身具有物理单调性。若 EEG 任务存在外部定义且可靠的有序状态，可探索保留偏序约束、替换视觉输入编码模块；主要风险是低信噪比、跨被试差异及小数据使观测信号不满足该顺序。一个条件性小实验是在具有明确顺序标签的 EEG 数据上，以相同编码器和被试划分比较加入与不加入偏序约束的表现，并测试顺序标签扰动后的稳定性；这不是原论文已验证的 BCI 结果，已有 EEG 相关工作尚未检索确认。

9月22日周五
  1. OpenReview · Representation learning70

    多变量时间序列的时空表征学习

    基于摘要分析。研究针对多变量时间序列（MTS）标签稀缺、现有对比学习对变量间关系考虑不足且对正样本对构造敏感的问题，提出时空对比表征学习方法 STCR，用于学习适合分类与预测任务的无监督表征。 核心机制是鼓励时空一致性，将变量间的空间信息与时间依赖共同纳入表征学习，并减轻对正样本对构造的敏感性。这里的“空间信息”涉及 MTS 变量间关系，摘要未说明是否依赖物理位置、预定义拓扑或学习得到的关联。具体编码器、损失形式、正样本构造方式、训练与推理流程尚未验证。 作者报告，在 MTS 分类与预测任务的广泛实验中，STCR 能生成高质量表征，并在两类任务上取得 state-of-the-art 表现。摘要未提供数据集、划分方式、对照基线、指标或数值，因此无法核对优势幅度及适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其迁移到 EEG 的假设是，将多通道 EEG 视为 MTS，以通道间关系及时间依赖缓解标签稀缺下的表征学习瓶颈。可尝试复用时空一致性学习思路，但通道定义、采样率、时间窗口及正样本构造需适配 EEG；所需无标签数据规模尚不明确。低信噪比、伪迹、跨被试差异和通道布局变化可能使一致性约束强化非任务信息，小数据条件也可能限制训练稳定性。一个可检验的小实验是在固定 EEG 数据集与 Cross-subject 划分下，仅用训练被试数据进行无监督预训练，以相同编码器和下游分类协议对比 STCR 与不含时空一致性约束的版本，并检查通道扰动后的性能稳定性。该方案不是原论文已验证结果，已有 EEG 相关工作尚未检索确认。

  2. OpenReview · Representation learning70

    CaStRL：基于 Transformer 的上下文感知状态表征学习

    基于摘要分析。CaStRL 研究如何在没有额外监督信号的条件下，从高维观测中学习可用于多种下游控制任务的状态表征。其贡献是将生成式自回归建模与预训练—微调范式结合，联合学习潜在状态表征及影响表征泛化的上下文，以捕捉环境动态。 核心机制包括两个部分：首先，以 Video-Swin Transformer 为视觉编码器，通过加入因果注意力掩码支持自回归建模；其次，使用 Context-GPT 从历史状态表征序列中学习上下文，通过跨较长时间范围的信息传播捕捉全局结构模式。摘要未说明具体预测目标、损失函数、上下文定义及两部分的训练衔接方式，这些细节尚未验证。 作者报告，在多种 Atari 实验中，预训练表征能够显著促进下游学习效率；摘要强调 reward-free 评估，以及预训练和微调阶段的数据受限条件。具体 Atari 任务、数据规模、划分方式、对照基线、收益指标及数值均未提供，因此尚不能量化收益或判断各模块的独立贡献；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，因果状态编码与历史上下文建模也可能帮助 EEG 表征利用较长时间范围的信息。原方法依赖视觉观测及有序状态序列，面向控制任务，而 EEG 存在低信噪比、跨被试差异、通道配置差异和小数据约束；视觉编码器需要改造成适配多通道 EEG 的输入模块，历史上下文建模思路可作为候选复用部分。长上下文也可能放大伪迹或被试特征，而非提取任务相关信息。 一个可检验的小实验是：在固定 Cross-subject 划分与相同预训练数据量下，比较加入历史上下文模块与仅使用因果编码器的 EEG 表征，保持下游标注量和分类器一致，并检查打乱历史顺序后收益是否变化。该实验仅是迁移假设的验证方案，不代表已有 EEG 效果；相关 EEG 工作尚未检索确认，代码与完整复现条件尚未验证。