跳到正文

算法、任务与模态

Self-Supervised 最新动态

Self-Supervised 研究索引；按可核对的标签归档，不以热度评价质量。

156 条精选近 30 天 55 条共收录 190 条

更新

精选归档 · 第 8 页

9月23日周六第 141–156 条
  1. OpenReview · Representation learning76

    用于鲁棒表征学习的上下文视觉 Transformer

    基于摘要分析。研究针对不同群组间潜在因素变化导致的图像分布偏移，提出 Contextual Vision Transformers（ContextViT），通过群组上下文条件化图像表征，并在推理时适应新的测试分布。 核心机制借鉴 in-context learning：将与输入图像属于同一群组的图像信息映射为额外的 context token，再将其附加到输入图像 tokens 中，使表征随群组上下文调整。作者另引入 context inference network，从某一群组的一批样本即时预测 context token。该机制依赖可用的群组归属及同组样本；摘要未说明群组的具体定义、上下文聚合方式、训练损失或测试时是否更新模型参数，因此不能将其直接等同于参数更新式测试时自适应。 作者报告，在监督微调设置下，为预训练 ViTs 加入上下文条件化机制，在 iWildCam 和 FMoW 上持续改善分布外泛化；在自监督表征学习设置下，ContextViT 在 Camelyon17 病理图像及 JUMP-CP 显微图像基准上，比对应 ViT 获得更稳定的分布偏移下图像表征。摘要未给出指标数值、数据划分或效应大小，实验协议、消融及统计信息尚未验证。复现时需核对群组构造、上下文批次采样、预训练条件与基线配置。 平台推测（待验证）：迁移假设是，EEG 的被试或会话可作为群组，上下文条件化可能帮助处理跨被试或跨会话分布变化。可复用 context token 与上下文推断思路，但需将图像 token 编码改为 EEG 时序或时空编码，并明确测试群组可用样本及监督条件。低信噪比、小批次、通道配置差异，以及同组任务类别比例变化，都可能使上下文混入噪声或任务内容。一个可检验的小实验是在固定 Cross-subject 划分下，以同一 EEG 编码器比较无上下文与同组上下文条件化，并加入打乱群组的对照；严格固定测试上下文采样规则，检验增益是否来自有效群组信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其由同组样本推断 context token 的机制及测试时分组协议：这为利用群组上下文处理分布偏移提供了具体方法，但其对 EEG 跨被试或跨会话表征的价值尚未验证。

9月22日周五
  1. OpenReview · Representation learning70

    InfoAug：用于表征学习的互信息引导数据增强

    基于摘要分析。InfoAug 研究对比表征学习中的数据选择与增强如何减少对人工假设和工程经验的依赖，提出依据真实世界分布中的互信息选择训练样本，而不只在训练目标中采用信息最大化原则。 核心机制是：考察场景中的图像块在颜色变化、运动等自然扰动下的互信息，将表现出高互信息的图像块作为对比损失学习的正样本。其研究切入点在于正样本的选择依据，而非摘要已明确给出的新网络结构或新损失形式。摘要以 InfoNCE 为背景，但未说明互信息估计器、图像块对应方式、筛选阈值，以及样本选择与训练过程如何衔接，这些均需全文核对。 作者报告，在若干基准和多个先进表征学习框架上评估了该方法，并观察到有效性；摘要未提供基准名称、数据划分、具体对照、指标或数值，因此尚不能判断收益幅度及其适用范围。作者将改善开放环境泛化作为方法动机，其具体评估证据尚未验证。实验协议、消融及统计信息尚未验证。摘要称数据和代码将提供，不能据此认定已公开。 平台推测（待验证）：若能可靠估计 EEG 片段在合理扰动下的信息保持程度，互信息引导的正样本选择可能有助于缓解自监督学习中增强破坏任务相关信号的问题。可复用的是信息驱动的样本筛选思路；需改造的是图像块对应关系、扰动定义及互信息估计，使其适配 EEG 的时间、通道结构。低信噪比和小数据可能导致估计不稳定，高互信息也可能来自稳定伪迹或被试身份，而非任务信息。一个可检验的小实验是在固定数据划分、模型与训练预算下，对比互信息筛选和随机选择增强正样本，并在独立跨被试测试中检查下游性能与伪迹敏感性。以上为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 InfoAug 如何估计自然扰动下的互信息并据此选择对比学习正样本，这为减少增强策略对人工假设的依赖提供了具体研究路径，但其 EEG 迁移价值尚未验证。

  2. OpenReview · Representation learning74

    增强负样本表征以实现持续自监督学习

    基于摘要分析。本文研究持续自监督学习（CSSL）中的表征遗忘与新知识学习问题，提出通用损失 Augmented Negatives（AugNeg），通过联合利用当前与历史模型的负样本表征，尝试改善可塑性与稳定性的权衡；原研究对象是通用表征学习，并非 EEG 或 BCI。 核心机制：作者认为，传统“单一任务损失加稳定性正则项”的持续学习目标未必适合基于对比学习的 CSSL，因为任务损失可能面临负样本多样性下降，而正则项可能阻碍新辨别性表征的学习。AugNeg 包含两个对当前与历史模型负样本表征具有对称依赖关系的损失。作者主张，这种设计无需显式超参数调节即可形成较好的可塑性与稳定性权衡；该主张不能理解为整个训练流程无需调参。作者还提出，通过添加正则项，将增强负样本表征的思路用于非对比式 CSSL。 结果与证据边界：作者报告，在对比式和非对比式持续自监督算法的实验中，应用 AugNeg 优于其他先进 CSSL 方法。摘要未提供数据集、任务序列、对照方法名称、指标或数值，因此尚不能判断提升幅度及适用范围。具体损失公式、历史模型维护方式、训练与评估划分、实验协议、消融及统计信息尚未验证，复现需取得正文与实现细节。 平台推测（待验证）：假设 EEG 连续到达的跨会话数据存在表征漂移与遗忘，可考虑复用当前／历史模型表征之间的损失设计，但需改造 EEG 编码器、信号增强及负样本构造。其依赖当前与历史表征及持续数据流；低信噪比、通道变化、被试差异和小数据条件可能使负样本差异主要反映采集条件，而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据和会话顺序下，对比同一编码器使用常规持续自监督目标与 AugNeg 时，对历史会话表征保持及新会话下游解码的影响，并保持标签使用和评估协议一致。已有 EEG 相关工作尚未检索确认。

    阅读价值：AugNeg 将当前与历史模型的负样本表征共同纳入持续自监督目标，为检验表征学习中的可塑性与稳定性权衡提供了具体机制，但其性能优势和 EEG 迁移价值仍需核对实验协议。

  3. OpenReview · Representation learning74

    通过 Geometric Harmonization 缓解表征学习不均衡

    基于摘要分析。本文研究长尾数据分布下自监督表征学习的不均衡问题，提出 Geometric Harmonization（GH），通过嵌入空间总体统计推导细粒度的实例级校准，促进类别级均匀性，而非仅追求样本级均匀性。 作者认为，常规自监督学习中的样本级均匀性会使样本众多的头部类别主导特征空间，而样本较少的尾部类别被动塌缩。GH 在自监督学习基础上衡量嵌入空间的总体统计，并据此校准各实例，以限制头部类别的空间扩张、避免尾部类别塌缩。作者称该方法不改变自监督学习设置，可以低成本整合到现有方法中；但统计量的定义、类别级均匀性的具体实现、校准目标及计算开销尚未验证。 作者报告，在多个基准数据集上的实验显示 GH 有效，并对分布偏斜具有较高容忍度。摘要未提供数据集名称、长尾构造与划分协议、对照方法或具体指标，因此不能量化收益，也不能判断其在不同偏斜程度下的表现。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 自监督预训练数据存在与任务类别相关的长尾分布，GH 的统计驱动校准可能有助于减轻多数类别对表征空间的主导。可考虑复用嵌入统计与实例校准机制，但需核对其是否依赖类别标签或类别结构估计，并针对 EEG 时序编码器及被试、通道差异调整。低信噪比和小样本可能导致总体统计不稳定，被试或设备差异也可能被误当作类别结构；原领域有效不等于 BCI 有效。一个可检验的小实验是：在固定跨被试划分和相同 EEG 编码器下，仅对训练数据设置任务类别长尾，比较基础自监督方法与加入 GH 后的 Balanced Accuracy、尾部类别召回率及表征分布，检验收益是否来自类别失衡缓解。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 GH 如何以嵌入空间总体统计替代单纯样本级均匀性约束，以缓解长尾自监督表征中头部类别主导、尾部类别塌缩的问题；其对 EEG 的适用性尚未验证。

  4. OpenReview · Representation learning72

    利用 Guided Stop-gradient 的隐式对比表征学习

    基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题，提出 guided stop-gradient，利用源编码器与目标编码器的非对称架构隐式引入对比学习思想，并将其应用于 SimSiam 和 BYOL。 机制与贡献：显式对比学习通过推远负样本对避免坍塌，但摘要指出，这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发，通过 guided stop-gradient 调整非对称学习过程，而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式，因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界：作者报告，在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能；作者还报告，该方法在小批量条件下有效，且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置，实验协议、消融及统计信息尚未验证。作者称代码位于补充材料，其可获取性与复现条件尚未核对。 平台推测（待验证）：假设该机制能够在较少样本下维持表征多样性，它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构；可尝试复用梯度控制机制，但需改造 EEG 编码器与正样本构造，避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真，小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下，对比原始 SimSiam 与加入该机制的版本，改变批量大小，同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 guided stop-gradient 如何在不显式使用负样本的非对称架构中缓解表示坍塌，尤其是作者报告的小批量训练及移除 predictor 条件下的稳定性，但其具体实现与实验协议尚未验证。

  5. OpenReview · Representation learning79

    通过随机分区上的视图一致性分配进行表征学习

    基于摘要分析。本文研究视觉特征的自监督表征学习，提出 Consistent Assignment of Views over Random Partitions（CARP），以原型随机分区构造预训练任务，并约束不同视图的分配一致性。其主要贡献是在端到端在线训练中学习聚类原型，无需额外的不可微模块求解聚类分配问题。 机制方面，CARP 使用梯度下降学习原型，通过对原型进行随机分区形成多个随机分类任务，以正则化模型并促进视图间的一致性。作者报告，该机制能够提高联合嵌入训练的稳定性并防止表征坍塌。摘要未给出具体损失形式、分区采样方式、视图增强策略及防坍塌条件，这些内容需结合全文核对。 评估方面，作者报告在 17 个数据集上采用线性评估、少样本分类、k-NN、k-means、图像检索和复制检测等协议，与 11 种现有自监督方法比较，并通过消融研究支持随机分区任务对表征质量的贡献。作者还报告，在迁移学习任务中，CARP 的平均表现优于多种训练时间更长的自监督方法；摘要未提供具体数据集、分数、平均方式或训练预算，因此不能据此判断各任务优势及计算效率。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 的不同增强视图能够保留同一任务相关信息，原型随机分区与分配一致性机制可能用于缓解无标签 EEG 表征学习中的坍塌和聚类不稳定。可复用的是原型学习与一致性约束，需改造的是 EEG 编码器及视图构造；其效果依赖无标签数据规模与增强的语义保真性。低信噪比、被试差异和通道变化可能使原型主要编码伪迹或被试身份，小数据条件下分区任务也可能不稳定。可检验的小实验是在固定 EEG 数据划分、编码器、增强和训练预算下，对比启用与禁用随机分区任务，分别检查表征坍塌及跨被试线性评估结果。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：值得核对 CARP 如何通过原型随机分区与视图分配一致性改善自监督聚类的训练稳定性，以及这一机制的消融证据；其对 EEG 表征学习的适用性尚未验证。

9月16日周六
  1. OpenReview · Representation learning72

    作为自监督表征学习器的掩码扩散

    基于摘要分析。本文研究扩散模型的生成能力与表征学习能力之间的关系，提出 masked diffusion model（MDM），以掩码机制替代传统扩散中的加性高斯噪声，作为可扩展的自监督表征学习器。主要研究对象是医学图像与自然图像的语义分割，而非 EEG 或 BCI。 技术机制：传统去噪扩散概率模型通过加性高斯噪声构造扰动，MDM 改用掩码机制。作者据此探索生成能力与表征学习能力的关联，但摘要不足以确定掩码如何随扩散过程变化、具体预测目标、损失函数、网络结构，以及分割阶段如何使用所学表征。 结果与证据边界：作者报告，MDM 在医学图像和自然图像语义分割任务中优于既有基准，尤其在少样本场景下表现突出。摘要未提供数据集名称、少样本数量、划分协议、对照方法、指标或数值，因而无法核对优势幅度及公平比较条件。实验协议、消融及统计信息尚未验证；代码、模型权重与复现资源亦尚未验证。 平台推测（待验证）：可检验的迁移假设是，将掩码式扰动用于 EEG 自监督预训练，可能有助于学习可用于少标注任务的表征。原方法面向图像像素级语义任务，其所需数据规模与监督配置尚不明确；迁移时可借鉴掩码扰动思路，但需改造信号编码、时间或通道掩码策略及下游预测头。EEG 的低信噪比、跨被试差异、通道配置变化和小数据规模，可能使模型主要学习噪声或被试特征。一个小规模可证伪实验是：在固定 EEG 编码器、预训练数据和少标注预算下，对比掩码式与加性高斯噪声式自监督预训练，并采用严格的 Cross-subject 划分评估同一下游任务。该建议不代表已有 EEG 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的具体原因是其以掩码机制替代传统扩散中的加性高斯噪声，探索扩散式自监督表征学习与生成能力的关系；作者报告的少样本分割优势及其对 EEG 的可迁移性仍需分别核验。

1月1日周日
  1. OpenReview · Representation learning76

    面向强化学习的掩码对比表征学习

    基于摘要分析。本文研究像素输入强化学习（RL）中的状态表征学习与样本效率，提出 masked contrastive representation learning for RL（M-CURL）：利用连续视频帧之间的相关性，通过掩码特征重建与对比学习辅助训练状态编码器。 核心机制：系统包含用于编码输入状态的 CNN、用于动作选择的策略网络，以及辅助 Transformer 编码器。训练时随机掩码若干帧的特征，由 CNN 与 Transformer 利用上下文帧重建这些特征；二者通过对比学习联合训练，使重建特征接近对应真实特征、远离其他特征。摘要未说明具体损失公式、负样本构造及掩码比例。策略评估时仅使用 CNN 与策略网络，移除 Transformer，因此辅助时序建模模块不参与评估阶段的动作选择。 结果与证据边界：作者报告，相较 CURL，M-CURL 在 DMControl suite 的 16 个环境中有 14 个环境取得改善，在 Atari 2600 Games 的 26 个环境中有 23 个环境取得改善。这些数字是改善的环境数量，并非性能提升幅度；具体交互预算、评价指标、随机种子、统计不确定性及各环境结果尚未验证。摘要提供了代码仓库，但实现与论文设置的一致性尚未核验，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，EEG 相邻时间窗的时序关联也可能为掩码特征预测提供监督信号，但视频 RL 中有效不等于 EEG/BCI 中有效。可复用的是辅助上下文编码器、特征级掩码与对比目标；需将图像 CNN 改造为适配 EEG 时间与通道结构的编码器，并重新设计窗口、正负样本及掩码策略。低信噪比、跨被试差异、通道变化和小数据可能使模型学习伪迹或局部冗余，而非任务相关表征。一个可检验的小实验是在固定数据划分和标注预算下，对比相同 EEG 编码器的普通对比预训练与加入掩码上下文重建的预训练，分别评估被试内与跨被试表现，并确保相邻窗口不跨越训练与测试边界。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用相邻帧上下文进行掩码特征重建、并在策略评估时移除辅助 Transformer 的设计，但作者报告的 RL 改善尚不能证明其对 EEG 表征学习有效。

  2. OpenReview · Representation learning75

    HomE：单应变换等变的视频表征学习

    基于摘要分析。本文研究多视角视频的自监督表征学习，提出 Homography Equivariance（HomE），通过显式约束表征空间保留邻近视角间的单应关系，利用多视角几何先验学习表征，并以动作识别和行人意图预测评估其下游效果。 核心机制是学习不同视角之间的隐式映射，使表征随视角变换保持相应的几何关系，而非仅追求视角不变性。该方法依赖多视角视频及邻近视角间可建模的单应关系；具体视角配对方式、单应变换的获取或估计方式、损失形式、模型结构和训练流程尚未验证。 作者报告，在 UCF101 动作分类任务上取得 96.4% 的 3-fold Accuracy，并称优于多数先进自监督学习方法。在 STIP 数据集上，作者报告对未来一秒的行人意图预测较其所比较的最先进方法提升 6%，但摘要未明确该提升对应的指标及其为相对百分比还是百分点；行人动作 crossing vs. not-crossing 分类的 Accuracy 为 91.2%。上述任务不能直接横向比较，具体数据划分、监督使用、基线设置、消融及统计信息尚未验证。摘要提供了代码地址，但实现完整性与复现条件尚未核验。 平台推测（待验证）：其可供 EEG 研究参考的是“保留已知变换关系”的自监督思想，而不是直接采用图像单应变换。若能定义具有生理或采集依据的通道空间变换，可尝试复用等变表征约束，并改造视角映射与输入编码模块，以评估其对通道布局变化的鲁棒性。假设 EEG 通道变换存在稳定、可学习的对应关系；低信噪比、跨被试解剖差异、通道缺失及小数据可能使该假设失效。一个可检验的小实验是在固定被试划分下，对同一 EEG 数据施加已知通道空间扰动，比较等变约束与不变性约束在原布局和扰动布局上的任务表现。此实验仅检验通道变换假设，不代表已证实跨被试有效；已有相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其将邻近视角的单应关系作为多视角视频自监督约束的机制，但该几何先验能否适用于 EEG 通道或被试差异尚未验证。

  3. OpenReview · Representation learning72

    重新审视持续表征学习中的监督作用

    基于摘要分析。本文研究模型依次学习多个任务时，监督学习与自监督学习的表征迁移能力差异，并重新审视多层感知机（MLP）投影头的作用。作者报告，在其持续表征学习实验中，增加 MLP 头的监督模型可以优于自监督模型，但摘要未提供任务序列、评估协议或具体指标，不能据此推断普遍优势。 核心机制与对照：研究出发点是，自监督表征的迁移优势可能部分来自 MLP projector，而不只是监督信号的差异。作者据此检验在人类标注监督之外加入 MLP 头，能否改善表征质量，并强调投影头对连续任务间特征迁移的重要性。摘要未说明投影头结构、损失函数、训练方式，以及表征从哪个位置提取；监督与自监督模型的骨干、数据和计算预算是否匹配，实验协议、消融及统计信息均尚未验证。 复现条件：摘要提供了 GitHub 代码链接，可作为后续核对实现的入口，但代码内容、环境依赖及结果可复现性尚未验证。阅读全文时应区分表征迁移表现、当前任务性能与旧任务保持能力，避免将这些目标视为同一指标。 平台推测（待验证）：假设该机制在 EEG 上成立，MLP 投影头可能是跨会话或连续任务表征学习中值得控制的变量，而非直接将自监督优势归因于标签缺失。可复用的是投影头对照思路；需适配 EEG 编码器、任务序列及标签条件。低信噪比、通道变化、被试差异和小样本可能使原领域收益失效。一个小规模可证伪实验是固定 EEG 骨干、数据划分与训练预算，分别比较监督和自监督设置下有无 MLP 头的表现，并独立评估跨会话迁移与旧任务保持；若收益不稳定，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其监督与自监督对照是否匹配多层感知机投影头配置，以辨别持续表征学习中的迁移收益来自监督方式还是投影头；摘要提供了代码链接，但具体实验协议尚未验证。

  4. OpenReview · Representation learning79

    基于核的非参数表示学习

    基于摘要分析。本文研究如何在神经网络之外，利用核方法从无标签数据中学习表示，提出两种使用对比损失的核自监督学习（SSL）模型，以及一种通过嵌入与重构数据学习表示的 Kernel Autoencoder（AE）。其贡献包括模型构造、适用于这些表示学习模型的新表示定理，以及泛化误差界。 技术上，作者指出，监督核机器中的经典表示定理并不总能直接用于自监督表示学习；新定理说明，所提出核模型学到的表示可以通过核矩阵表达。这为模型的理论分析与计算实现提供了依据，但摘要未给出核函数、对比样本构造、具体损失形式、优化算法或重构目标的细节，不能据此还原实现。 作者报告在小数据条件下开展了实证评估，并与基于神经网络的模型进行了比较；摘要未提供数据集、样本规模、划分方式、对照模型或数值结果，因此尚不能判断其性能优势及适用边界。实验协议、消融及统计信息尚未验证。复现前需核对正文中的核选择、超参数、计算成本及理论界成立的假设。 平台推测（待验证）：核矩阵表示与无标签学习机制可能对应 EEG 标注有限时的表示学习需求，但原领域有效不等于 BCI 有效。可复用的是核表示与 SSL／AE 框架，需要改造的是 EEG 窗口间相似性、对比样本关系或重构对象；低信噪比、跨被试差异和通道配置变化可能使核相似性偏向噪声或个体特征，核矩阵的存储与计算成本也需核对。一个可检验的假设是：在固定数据划分和标签预算下，使用训练集无标签 EEG 学习核表示，能否比同核的直接监督分类改善下游 MI 分类。可先进行小规模被试内对照，独立划分训练与测试数据，再考察跨被试稳定性；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其针对自监督表示学习重新建立的核方法表示定理与泛化误差界，以评估小数据条件下神经网络之外的表示学习路线，但具体实验效果及 EEG 适用性尚未验证。

  5. OpenReview · Representation learning74

    CoBERT：通过代码表征学习进行自监督语音表征学习

    基于摘要分析。该研究面向语音表征学习，提出 Code BERT（CoBERT）：将语音转为离散代码序列，再从原始语音的掩码视图预测代码表征，以构建自监督学习目标。其主要研究对象是语音，而非 EEG 或 BCI。 核心机制建立在语音可由有限语音单位及其离散代码表示的假设上。与教师和学生使用同一模态的既有自蒸馏方法不同，CoBERT 的预测目标来自另一种表征模态，即离散代码的表征，而输入仍是经过掩码处理的语音。摘要未明确代码生成方法、代码表征模型的训练方式、损失函数或掩码策略，这些技术细节尚未验证。 作者报告，CoBERT 在自动语音识别（ASR）任务上超过其所比较的近期最佳性能，并在 SUPERB speech translation（ST）任务上获得显著改善。摘要未提供 ASR 数据集、数据划分、对照模型、具体指标或数值，无法据此量化增益或判断不同协议下的可比性。作者声明已发布代码和模型；实现完整性、训练资源需求、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以离散潜在代码表征代替原始波形重建目标，可能帮助 EEG 自监督学习减少对局部噪声的拟合。可复用的是“掩码连续信号输入—预测离散代码表征”的训练框架；需改造的是 EEG 分段、通道组织、代码生成及代码表征学习模块。关键风险在于 EEG 未必具有与语音单位对应的稳定有限代码结构，低信噪比、跨被试差异、通道变化和小数据规模可能使代码主要编码噪声或被试身份。 可检验的小实验是：在固定 EEG 数据划分、编码器和训练预算下，对比离散代码表征预测与连续信号重建的自监督目标，再用相同标注量进行 Cross-subject 运动想象分类评估，检验该目标是否改善跨被试表征。此建议不代表已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以离散代码表征作为语音掩码建模预测目标的跨模态自监督机制，但性能优势及向 EEG 表征学习迁移的可行性仍需核对全文与实验。

  6. OpenReview · Representation learning75

    通过几何协调缓解表征学习失衡

    基于摘要分析。本文研究长尾分布下自监督学习（SSL）的表征失衡问题，提出 Geometric Harmonization（GH），以类别级均匀性替代仅追求样本级均匀性的优化倾向，旨在抑制头部类别主导嵌入空间、尾部类别表征被动坍缩的现象。主要研究对象是通用表征学习，并非 EEG 或 BCI。 作者将失衡归因于常规 SSL 的样本级均匀性目标：样本数量较多的头部类别占据更大表征空间，少数类别则受到挤压。GH 在自监督表征之上测量嵌入空间的总体统计，据此推断细粒度的实例级校准，约束头部类别的空间扩张并避免尾部类别坍缩。作者称该方法不改变 SSL 设定，可低成本集成到现有方法；摘要未给出统计量、校准公式、损失形式，以及无标签条件下类别级均匀性的具体实现，均需正文核对。 作者报告，在多个基准数据集及长尾分布评估中，GH 显示出有效性和对分布偏斜的较高容忍度，并称其有利于少数类别、几乎不损害多数类别。摘要未列出数据集名称、分布构造、对照方法、评价指标或具体数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 自监督预训练存在任务类别不均衡，GH 的嵌入统计与实例校准机制可能用于缓解多数类别主导表征的问题。可复用部分是表征空间统计及校准思路，需改造部分是 EEG 编码器与数据增强，并核对统计估计是否主要反映被试或通道差异，而非任务类别。低信噪比、小数据和跨被试差异可能使尾部结构估计不稳定。一个可检验的小实验是在固定 EEG 数据划分和自监督基线下构造训练类别不均衡，对比加入 GH 前后的尾部类别表现与 Balanced Accuracy，确保测试协议一致、校准不使用测试标签。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 GH 如何在不改变自监督学习设定的前提下，由嵌入空间总体统计实现实例级校准，以及其对长尾类别表征失衡的改善是否适用于不同分布偏斜程度。

12月31日周六
  1. OpenReview · Representation learning72

    对比学习中的图像表征分区

    基于摘要分析。该研究针对图像对比学习中将 anchor 与 positive 表征拉近可能忽略数据增强所产生差异的问题，提出 partitioned representation，同时学习样本间的共同特征与各样本独有特征。其主要研究对象是图像表征学习，并非 EEG 或 BCI。 方法将表征划分为 content part 和 style part：前者表达类别的共同特征，后者表达各样本自身的特征，并可能表征数据增强方式。作者通过将对比学习损失分解为分别作用于两部分表征的两个项实现这一划分。摘要未提供损失公式、两部分的约束方式及具体训练流程，不能据此判断分区是否足以保证信息解耦。 评估使用 Variational AutoEncoder（VAE）与 Bootstrap Your Own Latent（BYOL）两个框架，分别考察 content/style 的可分离性与分类泛化能力。作者报告，在 VAE 框架下可以分离两类信息；在以 conventional BYOL 为对照的下游评估中，线性可分性与 few-shot learning 任务表现更好。摘要未给出数据集、划分、指标或提升数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 的配对增强既保留任务相关信息，又引入可识别的非任务变化，分区表征可能帮助缓解“过强增强不变性丢失有效信号”的问题。可尝试复用表征分区与损失分解思路，但需改造信号编码器和增强方式，并验证 content 是否保留任务信息、style 是否吸收增强差异。该假设依赖增强不改变标签语义；低信噪比、被试差异、通道变化及小数据可能使两部分分别编码噪声、身份或任务信息，而非预期因素。 可检验的小实验是在固定 EEG 数据划分、编码器和增强配置下，比较普通 BYOL 与分区版本的线性探测表现，并分别探测两部分对任务标签及增强类型的预测能力；若 content 的任务性能下降或两部分没有可区分的信息分工，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其将共同特征与增强相关特征分开学习的损失分解机制，以及相对 conventional BYOL 的下游评估；该机制对 EEG 增强不变性与信息保留之间矛盾的适用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning74

    面向 CAD 的自监督表示学习

    基于摘要分析。该研究针对计算机辅助设计（CAD）原生参数化边界表示（B-Rep）中大规模数据缺少标签、已标注数据规模较小且任务专用标签获取昂贵的问题，提出利用未标注 CAD 几何进行自监督表示学习，再服务于监督学习任务。核心贡献是学习一种混合隐式/显式表面表示，研究对象是机械零件的 CAD 几何，而非神经信号或 BCI。 技术机制：摘要明确了 B-Rep 几何、混合隐式/显式表面表示以及预训练到监督任务的路径，但未说明两类表示如何结合、自监督目标、网络结构或下游适配方式。这些细节及其对几何数据结构的依赖尚未验证。 结果与证据边界：作者报告，该预训练显著改善少样本学习表现，并在多个现有 B-Rep 基准上达到最先进水平。摘要未提供基准名称、样本量、数据划分、对照方法、指标或具体数值，因此无法核对提升幅度及可比性；实验协议、消融及统计信息尚未验证。复现需取得全文并确认数据预处理、预训练目标、少样本设定及实现条件。 与 EEG/BCI 的关系：平台推测（待验证），其利用未标注数据缓解标签稀缺的思路与 EEG 小样本学习存在问题层面的对应，但摘要没有给出从 CAD 表面表示到 EEG 时序或通道结构的具体机制路径。现阶段不宜将该表示直接视为可复用的 EEG 模块，也不足以提出针对性迁移实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其利用未标注 B-Rep 几何学习混合隐式/显式表面表示、改善少样本监督学习的机制，但具体预训练目标与基准协议尚未验证，不能据此认定其适用于 EEG。

1月1日周五
  1. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。