跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

111 条精选近 30 天 40 条共收录 141 条

更新

精选归档 · 第 6 页

9月22日周五第 101–111 条
  1. OpenReview · Representation learning70

    InfoAug：用于表征学习的互信息引导数据增强

    基于摘要分析。InfoAug 研究对比表征学习中的数据选择与增强如何减少对人工假设和工程经验的依赖，提出依据真实世界分布中的互信息选择训练样本，而不只在训练目标中采用信息最大化原则。 核心机制是：考察场景中的图像块在颜色变化、运动等自然扰动下的互信息，将表现出高互信息的图像块作为对比损失学习的正样本。其研究切入点在于正样本的选择依据，而非摘要已明确给出的新网络结构或新损失形式。摘要以 InfoNCE 为背景，但未说明互信息估计器、图像块对应方式、筛选阈值，以及样本选择与训练过程如何衔接，这些均需全文核对。 作者报告，在若干基准和多个先进表征学习框架上评估了该方法，并观察到有效性；摘要未提供基准名称、数据划分、具体对照、指标或数值，因此尚不能判断收益幅度及其适用范围。作者将改善开放环境泛化作为方法动机，其具体评估证据尚未验证。实验协议、消融及统计信息尚未验证。摘要称数据和代码将提供，不能据此认定已公开。 平台推测（待验证）：若能可靠估计 EEG 片段在合理扰动下的信息保持程度，互信息引导的正样本选择可能有助于缓解自监督学习中增强破坏任务相关信号的问题。可复用的是信息驱动的样本筛选思路；需改造的是图像块对应关系、扰动定义及互信息估计，使其适配 EEG 的时间、通道结构。低信噪比和小数据可能导致估计不稳定，高互信息也可能来自稳定伪迹或被试身份，而非任务信息。一个可检验的小实验是在固定数据划分、模型与训练预算下，对比互信息筛选和随机选择增强正样本，并在独立跨被试测试中检查下游性能与伪迹敏感性。以上为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 InfoAug 如何估计自然扰动下的互信息并据此选择对比学习正样本，这为减少增强策略对人工假设的依赖提供了具体研究路径，但其 EEG 迁移价值尚未验证。

  2. OpenReview · Representation learning74

    增强负样本表征以实现持续自监督学习

    基于摘要分析。本文研究持续自监督学习（CSSL）中的表征遗忘与新知识学习问题，提出通用损失 Augmented Negatives（AugNeg），通过联合利用当前与历史模型的负样本表征，尝试改善可塑性与稳定性的权衡；原研究对象是通用表征学习，并非 EEG 或 BCI。 核心机制：作者认为，传统“单一任务损失加稳定性正则项”的持续学习目标未必适合基于对比学习的 CSSL，因为任务损失可能面临负样本多样性下降，而正则项可能阻碍新辨别性表征的学习。AugNeg 包含两个对当前与历史模型负样本表征具有对称依赖关系的损失。作者主张，这种设计无需显式超参数调节即可形成较好的可塑性与稳定性权衡；该主张不能理解为整个训练流程无需调参。作者还提出，通过添加正则项，将增强负样本表征的思路用于非对比式 CSSL。 结果与证据边界：作者报告，在对比式和非对比式持续自监督算法的实验中，应用 AugNeg 优于其他先进 CSSL 方法。摘要未提供数据集、任务序列、对照方法名称、指标或数值，因此尚不能判断提升幅度及适用范围。具体损失公式、历史模型维护方式、训练与评估划分、实验协议、消融及统计信息尚未验证，复现需取得正文与实现细节。 平台推测（待验证）：假设 EEG 连续到达的跨会话数据存在表征漂移与遗忘，可考虑复用当前／历史模型表征之间的损失设计，但需改造 EEG 编码器、信号增强及负样本构造。其依赖当前与历史表征及持续数据流；低信噪比、通道变化、被试差异和小数据条件可能使负样本差异主要反映采集条件，而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据和会话顺序下，对比同一编码器使用常规持续自监督目标与 AugNeg 时，对历史会话表征保持及新会话下游解码的影响，并保持标签使用和评估协议一致。已有 EEG 相关工作尚未检索确认。

    阅读价值：AugNeg 将当前与历史模型的负样本表征共同纳入持续自监督目标，为检验表征学习中的可塑性与稳定性权衡提供了具体机制，但其性能优势和 EEG 迁移价值仍需核对实验协议。

  3. OpenReview · Representation learning72

    利用 Guided Stop-gradient 的隐式对比表征学习

    基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题，提出 guided stop-gradient，利用源编码器与目标编码器的非对称架构隐式引入对比学习思想，并将其应用于 SimSiam 和 BYOL。 机制与贡献：显式对比学习通过推远负样本对避免坍塌，但摘要指出，这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发，通过 guided stop-gradient 调整非对称学习过程，而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式，因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界：作者报告，在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能；作者还报告，该方法在小批量条件下有效，且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置，实验协议、消融及统计信息尚未验证。作者称代码位于补充材料，其可获取性与复现条件尚未核对。 平台推测（待验证）：假设该机制能够在较少样本下维持表征多样性，它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构；可尝试复用梯度控制机制，但需改造 EEG 编码器与正样本构造，避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真，小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下，对比原始 SimSiam 与加入该机制的版本，改变批量大小，同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 guided stop-gradient 如何在不显式使用负样本的非对称架构中缓解表示坍塌，尤其是作者报告的小批量训练及移除 predictor 条件下的稳定性，但其具体实现与实验协议尚未验证。

9月16日周六
  1. OpenReview · Representation learning75

    SCoRe：面向真实世界类别不平衡场景的子模组合表征学习

    基于摘要分析。该研究针对类别不平衡条件下稀有类别特征多样性不足、类别间偏差与类别内方差问题，提出 SCoRe（Submodular Combinatorial Representation Learning）框架，以一组子模组合损失改进对比表征学习。 核心机制是利用 Submodular Information Measures 等集合函数，同时建模特征簇的多样性与协作关系。作者提出包括 Facility Location、Graph-Cut 和 Log Determinant 在内的组合目标，并指出现有对比学习方法具有子模性，或可重新表述为相应的子模形式。摘要未提供损失公式、特征集合的构造方式、监督要求、批次采样及优化细节，尚不能判断这些目标与常用对比损失的具体差异或计算开销。 作者在高度不平衡的 CIFAR-10、MedMNIST 子集上进行图像分类实验，并在 India Driving Dataset（IDD）上进行道路物体检测实验。作者报告，相对其采用的先进度量学习基线，新目标在不平衡分类任务上的提升最高为 7.6%，在物体检测任务上的提升最高为 19.4%。摘要未明确指标、相对增幅与百分点含义、具体基线及数据划分，因此这些数字不能直接解释为 Accuracy 或检测指标的百分点提升；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 少数类别也存在表征覆盖不足，集合级多样性与协作建模可能用于缓解类别不平衡，但视觉任务收益不等于 BCI 收益。可复用部分是组合损失，需核对并改造 EEG 特征相似度、集合构造和采样策略；低信噪比、跨被试差异、通道变化及小数据可能使多样性目标优先保留噪声或被试特征。一个可证伪的小实验是固定 EEG 编码器与 Cross-subject 划分，在受控类别不平衡条件下，仅替换损失并与原对比损失及类别加权基线比较 Balanced Accuracy 和少数类别召回率，报告多随机种子的波动。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SCoRe 如何将子模集合函数转化为类别不平衡下的表征学习损失，以及其相对度量学习基线的收益是否依赖类别分布与批次构造；对 EEG 的适用性尚未验证。

1月1日周日
  1. OpenReview · Representation learning76

    面向强化学习的掩码对比表征学习

    基于摘要分析。本文研究像素输入强化学习（RL）中的状态表征学习与样本效率，提出 masked contrastive representation learning for RL（M-CURL）：利用连续视频帧之间的相关性，通过掩码特征重建与对比学习辅助训练状态编码器。 核心机制：系统包含用于编码输入状态的 CNN、用于动作选择的策略网络，以及辅助 Transformer 编码器。训练时随机掩码若干帧的特征，由 CNN 与 Transformer 利用上下文帧重建这些特征；二者通过对比学习联合训练，使重建特征接近对应真实特征、远离其他特征。摘要未说明具体损失公式、负样本构造及掩码比例。策略评估时仅使用 CNN 与策略网络，移除 Transformer，因此辅助时序建模模块不参与评估阶段的动作选择。 结果与证据边界：作者报告，相较 CURL，M-CURL 在 DMControl suite 的 16 个环境中有 14 个环境取得改善，在 Atari 2600 Games 的 26 个环境中有 23 个环境取得改善。这些数字是改善的环境数量，并非性能提升幅度；具体交互预算、评价指标、随机种子、统计不确定性及各环境结果尚未验证。摘要提供了代码仓库，但实现与论文设置的一致性尚未核验，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，EEG 相邻时间窗的时序关联也可能为掩码特征预测提供监督信号，但视频 RL 中有效不等于 EEG/BCI 中有效。可复用的是辅助上下文编码器、特征级掩码与对比目标；需将图像 CNN 改造为适配 EEG 时间与通道结构的编码器，并重新设计窗口、正负样本及掩码策略。低信噪比、跨被试差异、通道变化和小数据可能使模型学习伪迹或局部冗余，而非任务相关表征。一个可检验的小实验是在固定数据划分和标注预算下，对比相同 EEG 编码器的普通对比预训练与加入掩码上下文重建的预训练，分别评估被试内与跨被试表现，并确保相邻窗口不跨越训练与测试边界。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用相邻帧上下文进行掩码特征重建、并在策略评估时移除辅助 Transformer 的设计，但作者报告的 RL 改善尚不能证明其对 EEG 表征学习有效。

  2. OpenReview · Representation learning79

    基于核的非参数表示学习

    基于摘要分析。本文研究如何在神经网络之外，利用核方法从无标签数据中学习表示，提出两种使用对比损失的核自监督学习（SSL）模型，以及一种通过嵌入与重构数据学习表示的 Kernel Autoencoder（AE）。其贡献包括模型构造、适用于这些表示学习模型的新表示定理，以及泛化误差界。 技术上，作者指出，监督核机器中的经典表示定理并不总能直接用于自监督表示学习；新定理说明，所提出核模型学到的表示可以通过核矩阵表达。这为模型的理论分析与计算实现提供了依据，但摘要未给出核函数、对比样本构造、具体损失形式、优化算法或重构目标的细节，不能据此还原实现。 作者报告在小数据条件下开展了实证评估，并与基于神经网络的模型进行了比较；摘要未提供数据集、样本规模、划分方式、对照模型或数值结果，因此尚不能判断其性能优势及适用边界。实验协议、消融及统计信息尚未验证。复现前需核对正文中的核选择、超参数、计算成本及理论界成立的假设。 平台推测（待验证）：核矩阵表示与无标签学习机制可能对应 EEG 标注有限时的表示学习需求，但原领域有效不等于 BCI 有效。可复用的是核表示与 SSL／AE 框架，需要改造的是 EEG 窗口间相似性、对比样本关系或重构对象；低信噪比、跨被试差异和通道配置变化可能使核相似性偏向噪声或个体特征，核矩阵的存储与计算成本也需核对。一个可检验的假设是：在固定数据划分和标签预算下，使用训练集无标签 EEG 学习核表示，能否比同核的直接监督分类改善下游 MI 分类。可先进行小规模被试内对照，独立划分训练与测试数据，再考察跨被试稳定性；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其针对自监督表示学习重新建立的核方法表示定理与泛化误差界，以评估小数据条件下神经网络之外的表示学习路线，但具体实验效果及 EEG 适用性尚未验证。

  3. OpenReview · EEG70

    基于 EEG 双重对比学习的认知障碍诊断消歧

    基于摘要分析。该研究针对 EEG 认知障碍诊断中标签有限、稀疏且模糊的问题，提出弱监督学习框架，尝试在标签不完全可靠的条件下识别轻度认知障碍（MCI）、可能的阿尔茨海默病（AD）与正常衰老模式。核心贡献是结合双重对比学习与多层级时域–频域 EEG 编码器，学习与认知障碍相关的表征并更新模糊标签。 机制方面，编码器将 EEG 信号转换为嵌入表示，框架通过被试内和跨被试对比学习自动更新模糊标签。摘要未说明对比样本如何构造、标签更新的依据与时机、损失函数及训练流程；因此尚不能判断其如何避免将初始标签偏差强化到表征中。这里的被试内与跨被试描述的是对比学习机制，不能据此推断评估采用了被试内或跨被试划分。 作者报告在 54 名被试上验证了方法，MCI、可能的 AD 与正常衰老三组各 18 名。摘要未提供具体指标、对照基线或数据划分，因而无法量化其相对全监督学习的收益，也不能确认对未见被试的泛化能力。作者认为该方法为非理想数据来源下的认知障碍推断提供了新思路，但这不等同于已验证的临床诊断效益。 复现时需核对 EEG 采集与预处理、诊断标签来源及不确定性定义、被试级训练与测试划分、模糊标签更新是否仅作用于训练数据，以及各组成模块的贡献。实验协议、消融及统计信息尚未验证；代码与数据可用性也尚未验证。

    阅读价值：值得核对其如何通过被试内与跨被试对比学习更新模糊诊断标签，以及标签更新是否改善独立评估中的分类表现；摘要尚不足以确认其诊断效益。

  4. OpenReview · Representation learning76

    面向无偏推荐的判别性与不变性表征学习

    基于摘要分析。本文研究推荐系统中选择偏差导致用户偏好学习失真的问题，提出 Discriminative-Invariant Representation Learning 框架，在传统不变性表征学习中加入标签条件聚类与先验引导对比，分别缓解数据稀疏和标签偏移的影响。主要研究对象是用户与物品表征，并非 EEG 或 BCI。 核心机制：作者的理论分析指出，仅优化有偏与无偏数据之间的表征不变性不足以消除选择偏差，推荐性能同时受到表征不变性与判别性的约束。作者认为，现有推荐领域的不变性表征学习方法可能因数据稀疏和标签偏移而忽视甚至损害判别性。新框架据此引入两类辅助机制，但摘要未提供聚类构造、先验来源、对比样本组织、损失公式及训练流程，具体实现尚未验证。 证据与复现：作者报告在三个真实世界数据集上进行了实验，支持框架的合理性与有效性；摘要未列出数据集名称、划分协议、对照基线、指标及数值，因此无法判断收益大小或跨协议稳定性。材料提供了代码与补充材料的仓库链接，但其内容及可运行性尚未核验，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，EEG 域适应中对齐跨被试表征分布时，也可能需要同时保留任务类别的判别结构。可考察标签条件聚类与先验引导对比的机制，但需将用户—物品交互表征改为 EEG 表征，并明确目标域标签与类别先验是否可获得。推荐场景的数据稀疏和标签偏移不能直接等同于 EEG 的低信噪比、通道差异及跨被试变化；小样本下错误伪标签或不可靠先验可能反而损害对齐。一个可证伪的小实验是在固定 Cross-subject MI 划分和标签可用条件下，比较仅不变性对齐、分别加入两类模块及联合加入模块的 Balanced Accuracy，检查收益是否稳定。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其关于表征不变性与判别性共同约束推荐性能的理论分析，以及两类模块对数据稀疏和标签偏移的作用；这些机制对 EEG 域适应的价值尚未验证。

12月31日周六
  1. OpenReview · Representation learning72

    对比学习中的图像表征分区

    基于摘要分析。该研究针对图像对比学习中将 anchor 与 positive 表征拉近可能忽略数据增强所产生差异的问题，提出 partitioned representation，同时学习样本间的共同特征与各样本独有特征。其主要研究对象是图像表征学习，并非 EEG 或 BCI。 方法将表征划分为 content part 和 style part：前者表达类别的共同特征，后者表达各样本自身的特征，并可能表征数据增强方式。作者通过将对比学习损失分解为分别作用于两部分表征的两个项实现这一划分。摘要未提供损失公式、两部分的约束方式及具体训练流程，不能据此判断分区是否足以保证信息解耦。 评估使用 Variational AutoEncoder（VAE）与 Bootstrap Your Own Latent（BYOL）两个框架，分别考察 content/style 的可分离性与分类泛化能力。作者报告，在 VAE 框架下可以分离两类信息；在以 conventional BYOL 为对照的下游评估中，线性可分性与 few-shot learning 任务表现更好。摘要未给出数据集、划分、指标或提升数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 的配对增强既保留任务相关信息，又引入可识别的非任务变化，分区表征可能帮助缓解“过强增强不变性丢失有效信号”的问题。可尝试复用表征分区与损失分解思路，但需改造信号编码器和增强方式，并验证 content 是否保留任务信息、style 是否吸收增强差异。该假设依赖增强不改变标签语义；低信噪比、被试差异、通道变化及小数据可能使两部分分别编码噪声、身份或任务信息，而非预期因素。 可检验的小实验是在固定 EEG 数据划分、编码器和增强配置下，比较普通 BYOL 与分区版本的线性探测表现，并分别探测两部分对任务标签及增强类型的预测能力；若 content 的任务性能下降或两部分没有可区分的信息分工，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其将共同特征与增强相关特征分开学习的损失分解机制，以及相对 conventional BYOL 的下游评估；该机制对 EEG 增强不变性与信息保留之间矛盾的适用性尚未验证。

3月18日周五
  1. OpenReview · Representation learning72

    用于强化学习的动作驱动对比表征

    基于摘要分析。该研究针对从高维图像学习强化学习控制策略时的样本效率与未见观测泛化问题，提出 Action-Driven Auxiliary Task（ADAT），以动作驱动的对比学习使表征关注决策所需特征、忽略与控制无关的细节。 核心机制是在经过增强的状态—动作字典中，最大化具有相同动作的观测之间的表征一致性。相较于仅从像素学习表征的既有方法，作者强调利用控制任务的动作信息约束表征，以缓解环境多样性及任务相关性不足带来的影响。摘要未说明正负样本构造、动作匹配规则、增强方式、损失形式，以及辅助任务与强化学习目标的联合训练方式，这些内容尚需全文核对。 作者报告，ADAT 在用于样本效率与泛化评估的 Atari 和 OpenAI ProcGen 基准上显著优于所比较的无模型与基于模型算法。摘要没有提供具体任务、数据划分、交互预算、对照算法名称、指标数值或统计检验，因此不能量化增益，也不能直接比较不同评估协议；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具有可靠的任务动作标签，动作一致性约束可能用于探索与决策相关的表征学习；这一假设依赖动作标签确实对应目标神经状态，而非仅反映策略或外部行为。可复用的是按动作组织对比样本的思路，需改造的是 EEG 编码器、信号增强及样本配对规则。低信噪比、跨被试差异、通道变化和小数据可能使同动作样本仍存在较大分布差异，并导致有效神经信息被过度压缩。一个可检验的小实验是在具有任务动作标签的 EEG 数据上，固定编码器与训练预算，比较加入动作一致性辅助目标前后的表现，分别报告被试内与跨被试结果，并以打乱动作标签作为对照。该实验仅是迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 ADAT 以动作一致性组织对比表征的机制及其泛化评估，但摘要不足以判断性能增益的幅度，也不能据此确认其适用于 EEG/BCI。

  2. OpenReview · Representation learning72

    用于强化学习的动作驱动对比表征

    基于摘要分析。本文研究从高维图像学习强化学习表征时的样本效率与未见观测泛化问题，提出 Action-Driven Auxiliary Task（ADAT），以动作相关的对比学习引导表征关注决策所需特征、忽略与控制无关的细节。原论文的主要对象是视觉强化学习，而非 EEG 或 BCI。 核心机制是在增强的状态—动作字典中，最大化共享相同动作的观测之间的表征一致性。与摘要所述的既有像素表征方法相比，ADAT 将动作信息作为组织表征学习的依据，试图减少环境多样性带来的干扰，并使表征更贴近控制任务。具体增强方式、正负样本构造、损失形式、动作来源及辅助任务与强化学习训练的结合方式尚未验证。 作者报告，在用于样本效率与泛化评估的 Atari 和 OpenAI ProcGen 上，该方法显著优于参与比较的无模型及基于模型算法。摘要未提供具体分数、基线名称、训练预算、数据划分或统计检验信息，因此无法量化优势，也不能判断不同评估设置下结论的适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移机制是利用任务动作信息约束表征，而非直接迁移视觉控制模型。假设在具有明确动作标签的 EEG 控制任务中，同一动作对应的信号包含可共享的决策特征，则可复用动作条件下的对比学习思路，但需改造 EEG 编码器、信号增强和样本配对方式。该假设依赖动作标签与神经信号的对应关系；相同动作不必意味着相同神经状态，低信噪比、跨被试差异、通道配置变化及小数据可能使配对失真或表征丢失有用信息。 一个可检验的小实验是在固定 EEG 编码器与训练预算下，对比加入动作一致性辅助目标与不加入该目标的模型，采用被试隔离的 Cross-subject 划分，检查收益是否稳定，并核对动作标签的时序对齐与使用范围。已有 EEG 相关工作尚未检索确认，此建议不构成已证实的 BCI 效果。

    阅读价值：值得核对 ADAT 以动作一致性组织对比学习的机制及其泛化评估，尤其是相同动作能否构成可靠的任务相关监督；摘要中的性能结论及其对 EEG 的适用性尚未验证。