跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

65 条精选近 30 天 30 条共收录 78 条

更新

精选归档 · 第 4 页

9月22日周五第 61–65 条
  1. OpenReview · Representation learning70

    InfoAug：用于表征学习的互信息引导数据增强

    基于摘要分析。InfoAug 研究对比表征学习中的数据选择与增强如何减少对人工假设和工程经验的依赖，提出依据真实世界分布中的互信息选择训练样本，而不只在训练目标中采用信息最大化原则。 核心机制是：考察场景中的图像块在颜色变化、运动等自然扰动下的互信息，将表现出高互信息的图像块作为对比损失学习的正样本。其研究切入点在于正样本的选择依据，而非摘要已明确给出的新网络结构或新损失形式。摘要以 InfoNCE 为背景，但未说明互信息估计器、图像块对应方式、筛选阈值，以及样本选择与训练过程如何衔接，这些均需全文核对。 作者报告，在若干基准和多个先进表征学习框架上评估了该方法，并观察到有效性；摘要未提供基准名称、数据划分、具体对照、指标或数值，因此尚不能判断收益幅度及其适用范围。作者将改善开放环境泛化作为方法动机，其具体评估证据尚未验证。实验协议、消融及统计信息尚未验证。摘要称数据和代码将提供，不能据此认定已公开。 平台推测（待验证）：若能可靠估计 EEG 片段在合理扰动下的信息保持程度，互信息引导的正样本选择可能有助于缓解自监督学习中增强破坏任务相关信号的问题。可复用的是信息驱动的样本筛选思路；需改造的是图像块对应关系、扰动定义及互信息估计，使其适配 EEG 的时间、通道结构。低信噪比和小数据可能导致估计不稳定，高互信息也可能来自稳定伪迹或被试身份，而非任务信息。一个可检验的小实验是在固定数据划分、模型与训练预算下，对比互信息筛选和随机选择增强正样本，并在独立跨被试测试中检查下游性能与伪迹敏感性。以上为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 InfoAug 如何估计自然扰动下的互信息并据此选择对比学习正样本，这为减少增强策略对人工假设的依赖提供了具体研究路径，但其 EEG 迁移价值尚未验证。

  2. OpenReview · Representation learning74

    增强负样本表征以实现持续自监督学习

    基于摘要分析。本文研究持续自监督学习（CSSL）中的表征遗忘与新知识学习问题，提出通用损失 Augmented Negatives（AugNeg），通过联合利用当前与历史模型的负样本表征，尝试改善可塑性与稳定性的权衡；原研究对象是通用表征学习，并非 EEG 或 BCI。 核心机制：作者认为，传统“单一任务损失加稳定性正则项”的持续学习目标未必适合基于对比学习的 CSSL，因为任务损失可能面临负样本多样性下降，而正则项可能阻碍新辨别性表征的学习。AugNeg 包含两个对当前与历史模型负样本表征具有对称依赖关系的损失。作者主张，这种设计无需显式超参数调节即可形成较好的可塑性与稳定性权衡；该主张不能理解为整个训练流程无需调参。作者还提出，通过添加正则项，将增强负样本表征的思路用于非对比式 CSSL。 结果与证据边界：作者报告，在对比式和非对比式持续自监督算法的实验中，应用 AugNeg 优于其他先进 CSSL 方法。摘要未提供数据集、任务序列、对照方法名称、指标或数值，因此尚不能判断提升幅度及适用范围。具体损失公式、历史模型维护方式、训练与评估划分、实验协议、消融及统计信息尚未验证，复现需取得正文与实现细节。 平台推测（待验证）：假设 EEG 连续到达的跨会话数据存在表征漂移与遗忘，可考虑复用当前／历史模型表征之间的损失设计，但需改造 EEG 编码器、信号增强及负样本构造。其依赖当前与历史表征及持续数据流；低信噪比、通道变化、被试差异和小数据条件可能使负样本差异主要反映采集条件，而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据和会话顺序下，对比同一编码器使用常规持续自监督目标与 AugNeg 时，对历史会话表征保持及新会话下游解码的影响，并保持标签使用和评估协议一致。已有 EEG 相关工作尚未检索确认。

    阅读价值：AugNeg 将当前与历史模型的负样本表征共同纳入持续自监督目标，为检验表征学习中的可塑性与稳定性权衡提供了具体机制，但其性能优势和 EEG 迁移价值仍需核对实验协议。

  3. OpenReview · Representation learning72

    利用 Guided Stop-gradient 的隐式对比表征学习

    基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题，提出 guided stop-gradient，利用源编码器与目标编码器的非对称架构隐式引入对比学习思想，并将其应用于 SimSiam 和 BYOL。 机制与贡献：显式对比学习通过推远负样本对避免坍塌，但摘要指出，这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发，通过 guided stop-gradient 调整非对称学习过程，而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式，因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界：作者报告，在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能；作者还报告，该方法在小批量条件下有效，且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置，实验协议、消融及统计信息尚未验证。作者称代码位于补充材料，其可获取性与复现条件尚未核对。 平台推测（待验证）：假设该机制能够在较少样本下维持表征多样性，它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构；可尝试复用梯度控制机制，但需改造 EEG 编码器与正样本构造，避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真，小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下，对比原始 SimSiam 与加入该机制的版本，改变批量大小，同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 guided stop-gradient 如何在不显式使用负样本的非对称架构中缓解表示坍塌，尤其是作者报告的小批量训练及移除 predictor 条件下的稳定性，但其具体实现与实验协议尚未验证。

9月16日周六
  1. OpenReview · Representation learning75

    SCoRe：面向真实世界类别不平衡场景的子模组合表征学习

    基于摘要分析。该研究针对类别不平衡条件下稀有类别特征多样性不足、类别间偏差与类别内方差问题，提出 SCoRe（Submodular Combinatorial Representation Learning）框架，以一组子模组合损失改进对比表征学习。 核心机制是利用 Submodular Information Measures 等集合函数，同时建模特征簇的多样性与协作关系。作者提出包括 Facility Location、Graph-Cut 和 Log Determinant 在内的组合目标，并指出现有对比学习方法具有子模性，或可重新表述为相应的子模形式。摘要未提供损失公式、特征集合的构造方式、监督要求、批次采样及优化细节，尚不能判断这些目标与常用对比损失的具体差异或计算开销。 作者在高度不平衡的 CIFAR-10、MedMNIST 子集上进行图像分类实验，并在 India Driving Dataset（IDD）上进行道路物体检测实验。作者报告，相对其采用的先进度量学习基线，新目标在不平衡分类任务上的提升最高为 7.6%，在物体检测任务上的提升最高为 19.4%。摘要未明确指标、相对增幅与百分点含义、具体基线及数据划分，因此这些数字不能直接解释为 Accuracy 或检测指标的百分点提升；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 少数类别也存在表征覆盖不足，集合级多样性与协作建模可能用于缓解类别不平衡，但视觉任务收益不等于 BCI 收益。可复用部分是组合损失，需核对并改造 EEG 特征相似度、集合构造和采样策略；低信噪比、跨被试差异、通道变化及小数据可能使多样性目标优先保留噪声或被试特征。一个可证伪的小实验是固定 EEG 编码器与 Cross-subject 划分，在受控类别不平衡条件下，仅替换损失并与原对比损失及类别加权基线比较 Balanced Accuracy 和少数类别召回率，报告多随机种子的波动。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SCoRe 如何将子模集合函数转化为类别不平衡下的表征学习损失，以及其相对度量学习基线的收益是否依赖类别分布与批次构造；对 EEG 的适用性尚未验证。

1月1日周日
  1. OpenReview · EEG70

    基于 EEG 双重对比学习的认知障碍诊断消歧

    基于摘要分析。该研究针对 EEG 认知障碍诊断中标签有限、稀疏且模糊的问题，提出弱监督学习框架，尝试在标签不完全可靠的条件下识别轻度认知障碍（MCI）、可能的阿尔茨海默病（AD）与正常衰老模式。核心贡献是结合双重对比学习与多层级时域–频域 EEG 编码器，学习与认知障碍相关的表征并更新模糊标签。 机制方面，编码器将 EEG 信号转换为嵌入表示，框架通过被试内和跨被试对比学习自动更新模糊标签。摘要未说明对比样本如何构造、标签更新的依据与时机、损失函数及训练流程；因此尚不能判断其如何避免将初始标签偏差强化到表征中。这里的被试内与跨被试描述的是对比学习机制，不能据此推断评估采用了被试内或跨被试划分。 作者报告在 54 名被试上验证了方法，MCI、可能的 AD 与正常衰老三组各 18 名。摘要未提供具体指标、对照基线或数据划分，因而无法量化其相对全监督学习的收益，也不能确认对未见被试的泛化能力。作者认为该方法为非理想数据来源下的认知障碍推断提供了新思路，但这不等同于已验证的临床诊断效益。 复现时需核对 EEG 采集与预处理、诊断标签来源及不确定性定义、被试级训练与测试划分、模糊标签更新是否仅作用于训练数据，以及各组成模块的贡献。实验协议、消融及统计信息尚未验证；代码与数据可用性也尚未验证。

    阅读价值：值得核对其如何通过被试内与跨被试对比学习更新模糊诊断标签，以及标签更新是否改善独立评估中的分类表现；摘要尚不足以确认其诊断效益。