跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

709 条精选近 30 天 61 条共收录 993 条

更新

精选归档 · 第 36 页

1月1日周五第 701–709 条
  1. OpenReview · Representation learning70

    采用可训练增强通道的对比表征学习

    基于摘要分析。该研究关注图像对比表征学习中，数据增强可能过度破坏实例信息、进而导致表征坍塌的问题，提出用随机编码框架与 infoMax 目标学习依赖数据的增强分布，作为这一问题的部分解决方案。 核心机制是将增强引入的数据破坏与编码器保留的信息形式化为相互制衡的过程，而非仅使用预先固定的增强分布。作者报告，基于该框架的 infoMax 目标能够学习数据依赖的增强分布，以避免表征坍塌。摘要未提供目标函数的具体形式、增强通道的参数化方式、优化流程或坍塌判据，因此不能据此断言其采用对抗训练或特定网络结构。数据集、对照基线、评估指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 自监督对比学习中的增强同样可能破坏任务相关信息，那么可训练增强分布可能有助于协调增强强度与信息保留。原方法以图像实例区分为背景，依赖增强后仍可保留可识别信息；迁移时可借鉴增强分布学习与编码器之间的协调机制，但需改造为符合 EEG 时序、频谱及通道结构的增强操作。低信噪比下，保留的信息可能是伪迹或被试特征而非任务信号；通道差异和小数据也可能使增强策略过拟合。 一个可检验的小实验是假设检验：在固定 EEG 数据划分、编码器与训练预算下，对比固定增强分布和可训练增强分布，同时评估表征坍塌与下游任务表现，并分别报告被试内和跨被试结果。该建议不代表已有 EEG 效果，相关 EEG 工作尚未检索确认；复现原论文前还需核对全文中的增强定义、目标函数与优化条件。

    阅读价值：值得阅读其如何通过随机编码框架与 infoMax 目标学习数据依赖的增强分布，以应对增强过度破坏信息导致的表征坍塌；具体实验效果及 EEG 适用性尚未验证。

  2. OpenReview · EEG74

    EEG 数据上的自监督学习

    基于摘要分析。该研究针对临床 EEG 标注依赖专业知识、耗费人工时间而无标签数据相对丰富的问题，采用对比式自监督学习提取 EEG 表征，并在基于 EEG 的睡眠分期和病理检测两个任务上评估其分类价值。 核心思路是先从无标签 EEG 中学习结构，再使用自监督学得的特征训练线性分类器，以减少下游任务对标签的依赖。摘要明确说明采用对比式方法，但未提供正负样本构造、信号窗口、数据增强、损失函数、编码器架构及预训练细节，这些机制尚未验证。 作者报告，在低标签数据条件下，基于自监督特征的线性分类器持续优于纯监督深度神经网络；在全部标签可用时，取得具有竞争力的表现。摘要未提供具体指标、数值、数据集、被试规模，也未说明采用被试内、跨被试或跨会话评估，因此不能据此判断收益幅度或泛化范围。“全部标签”仅指研究所用评估条件，不代表任意 EEG 任务上的充分监督效果。 该工作的直接证据限于睡眠分期和病理检测，不等同于已验证 BCI 解码收益。复现时需核对无标签预训练与下游评估的数据划分关系、标签预算设置、监督基线的训练配置，以及线性分类器的拟合方式。实验协议、消融及统计信息尚未验证，代码与数据可获取性也尚未验证。

    阅读价值：值得阅读的具体原因是作者报告对比式自监督 EEG 表征配合线性分类器在少标签条件下优于纯监督深度神经网络，可作为评估标签效率的研究参照，但具体划分、基线及统计信息尚未验证。

  3. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。

  4. OpenReview · EEG70

    基于预测性与判别性对比编码的睡眠分期自监督学习

    基于摘要分析。该研究针对 EEG 睡眠分期对人工标注数据的依赖，提出自监督算法 SleepDPC，通过结合预测性与判别性学习原则，从原始 EEG 信号中学习表征，再用于睡眠阶段分类。 技术机制：摘要将预测性学习与判别性学习列为核心设计，目标是发现 EEG 中的潜在语义信息。标题将方法描述为预测性与判别性对比编码，但现有材料未说明预测目标、正负样本构造、损失函数、编码器结构，以及预训练与下游分类的衔接方式，因此不能进一步确定其具体实现或两类学习原则的互补机制。 评估与结果：作者报告在两个公开数据集上进行了评估，并称在有限标注条件下，相较多种竞争方法获得更好的分类表现，同时学习到有意义的表征。摘要未给出数据集名称、被试数量、标注比例、指标数值或基线名称，也未说明采用被试内、跨被试还是跨会话划分；这些评估前提及实验协议、消融与统计信息尚未验证。摘要关于自监督方法可接近全监督性能的背景陈述，不应直接视为 SleepDPC 已取得该结果。 阅读与复现重点：需核对预测性和判别性目标各自的贡献、有限标注的具体定义，以及不同方法是否使用一致的数据划分与标注预算。该论文直接研究 EEG 睡眠分期，但摘要不支持将其结果扩展为其他 EEG 任务或在线 BCI 的有效性结论；代码可用性与完整复现条件尚未验证。

    阅读价值：值得阅读的具体原因是 SleepDPC 将预测性与判别性学习结合用于原始 EEG 的自监督表征学习，并评估有限标注下的睡眠分期能力，但具体性能与评估协议尚待全文核对。

  5. OpenReview · Representation learning79

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究如何利用视频相较于静态图像多出的时间维度，为无监督视觉表征学习提供监督信号，提出 Sequence Contrastive Learning（SeCo），从空间、时空与序列三个角度利用视频的内在结构。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确的时间顺序，并将这些关系作为对比学习的监督基础。其主要研究对象是视频与视觉表征，而非 EEG 或 BCI。摘要未提供具体损失形式、采样规则、网络结构及训练规模，不能据此还原实现。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 未裁剪视频活动识别和 OTB-100 目标跟踪中取得较优结果，但摘要未列出具体分数及完整对照。作者另报告，在 UCF101 和 HMDB51 动作识别任务上，相对全监督 ImageNet 预训练的 Accuracy 提升分别为原文所述的 2.96% 和 6.47%；其百分比或百分点口径、数据划分及具体评估设置尚未验证，不能与前述 linear protocol 直接合并解读。摘要提供了源码地址，但代码内容、复现条件、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具有连续记录和可靠时间顺序，可假设将同帧关系改造为同一时间窗的不同增强视图，将同视频关系改造为同一连续记录内的片段关系，并复用顺序监督，探索无标签数据的表征学习。需重新设计时间窗、增强方式和正负样本定义；同一记录也可能共享被试身份或设备噪声，低信噪比、通道差异及小数据可能使模型学到与任务无关的线索。一个可检验的小实验是在固定 Cross-subject 划分下，仅使用训练被试的无标签记录预训练，对比基础对比学习与加入顺序监督后的冻结表征分类结果。该实验属于迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：SeCo 将视频中的同帧、同视频与时间顺序关系转化为对比学习监督，值得核对各类序列信号的独立贡献；其对 EEG 表征学习的价值尚未验证。

1月1日周三
  1. OpenReview · Representation learning75

    面向强化学习的掩码对比表征学习

    基于摘要分析。该研究针对像素输入强化学习（RL）的样本效率问题，在 CURL 的单帧表征学习基础上，引入相邻视频帧的上下文信息，通过掩码特征重建与对比学习训练编码器。其主要研究对象是游戏与控制环境中的视觉 RL，而非 EEG 或 BCI。 核心机制：在 CURL 的 CNN 编码器与策略网络之外，增加辅助 Transformer。训练时随机遮蔽若干帧的特征，利用上下文帧重建被遮蔽特征；CNN 与 Transformer 联合接受对比学习训练，使重建特征接近对应真实特征、远离其他特征。摘要未给出具体损失公式、负样本构造及掩码比例。推理时仅保留 CNN 编码器与策略网络，移除 Transformer，因此辅助时序模块不参与动作选择。 作者报告，在 DMControl suite 的 16 个环境中有 14 个、Atari 2600 Games 的 26 个环境中有 21 个相对 CURL 获得改进。这些数字表示出现改进的环境数量，不代表平均收益幅度；具体交互预算、评估指标、随机种子、统计显著性及消融信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移机制是利用连续观测的时间相关性，通过上下文预测学习表征；假设 EEG 相邻时间窗包含稳定且与任务有关的动态结构，可探索将帧级 CNN 替换为 EEG 编码器，在训练期沿用辅助 Transformer 与掩码对比目标。该机制依赖有序连续数据及足够上下文，不能直接等同于独立试次分类。低信噪比、跨被试差异、通道不一致和小数据可能使模型主要学习伪迹或局部平滑性。一个可检验的小实验是在同一 EEG 数据划分、编码器和微调预算下，比较独立时间窗对比学习与时序掩码对比学习，并以打乱上下文顺序作为机制对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过训练期时序掩码对比学习改进像素输入 RL，并在推理时移除辅助 Transformer，值得核对其相对 CURL 的样本效率收益及额外训练成本，但对 EEG 的适用性尚未验证。

  2. OpenReview · Representation learning72

    超越单实例多视图的无监督表征学习

    基于摘要分析。本文研究图像无监督表征学习中正样本通常局限于同一图像增强视图的问题，提出 Beyond Single Instance Multi-view（BSIM），通过两个随机采样实例及其混合样本之间的联合相似性学习，扩展传统 Single Instance Multi-view（SIM）范式。 机制上，作者将上述关系称为 spurious-positive pairs，旨在提高实例判别能力，并认为联合相似性学习在编码特征更均匀地分布于潜在空间时有助于提升性能。BSIM 被作为可叠加的改进应用于 SimCLR、MoCo 和 BYOL。摘要未给出混合样本的生成方式、联合相似性的数学定义、损失形式及其与各基线训练目标的结合细节，这些内容尚待正文核对。 作者报告，在 ImageNet-1k 和 PASCAL VOC 2007 的线性分类，以及 MS COCO 2017 和 VOC 的目标检测等下游评估中，几乎所有任务均取得较大提升。摘要未提供具体指标、数值、数据划分与训练配置，因此不能量化增益或判断各方法之间的公平可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 研究检验的机制是借助实例混合约束表征空间，而非已验证的 BCI 方法。迁移假设依赖 EEG 片段间混合仍保留可解释的信号关系；相较图像，需要改造混合策略、时序增强和相似性目标。低信噪比、通道差异及跨被试分布偏移可能使混合样本偏离真实生理分布，小数据下也可能强化噪声或被试特征。一个可证伪的小实验是在固定的跨被试划分下，以相同编码器、增强和训练预算比较基础对比学习与加入混合约束的版本，并用固定标注预算进行下游评估；若收益不能跨被试稳定出现，则不支持该迁移假设。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对 BSIM 如何定义随机实例及其混合样本的联合相似性，以及这一机制对 SimCLR、MoCo 和 BYOL 的增益能否在统一训练与评估协议下复现；其 EEG 适用性尚未验证。

  3. OpenReview · Representation learning77

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督，提出 Sequence Contrastive Learning（SeCo），从空间、时空和序列三个角度构造学习信号；主要研究对象是视频表征，而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确时间顺序，并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模，摘要未提供，尚未验证。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果；还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证，不宜与线性评估结果混为一谈。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移部分是利用序列关系构造自监督目标，而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息，可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系；需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件，而非任务信息，时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是：固定 EEG 编码器、训练数据与跨被试划分，对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督，但这些视频结构信号能否适用于 EEG 表征学习尚未验证。

1月1日周二
  1. OpenReview · Representation learning72

    基于多标签嵌入的多任务音乐表征学习

    基于摘要分析。本文研究音乐表征学习中的三元组选择问题：可能的三元组数量随样本规模呈立方增长，如何选择有效训练样本成为关键。作者提出利用音乐的多标签标注构建语义表示，并据此选择困难三元组，在多任务场景中进行评估。 核心机制是使用 Latent Semantic Indexing 将标签投影到高维空间，估计标签之间的相关性，再以此指导基于 Triplet loss 的网络训练样本选择。其方法重点在于以多标签语义关系组织三元组，而非仅将标签作为彼此独立的监督信号。摘要未说明相关性的具体计算、困难三元组的判定规则、多任务目标的组合方式或网络结构。 数据方面，作者为 Million Song Dataset 引入四组大规模多标签标注，分别对应 genres、styles、moods 和 themes。摘要说明该方法在多任务场景中接受评估，但未给出具体划分、对照方法、评价指标或数值结果，因此不能据此判断其相对其他采样策略的优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务具有可重复、具有语义关联的多标签监督，可假设标签相关性驱动的三元组选择有助于构建表征空间。可复用部分是标签嵌入与采样逻辑，需改造信号编码器及标签关系定义；音乐标签的结构与标注规模并不保证适用于 EEG。低信噪比、跨被试差异、通道变化及小数据可能使困难样本实际反映噪声或被试身份。一个可检验的小实验是在固定编码器和跨被试划分下，对比随机采样与标签相关性采样，并核对标签表示是否仅由训练数据构建。此为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是利用多标签语义相关性选择困难三元组的具体机制，可作为研究多标签监督下度量学习采样策略的参考，但摘要未提供性能结果，其收益及向 EEG 迁移的有效性尚未验证。