跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

226 条精选近 30 天 49 条共收录 304 条

更新

精选归档 · 第 12 页

1月1日周五第 221–226 条
  1. OpenReview · Representation learning72

    通过对比聚类分配进行图表示学习

    基于摘要分析。该研究面向无监督图表示学习，提出 GRCCA，通过对比不同增强图中的聚类分配，尝试同时利用局部节点信息、全局结构与簇级关联，缓解局部—全局对比中全局信息过于粗略，以及节点级对比中全局信息利用不足的问题。 核心机制：先采用不同图增强策略生成两张增强图，再通过聚类算法分别获得聚类分配与原型；随后最小化交叉熵损失，使两张增强图中的同一节点相互预测其聚类分配。其对齐对象不是单纯的节点嵌入，而是节点所属的簇级结构。作者认为，这有助于发现图拓扑之外较难显式刻画的节点关联。具体增强操作、编码器、聚类算法、原型更新方式及损失实现尚未验证。 结果与证据边界：作者报告，在三种不同下游任务中与当时的先进模型比较，GRCCA 在多数任务中具有较强竞争力。摘要未给出任务名称、数据集、划分、指标或数值，因此不能据此判断收益幅度或宣称达到 SOTA；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，若 EEG 可构造成具有稳定节点对应关系的图，簇级一致性可能为噪声较大的节点表示提供额外结构约束。可复用的是聚类分配对齐机制，需改造的是 EEG 图构建、增强策略及节点对应规则；原方法依赖图结构和跨增强的节点对应，摘要未说明所需数据规模，也未验证簇是否对应神经生理结构。低信噪比、跨被试差异、通道配置变化和小数据可能造成聚类不稳定，或使模型对齐非任务相关因素。一个可检验的小实验是在固定 EEG 数据划分、图构建、编码器与增强的条件下，对比节点级对比学习与聚类分配对比，检查下游任务指标及不同随机种子下的稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 GRCCA 如何通过跨增强图的聚类分配预测协调局部与全局信息，但摘要仅报告定性竞争力，其相对节点级对比的收益及 EEG 迁移价值尚未验证。

  2. OpenReview · EEG76

    用于自动睡眠分期的自监督 EEG 表征学习

    基于摘要分析。本研究针对自动睡眠分期依赖精细 EEG 标注、海量无标注信号难以有效利用的问题，提出自监督表征学习方法 Contrast with the World Representation（ContraWR），目标是将原始 EEG 转换为可用于睡眠分期的向量特征，并改善少标签及噪声条件下的预测表现。 核心机制：摘要说明 ContraWR 利用数据集的全局统计来区分与不同睡眠阶段相关的信号，但未提供全局统计的计算方式、对比目标、损失函数、信号分段、数据增强或模型结构。这些细节尚未验证，也不能据此判断训练过程中如何使用睡眠阶段标签。 评估与结果：作者在三个真实 EEG 数据集上进行评估，覆盖居家与实验室记录场景，并报告 ContraWR 在睡眠分期任务中优于四种近期自监督方法。作者还报告，在标注数据占比低于 2% 的条件下，相较监督学习获得“4% accuracy improvement”；摘要未明确该数值是相对提升还是提高 4 个百分点，具体数据集、划分及监督基线也尚未验证。作者展示了二维投影中的表征结构，并认为方法具有噪声鲁棒性；投影结构本身不能替代下游预测或鲁棒性评估。 证据边界与复现条件：数据集名称、通道配置、被试数量、Within-subject 或 Cross-subject 协议、标注子集抽样方法、噪声类型及强度、消融与统计信息尚未验证。复现应优先核对全局统计的估计范围、预训练与下游评估的数据划分，以及自监督和监督基线是否采用一致的标注预算。 研究主要对象是 EEG 睡眠分期，并非 BCI 控制任务。作者提出向其他无监督生理信号学习任务推广，并将任务特定数据增强及自监督与监督方法结合列为未来方向；摘要未提供其他任务上的验证结果。

    阅读价值：值得阅读的是 ContraWR 利用数据集全局统计学习无标注 EEG 表征的机制，以及作者报告的少标签睡眠分期优势；具体对比协议与噪声鲁棒性证据尚需全文核对。

  3. OpenReview · Representation learning70

    采用可训练增强通道的对比表征学习

    基于摘要分析。该研究关注图像对比表征学习中，数据增强可能过度破坏实例信息、进而导致表征坍塌的问题，提出用随机编码框架与 infoMax 目标学习依赖数据的增强分布，作为这一问题的部分解决方案。 核心机制是将增强引入的数据破坏与编码器保留的信息形式化为相互制衡的过程，而非仅使用预先固定的增强分布。作者报告，基于该框架的 infoMax 目标能够学习数据依赖的增强分布，以避免表征坍塌。摘要未提供目标函数的具体形式、增强通道的参数化方式、优化流程或坍塌判据，因此不能据此断言其采用对抗训练或特定网络结构。数据集、对照基线、评估指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 自监督对比学习中的增强同样可能破坏任务相关信息，那么可训练增强分布可能有助于协调增强强度与信息保留。原方法以图像实例区分为背景，依赖增强后仍可保留可识别信息；迁移时可借鉴增强分布学习与编码器之间的协调机制，但需改造为符合 EEG 时序、频谱及通道结构的增强操作。低信噪比下，保留的信息可能是伪迹或被试特征而非任务信号；通道差异和小数据也可能使增强策略过拟合。 一个可检验的小实验是假设检验：在固定 EEG 数据划分、编码器与训练预算下，对比固定增强分布和可训练增强分布，同时评估表征坍塌与下游任务表现，并分别报告被试内和跨被试结果。该建议不代表已有 EEG 效果，相关 EEG 工作尚未检索确认；复现原论文前还需核对全文中的增强定义、目标函数与优化条件。

    阅读价值：值得阅读其如何通过随机编码框架与 infoMax 目标学习数据依赖的增强分布，以应对增强过度破坏信息导致的表征坍塌；具体实验效果及 EEG 适用性尚未验证。

  4. OpenReview · EEG74

    EEG 数据上的自监督学习

    基于摘要分析。该研究针对临床 EEG 标注依赖专业知识、耗费人工时间而无标签数据相对丰富的问题，采用对比式自监督学习提取 EEG 表征，并在基于 EEG 的睡眠分期和病理检测两个任务上评估其分类价值。 核心思路是先从无标签 EEG 中学习结构，再使用自监督学得的特征训练线性分类器，以减少下游任务对标签的依赖。摘要明确说明采用对比式方法，但未提供正负样本构造、信号窗口、数据增强、损失函数、编码器架构及预训练细节，这些机制尚未验证。 作者报告，在低标签数据条件下，基于自监督特征的线性分类器持续优于纯监督深度神经网络；在全部标签可用时，取得具有竞争力的表现。摘要未提供具体指标、数值、数据集、被试规模，也未说明采用被试内、跨被试或跨会话评估，因此不能据此判断收益幅度或泛化范围。“全部标签”仅指研究所用评估条件，不代表任意 EEG 任务上的充分监督效果。 该工作的直接证据限于睡眠分期和病理检测，不等同于已验证 BCI 解码收益。复现时需核对无标签预训练与下游评估的数据划分关系、标签预算设置、监督基线的训练配置，以及线性分类器的拟合方式。实验协议、消融及统计信息尚未验证，代码与数据可获取性也尚未验证。

    阅读价值：值得阅读的具体原因是作者报告对比式自监督 EEG 表征配合线性分类器在少标签条件下优于纯监督深度神经网络，可作为评估标签效率的研究参照，但具体划分、基线及统计信息尚未验证。

  5. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。

  6. OpenReview · EEG70

    基于预测性与判别性对比编码的睡眠分期自监督学习

    基于摘要分析。该研究针对 EEG 睡眠分期对人工标注数据的依赖，提出自监督算法 SleepDPC，通过结合预测性与判别性学习原则，从原始 EEG 信号中学习表征，再用于睡眠阶段分类。 技术机制：摘要将预测性学习与判别性学习列为核心设计，目标是发现 EEG 中的潜在语义信息。标题将方法描述为预测性与判别性对比编码，但现有材料未说明预测目标、正负样本构造、损失函数、编码器结构，以及预训练与下游分类的衔接方式，因此不能进一步确定其具体实现或两类学习原则的互补机制。 评估与结果：作者报告在两个公开数据集上进行了评估，并称在有限标注条件下，相较多种竞争方法获得更好的分类表现，同时学习到有意义的表征。摘要未给出数据集名称、被试数量、标注比例、指标数值或基线名称，也未说明采用被试内、跨被试还是跨会话划分；这些评估前提及实验协议、消融与统计信息尚未验证。摘要关于自监督方法可接近全监督性能的背景陈述，不应直接视为 SleepDPC 已取得该结果。 阅读与复现重点：需核对预测性和判别性目标各自的贡献、有限标注的具体定义，以及不同方法是否使用一致的数据划分与标注预算。该论文直接研究 EEG 睡眠分期，但摘要不支持将其结果扩展为其他 EEG 任务或在线 BCI 的有效性结论；代码可用性与完整复现条件尚未验证。

    阅读价值：值得阅读的具体原因是 SleepDPC 将预测性与判别性学习结合用于原始 EEG 的自监督表征学习，并评估有限标注下的睡眠分期能力，但具体性能与评估协议尚待全文核对。