跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

129 条精选近 30 天 40 条共收录 172 条

更新

精选归档 · 第 7 页

10月1日周六第 121–129 条
  1. OpenReview · Representation learning70

    结构保持的图表示学习

    基于摘要分析。本文研究图表示学习中局部关系与全局拓扑信息难以充分共同编码的问题，提出 Structure-Preserving Graph Representation Learning（SPGRL），以原始图和特征图的互补表示保留图结构。原论文的主要任务是半监督节点分类，并非 EEG 解码或 BCI。 核心机制是通过 k-Nearest Neighbor 构建特征图，作为原始图的补充视图，以减轻原始图中的不确定性与错误信息；随后利用节点级对比捕获局部关系。为保留全局拓扑，方法最大化整图与特征嵌入之间的互信息（原文缩写 MI，此处不是运动想象）。作者称，该目标可在理论上化为交换特征图与原始图的特征嵌入，并分别用于重构对应图；具体数学条件、重构对象及损失形式尚未验证。 作者报告，在半监督节点分类实验中，SPGRL 表现优于所比较方法，并在图结构或节点特征受到噪声扰动时具有较好的鲁棒性。摘要未给出数据集、划分、基线、指标数值及扰动强度，因此不能量化优势或判断其适用范围；实验协议、消融及统计信息尚未验证。复现需核对特征图的邻居数与距离度量、图编码器、对比目标、重构实现，以及半监督标签的使用方式。 平台推测（待验证）：若 EEG 任务采用通道或脑区为节点、信号特征为节点属性、连接关系为边的图表示，特征图补充与局部／全局联合约束可能用于缓解连接估计噪声，但原领域有效不等于 BCI 有效。可复用的是双图构建和结构保持目标，需改造的是 EEG 节点特征、连边规则及任务输出；低信噪比、跨被试差异、通道配置变化和小样本可能使近邻关系不可靠。一个可检验的小实验是在固定的跨被试 EEG 划分中，对比原始图模型、加入特征图以及完整 SPGRL 目标，并在相同通道或特征扰动下评估性能变化。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SPGRL 如何结合节点级对比与全图互信息目标来保留局部和全局结构，以及作者报告的结构与特征噪声鲁棒性是否能在明确实验协议下复现。

3月18日周五
  1. OpenReview · Representation learning72

    用于强化学习的动作驱动对比表征

    基于摘要分析。该研究针对从高维图像学习强化学习控制策略时的样本效率与未见观测泛化问题，提出 Action-Driven Auxiliary Task（ADAT），以动作驱动的对比学习使表征关注决策所需特征、忽略与控制无关的细节。 核心机制是在经过增强的状态—动作字典中，最大化具有相同动作的观测之间的表征一致性。相较于仅从像素学习表征的既有方法，作者强调利用控制任务的动作信息约束表征，以缓解环境多样性及任务相关性不足带来的影响。摘要未说明正负样本构造、动作匹配规则、增强方式、损失形式，以及辅助任务与强化学习目标的联合训练方式，这些内容尚需全文核对。 作者报告，ADAT 在用于样本效率与泛化评估的 Atari 和 OpenAI ProcGen 基准上显著优于所比较的无模型与基于模型算法。摘要没有提供具体任务、数据划分、交互预算、对照算法名称、指标数值或统计检验，因此不能量化增益，也不能直接比较不同评估协议；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具有可靠的任务动作标签，动作一致性约束可能用于探索与决策相关的表征学习；这一假设依赖动作标签确实对应目标神经状态，而非仅反映策略或外部行为。可复用的是按动作组织对比样本的思路，需改造的是 EEG 编码器、信号增强及样本配对规则。低信噪比、跨被试差异、通道变化和小数据可能使同动作样本仍存在较大分布差异，并导致有效神经信息被过度压缩。一个可检验的小实验是在具有任务动作标签的 EEG 数据上，固定编码器与训练预算，比较加入动作一致性辅助目标前后的表现，分别报告被试内与跨被试结果，并以打乱动作标签作为对照。该实验仅是迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 ADAT 以动作一致性组织对比表征的机制及其泛化评估，但摘要不足以判断性能增益的幅度，也不能据此确认其适用于 EEG/BCI。

  2. OpenReview · Representation learning72

    用于强化学习的动作驱动对比表征

    基于摘要分析。本文研究从高维图像学习强化学习表征时的样本效率与未见观测泛化问题，提出 Action-Driven Auxiliary Task（ADAT），以动作相关的对比学习引导表征关注决策所需特征、忽略与控制无关的细节。原论文的主要对象是视觉强化学习，而非 EEG 或 BCI。 核心机制是在增强的状态—动作字典中，最大化共享相同动作的观测之间的表征一致性。与摘要所述的既有像素表征方法相比，ADAT 将动作信息作为组织表征学习的依据，试图减少环境多样性带来的干扰，并使表征更贴近控制任务。具体增强方式、正负样本构造、损失形式、动作来源及辅助任务与强化学习训练的结合方式尚未验证。 作者报告，在用于样本效率与泛化评估的 Atari 和 OpenAI ProcGen 上，该方法显著优于参与比较的无模型及基于模型算法。摘要未提供具体分数、基线名称、训练预算、数据划分或统计检验信息，因此无法量化优势，也不能判断不同评估设置下结论的适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移机制是利用任务动作信息约束表征，而非直接迁移视觉控制模型。假设在具有明确动作标签的 EEG 控制任务中，同一动作对应的信号包含可共享的决策特征，则可复用动作条件下的对比学习思路，但需改造 EEG 编码器、信号增强和样本配对方式。该假设依赖动作标签与神经信号的对应关系；相同动作不必意味着相同神经状态，低信噪比、跨被试差异、通道配置变化及小数据可能使配对失真或表征丢失有用信息。 一个可检验的小实验是在固定 EEG 编码器与训练预算下，对比加入动作一致性辅助目标与不加入该目标的模型，采用被试隔离的 Cross-subject 划分，检查收益是否稳定，并核对动作标签的时序对齐与使用范围。已有 EEG 相关工作尚未检索确认，此建议不构成已证实的 BCI 效果。

    阅读价值：值得核对 ADAT 以动作一致性组织对比学习的机制及其泛化评估，尤其是相同动作能否构成可靠的任务相关监督；摘要中的性能结论及其对 EEG 的适用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning78

    通过同步动量分组进行无监督视觉表征学习

    基于摘要分析。本文研究无监督视觉表征学习，提出 SMoG（Synchronous Momentum Grouping），通过组级对比学习结合实例级对比与聚类方法的优势，旨在减少假负样本并缓解聚类监督信号的滞后。 核心机制是保留对比学习框架，但将对比单位从单个实例替换为组；动量分组机制使特征分组与表征学习同步进行。作者认为，实例级判别过于细粒度，可能把语义相近样本当作负样本，而聚类方法的监督信号可能滞后于表征更新。摘要未提供分组规则、动量更新公式、损失形式或训练细节，尚不能确认其具体实现及适用条件。 作者报告，SMoG 在 CNN 和 Transformer 骨干上均有效，优于当时的无监督表征学习方法；在 ImageNet 线性评估中，其结果超过常规监督学习，且表征可迁移至下游任务。摘要未给出具体数值、骨干配置、数据划分、对照基线或下游任务名称，实验协议、消融及统计信息尚未验证，不能据此判断各项比较的公平性或优势幅度。 平台推测（待验证）：若 EEG 样本存在可稳定识别的潜在状态组，组级对比可能减少语义相近片段被视为负样本的问题，同步分组也可能缓解训练中表征变化导致的监督滞后。可考虑复用组级对比和动量分组机制，但需改造 EEG 编码器、信号增强与分组策略；原方法的图像增强、样本规模及潜在分组结构是否适用于 EEG 尚不明确。低信噪比、通道差异和跨被试偏移可能使分组主要捕获伪迹或被试身份，小数据也可能导致分组不稳定。 一个可检验的小实验是在固定 EEG 编码器、增强、训练预算和 Cross-subject 划分下，对比实例级对比与同步组级对比，冻结编码器进行线性评估，同时检查分组与任务类别、被试身份的关联。该实验仅用于检验迁移假设，不代表已有 BCI 效果；相关 EEG 工作尚未检索确认。

    阅读价值：SMoG 将对比单位从实例改为组，并同步更新分组与表征，为分析假负样本和聚类监督滞后提供了具体机制，但其比较优势与 EEG 迁移价值尚需验证。

  2. OpenReview · Representation learning73

    对比式句子表示学习的各向同性与学习动态研究

    基于摘要分析。本文研究对比学习为何能够改善句子表示学习（SRL），主要对象是句子级 NLP 语义表示，而非 EEG 或 BCI。作者从各向同性、上下文化和学习动态三个角度分析表示空间的变化，旨在为后续句子表示学习方法的设计提供依据。 作者报告，对比学习使表示空间更具各向同性，并提高句内相似性，即同一句子中的 token 在语义空间中趋向相近位置。作者还将一种现象形式化为“spurious contextualization”（伪上下文化），并报告该现象在具有语义意义的 token 上减弱、在功能性 token 上增强；其具体定义与测量方式需查阅全文确认。训练过程中，嵌入空间整体朝原点移动，更多区域变得更明确，但摘要未说明相应几何量的定义及其与下游效果的定量关系。 作者通过改变训练温度、批量大小和池化方法考察上述现象的学习动态。摘要未提供具体模型、对比目标形式、数据集、评估划分或数值结果，实验协议、消融及统计信息尚未验证。因此，不能据此将各向同性增强等同于任务性能提升，也不能判断这些现象是否适用于其他模态。 平台推测（待验证）：其可迁移价值更可能是表示诊断视角，而非直接复用句子语义结论。假设 EEG 对比学习中的表示集中或局部特征过度趋同会影响判别能力，可复用各向同性与训练轨迹分析；但需根据 EEG 的时间片段或通道结构重新定义局部相似性，不能直接对应语义 token 与功能性 token。低信噪比、跨被试差异及小数据条件可能使几何变化主要反映噪声或被试身份。一个小规模可证伪实验是在固定 Cross-subject 划分、编码器及增强策略下，仅改变对比学习温度，同时记录各向同性、片段相似性与下游 Accuracy，检验几何改善是否伴随判别能力改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读之处在于作者将对比式句子表示学习的效果与表示各向同性、句内 token 聚合及训练动态联系起来，为检查对比学习表示空间提供了具体分析视角，但其 EEG 适用性尚未验证。

1月1日周五
  1. OpenReview · EEG76

    用于自动睡眠分期的自监督 EEG 表征学习

    基于摘要分析。本文研究如何利用大量无标签 EEG 学习可用于自动睡眠分期的向量表征，提出自监督模型 Contrast with the World Representation（ContraWR），目标是在减少标注依赖的同时获得具有预测能力且对噪声稳健的特征。原论文的主要研究对象是睡眠分期，而非 BCI 控制任务。 机制上，ContraWR 利用数据集的全局统计信息，帮助区分与不同睡眠阶段相关的信号。摘要未展开全局统计的计算与更新方式、对比目标、数据增强、编码器及下游训练流程，因此不能据此确定具体损失形式或网络结构。作者希望学习到的向量特征能够替代原始信号用于睡眠分期，并在少标签和噪声场景下优于监督学习。 作者报告，在涵盖居家与实验室记录场景的三个真实 EEG 数据集上，ContraWR 的睡眠分期表现优于四种近期自监督方法；在训练标注不足 2% 的示例条件下，相对监督学习取得原文所述“4% accuracy improvement”。摘要未明确该增益是相对百分比还是百分点，也未给出对应数据集、基线分数及划分方式，故不能进一步换算或跨协议比较。作者还报告二维投影呈现有信息的特征结构，并认为模型具有噪声鲁棒性，但可视化本身不能替代定量验证。 复现时需核对数据集名称、被试与记录划分、标注比例的抽样单位、预训练数据范围、全局统计是否仅由协议允许的数据计算，以及噪声类型、强度和评价指标。实验协议、消融及统计信息尚未验证。作者提出可扩展到其他无监督生理信号学习任务，但摘要未提供其他任务的验证结果。

    阅读价值：值得阅读的具体原因是 ContraWR 利用数据集全局统计学习无标签 EEG 表征，并报告了少标签睡眠分期收益；其统计构建方式、评估划分及噪声鲁棒性证据仍需全文核对。

  2. OpenReview · EEG76

    用于自动睡眠分期的自监督 EEG 表征学习

    基于摘要分析。本研究针对自动睡眠分期依赖精细 EEG 标注、海量无标注信号难以有效利用的问题，提出自监督表征学习方法 Contrast with the World Representation（ContraWR），目标是将原始 EEG 转换为可用于睡眠分期的向量特征，并改善少标签及噪声条件下的预测表现。 核心机制：摘要说明 ContraWR 利用数据集的全局统计来区分与不同睡眠阶段相关的信号，但未提供全局统计的计算方式、对比目标、损失函数、信号分段、数据增强或模型结构。这些细节尚未验证，也不能据此判断训练过程中如何使用睡眠阶段标签。 评估与结果：作者在三个真实 EEG 数据集上进行评估，覆盖居家与实验室记录场景，并报告 ContraWR 在睡眠分期任务中优于四种近期自监督方法。作者还报告，在标注数据占比低于 2% 的条件下，相较监督学习获得“4% accuracy improvement”；摘要未明确该数值是相对提升还是提高 4 个百分点，具体数据集、划分及监督基线也尚未验证。作者展示了二维投影中的表征结构，并认为方法具有噪声鲁棒性；投影结构本身不能替代下游预测或鲁棒性评估。 证据边界与复现条件：数据集名称、通道配置、被试数量、Within-subject 或 Cross-subject 协议、标注子集抽样方法、噪声类型及强度、消融与统计信息尚未验证。复现应优先核对全局统计的估计范围、预训练与下游评估的数据划分，以及自监督和监督基线是否采用一致的标注预算。 研究主要对象是 EEG 睡眠分期，并非 BCI 控制任务。作者提出向其他无监督生理信号学习任务推广，并将任务特定数据增强及自监督与监督方法结合列为未来方向；摘要未提供其他任务上的验证结果。

    阅读价值：值得阅读的是 ContraWR 利用数据集全局统计学习无标注 EEG 表征的机制，以及作者报告的少标签睡眠分期优势；具体对比协议与噪声鲁棒性证据尚需全文核对。

  3. OpenReview · EEG74

    EEG 数据上的自监督学习

    基于摘要分析。该研究针对临床 EEG 标注依赖专业知识、耗费人工时间而无标签数据相对丰富的问题，采用对比式自监督学习提取 EEG 表征，并在基于 EEG 的睡眠分期和病理检测两个任务上评估其分类价值。 核心思路是先从无标签 EEG 中学习结构，再使用自监督学得的特征训练线性分类器，以减少下游任务对标签的依赖。摘要明确说明采用对比式方法，但未提供正负样本构造、信号窗口、数据增强、损失函数、编码器架构及预训练细节，这些机制尚未验证。 作者报告，在低标签数据条件下，基于自监督特征的线性分类器持续优于纯监督深度神经网络；在全部标签可用时，取得具有竞争力的表现。摘要未提供具体指标、数值、数据集、被试规模，也未说明采用被试内、跨被试或跨会话评估，因此不能据此判断收益幅度或泛化范围。“全部标签”仅指研究所用评估条件，不代表任意 EEG 任务上的充分监督效果。 该工作的直接证据限于睡眠分期和病理检测，不等同于已验证 BCI 解码收益。复现时需核对无标签预训练与下游评估的数据划分关系、标签预算设置、监督基线的训练配置，以及线性分类器的拟合方式。实验协议、消融及统计信息尚未验证，代码与数据可获取性也尚未验证。

    阅读价值：值得阅读的具体原因是作者报告对比式自监督 EEG 表征配合线性分类器在少标签条件下优于纯监督深度神经网络，可作为评估标签效率的研究参照，但具体划分、基线及统计信息尚未验证。

  4. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。