跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

146 条精选近 30 天 41 条共收录 196 条

更新

精选归档 · 第 8 页

1月1日周六第 141–146 条
  1. OpenReview · Representation learning73

    对比式句子表示学习的各向同性与学习动态研究

    基于摘要分析。本文研究对比学习为何能够改善句子表示学习（SRL），主要对象是句子级 NLP 语义表示，而非 EEG 或 BCI。作者从各向同性、上下文化和学习动态三个角度分析表示空间的变化，旨在为后续句子表示学习方法的设计提供依据。 作者报告，对比学习使表示空间更具各向同性，并提高句内相似性，即同一句子中的 token 在语义空间中趋向相近位置。作者还将一种现象形式化为“spurious contextualization”（伪上下文化），并报告该现象在具有语义意义的 token 上减弱、在功能性 token 上增强；其具体定义与测量方式需查阅全文确认。训练过程中，嵌入空间整体朝原点移动，更多区域变得更明确，但摘要未说明相应几何量的定义及其与下游效果的定量关系。 作者通过改变训练温度、批量大小和池化方法考察上述现象的学习动态。摘要未提供具体模型、对比目标形式、数据集、评估划分或数值结果，实验协议、消融及统计信息尚未验证。因此，不能据此将各向同性增强等同于任务性能提升，也不能判断这些现象是否适用于其他模态。 平台推测（待验证）：其可迁移价值更可能是表示诊断视角，而非直接复用句子语义结论。假设 EEG 对比学习中的表示集中或局部特征过度趋同会影响判别能力，可复用各向同性与训练轨迹分析；但需根据 EEG 的时间片段或通道结构重新定义局部相似性，不能直接对应语义 token 与功能性 token。低信噪比、跨被试差异及小数据条件可能使几何变化主要反映噪声或被试身份。一个小规模可证伪实验是在固定 Cross-subject 划分、编码器及增强策略下，仅改变对比学习温度，同时记录各向同性、片段相似性与下游 Accuracy，检验几何改善是否伴随判别能力改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读之处在于作者将对比式句子表示学习的效果与表示各向同性、句内 token 聚合及训练动态联系起来，为检查对比学习表示空间提供了具体分析视角，但其 EEG 适用性尚未验证。

  2. OpenReview · Representation learning74

    混合式对比学习：时间序列的自监督表征学习

    基于摘要分析。本文研究时间序列标注不足条件下的表征学习，提出受标签平滑启发的无监督对比学习框架，以两个样本的混合构造训练数据，并将混合系数作为软目标，为时间序列表征及迁移学习提供训练信号。主要研究对象是通用时间序列与临床时间序列，而非已明确验证的 EEG 或 BCI 任务。 核心机制是把样本混合增强与对比学习目标结合：新样本由两个数据样本及混合系数生成，模型的任务是预测该混合系数，并在损失函数中使用相应软目标。摘要未给出混合操作的具体形式、对比损失公式、编码器结构及训练和推理流程，这些细节尚未验证。 作者报告，该框架在单变量和多变量时间序列实验中优于其他表征学习方法，并展示了临床时间序列迁移学习的收益。摘要未提供数据集名称、样本规模、划分方式、基线名称或指标数值，因此无法判断优势的幅度及适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 样本具有可对齐的时间轴和通道结构，混合系数软监督可能为低标注条件下的预训练提供可复用机制。但这一假设依赖样本混合仍保留可学习的信号结构；跨被试幅值差异、通道不一致及低信噪比可能使模型主要利用混合伪迹而非任务相关特征。可复用部分是混合增强与软目标训练思路，需改造部分包括 EEG 预处理、通道对齐和编码器。一个可检验的小实验是在固定跨被试划分与相同标注预算下，对比该目标和常规对比学习预训练，并检查混合强度变化对下游表现的影响。已有 EEG 相关工作尚未检索确认，以上不属于论文已验证结果。复现前需取得全文，核对损失定义、混合采样方式、数据划分与实现可用性。

    阅读价值：值得核对其以混合系数作为软目标的对比学习机制及迁移评估协议，但摘要所述通用与临床时间序列结果尚不能证明其对 EEG 表征学习有效。

1月1日周五
  1. OpenReview · EEG76

    用于自动睡眠分期的自监督 EEG 表征学习

    基于摘要分析。本文研究如何利用大量无标签 EEG 学习可用于自动睡眠分期的向量表征，提出自监督模型 Contrast with the World Representation（ContraWR），目标是在减少标注依赖的同时获得具有预测能力且对噪声稳健的特征。原论文的主要研究对象是睡眠分期，而非 BCI 控制任务。 机制上，ContraWR 利用数据集的全局统计信息，帮助区分与不同睡眠阶段相关的信号。摘要未展开全局统计的计算与更新方式、对比目标、数据增强、编码器及下游训练流程，因此不能据此确定具体损失形式或网络结构。作者希望学习到的向量特征能够替代原始信号用于睡眠分期，并在少标签和噪声场景下优于监督学习。 作者报告，在涵盖居家与实验室记录场景的三个真实 EEG 数据集上，ContraWR 的睡眠分期表现优于四种近期自监督方法；在训练标注不足 2% 的示例条件下，相对监督学习取得原文所述“4% accuracy improvement”。摘要未明确该增益是相对百分比还是百分点，也未给出对应数据集、基线分数及划分方式，故不能进一步换算或跨协议比较。作者还报告二维投影呈现有信息的特征结构，并认为模型具有噪声鲁棒性，但可视化本身不能替代定量验证。 复现时需核对数据集名称、被试与记录划分、标注比例的抽样单位、预训练数据范围、全局统计是否仅由协议允许的数据计算，以及噪声类型、强度和评价指标。实验协议、消融及统计信息尚未验证。作者提出可扩展到其他无监督生理信号学习任务，但摘要未提供其他任务的验证结果。

    阅读价值：值得阅读的具体原因是 ContraWR 利用数据集全局统计学习无标签 EEG 表征，并报告了少标签睡眠分期收益；其统计构建方式、评估划分及噪声鲁棒性证据仍需全文核对。

  2. OpenReview · EEG76

    用于自动睡眠分期的自监督 EEG 表征学习

    基于摘要分析。本研究针对自动睡眠分期依赖精细 EEG 标注、海量无标注信号难以有效利用的问题，提出自监督表征学习方法 Contrast with the World Representation（ContraWR），目标是将原始 EEG 转换为可用于睡眠分期的向量特征，并改善少标签及噪声条件下的预测表现。 核心机制：摘要说明 ContraWR 利用数据集的全局统计来区分与不同睡眠阶段相关的信号，但未提供全局统计的计算方式、对比目标、损失函数、信号分段、数据增强或模型结构。这些细节尚未验证，也不能据此判断训练过程中如何使用睡眠阶段标签。 评估与结果：作者在三个真实 EEG 数据集上进行评估，覆盖居家与实验室记录场景，并报告 ContraWR 在睡眠分期任务中优于四种近期自监督方法。作者还报告，在标注数据占比低于 2% 的条件下，相较监督学习获得“4% accuracy improvement”；摘要未明确该数值是相对提升还是提高 4 个百分点，具体数据集、划分及监督基线也尚未验证。作者展示了二维投影中的表征结构，并认为方法具有噪声鲁棒性；投影结构本身不能替代下游预测或鲁棒性评估。 证据边界与复现条件：数据集名称、通道配置、被试数量、Within-subject 或 Cross-subject 协议、标注子集抽样方法、噪声类型及强度、消融与统计信息尚未验证。复现应优先核对全局统计的估计范围、预训练与下游评估的数据划分，以及自监督和监督基线是否采用一致的标注预算。 研究主要对象是 EEG 睡眠分期，并非 BCI 控制任务。作者提出向其他无监督生理信号学习任务推广，并将任务特定数据增强及自监督与监督方法结合列为未来方向；摘要未提供其他任务上的验证结果。

    阅读价值：值得阅读的是 ContraWR 利用数据集全局统计学习无标注 EEG 表征的机制，以及作者报告的少标签睡眠分期优势；具体对比协议与噪声鲁棒性证据尚需全文核对。

  3. OpenReview · EEG74

    EEG 数据上的自监督学习

    基于摘要分析。该研究针对临床 EEG 标注依赖专业知识、耗费人工时间而无标签数据相对丰富的问题，采用对比式自监督学习提取 EEG 表征，并在基于 EEG 的睡眠分期和病理检测两个任务上评估其分类价值。 核心思路是先从无标签 EEG 中学习结构，再使用自监督学得的特征训练线性分类器，以减少下游任务对标签的依赖。摘要明确说明采用对比式方法，但未提供正负样本构造、信号窗口、数据增强、损失函数、编码器架构及预训练细节，这些机制尚未验证。 作者报告，在低标签数据条件下，基于自监督特征的线性分类器持续优于纯监督深度神经网络；在全部标签可用时，取得具有竞争力的表现。摘要未提供具体指标、数值、数据集、被试规模，也未说明采用被试内、跨被试或跨会话评估，因此不能据此判断收益幅度或泛化范围。“全部标签”仅指研究所用评估条件，不代表任意 EEG 任务上的充分监督效果。 该工作的直接证据限于睡眠分期和病理检测，不等同于已验证 BCI 解码收益。复现时需核对无标签预训练与下游评估的数据划分关系、标签预算设置、监督基线的训练配置，以及线性分类器的拟合方式。实验协议、消融及统计信息尚未验证，代码与数据可获取性也尚未验证。

    阅读价值：值得阅读的具体原因是作者报告对比式自监督 EEG 表征配合线性分类器在少标签条件下优于纯监督深度神经网络，可作为评估标签效率的研究参照，但具体划分、基线及统计信息尚未验证。

  4. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。