跳到正文

算法、任务与模态

Contrastive Learning 最新动态

Contrastive Learning 研究索引;按可核对的标签归档,不以热度评价质量。

1,142 条精选近 30 天 45 条共收录 1,576 条

更新

精选归档 · 第 58 页

1月1日周三第 1141–1142 条
  1. OpenReview · Representation learning77

    SeCo:探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督,提出 Sequence Contrastive Learning(SeCo),从空间、时空和序列三个角度构造学习信号;主要研究对象是视频表征,而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频,以及三个样本是否具有正确时间顺序,并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模,摘要未提供,尚未验证。 作者报告,在 linear protocol 下,SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果;还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证,不宜与线性评估结果混为一谈。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):其可迁移部分是利用序列关系构造自监督目标,而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息,可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系;需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件,而非任务信息,时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是:固定 EEG 编码器、训练数据与跨被试划分,对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督,但这些视频结构信号能否适用于 EEG 表征学习尚未验证。

1月1日周二
  1. OpenReview · Representation learning72

    基于多标签嵌入的多任务音乐表征学习

    基于摘要分析。本文研究音乐表征学习中的三元组选择问题:可能的三元组数量随样本规模呈立方增长,如何选择有效训练样本成为关键。作者提出利用音乐的多标签标注构建语义表示,并据此选择困难三元组,在多任务场景中进行评估。 核心机制是使用 Latent Semantic Indexing 将标签投影到高维空间,估计标签之间的相关性,再以此指导基于 Triplet loss 的网络训练样本选择。其方法重点在于以多标签语义关系组织三元组,而非仅将标签作为彼此独立的监督信号。摘要未说明相关性的具体计算、困难三元组的判定规则、多任务目标的组合方式或网络结构。 数据方面,作者为 Million Song Dataset 引入四组大规模多标签标注,分别对应 genres、styles、moods 和 themes。摘要说明该方法在多任务场景中接受评估,但未给出具体划分、对照方法、评价指标或数值结果,因此不能据此判断其相对其他采样策略的优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有可重复、具有语义关联的多标签监督,可假设标签相关性驱动的三元组选择有助于构建表征空间。可复用部分是标签嵌入与采样逻辑,需改造信号编码器及标签关系定义;音乐标签的结构与标注规模并不保证适用于 EEG。低信噪比、跨被试差异、通道变化及小数据可能使困难样本实际反映噪声或被试身份。一个可检验的小实验是在固定编码器和跨被试划分下,对比随机采样与标签相关性采样,并核对标签表示是否仅由训练数据构建。此为迁移假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得关注的是利用多标签语义相关性选择困难三元组的具体机制,可作为研究多标签监督下度量学习采样策略的参考,但摘要未提供性能结果,其收益及向 EEG 迁移的有效性尚未验证。