跳到正文

算法、任务与模态

Self-Supervised 最新动态

Self-Supervised 研究索引；按可核对的标签归档，不以热度评价质量。

1,126 条精选近 30 天 77 条共收录 1,408 条

更新

精选归档 · 第 57 页

1月1日周三第 1121–1126 条
  1. OpenReview · Representation learning81

    代码表征的对比学习

    基于摘要分析。本文研究源代码表征如何捕获程序功能，而非仅拟合代码表面形式，提出对比预训练方法 ContraCode，并引入零样本 JavaScript 代码克隆检测数据集。 核心机制是通过自动化源到源编译器，规模化生成保持程序功能的代码变体，再训练网络从多个功能不等价的干扰样本中识别功能相似变体。作者报告，基于重建的 BERT 表征对保持语义的代码编辑仍然敏感；ContraCode 因而将学习目标转向功能等价性。具体网络结构、对比损失形式、负样本构造及训练规模尚未验证。 作者报告，对比预训练使 JavaScript 代码摘要与 TypeScript 类型推断任务的准确率提升 2%–13%；在新提出的零样本 JavaScript 代码克隆检测数据集上，相比 RoBERTa，对抗设置下 AUROC 提升 39%，自然代码设置下提升最高 5%。这些幅度沿用摘要表述，不能据此认定为百分点变化；各任务对应数值、数据划分、基线配置、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，经过验证的任务语义保持变换有助于学习对无关变化更稳健的 EEG 表征，而非将代码编译机制直接用于 EEG。可复用对比预训练框架，但需重新设计正样本变换及负样本规则；EEG 缺少程序功能等价那样明确的判据，低信噪比、通道差异及跨被试变化可能使增强破坏标签相关信息，小数据也可能放大错误配对的影响。一个可证伪的小实验是在固定跨被试划分、模型和标注预算下，对比无增强预训练与候选标签保持增强预训练，检查下游性能及不同被试间的一致性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是利用编译器生成语义保持变体来构造对比学习正样本的机制；其对 EEG 的启发取决于能否定义可靠的任务标签保持变换，尚未验证。

  2. OpenReview · Representation learning77

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督，提出 Sequence Contrastive Learning（SeCo），从空间、时空和序列三个角度构造学习信号；主要研究对象是视频表征，而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确时间顺序，并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模，摘要未提供，尚未验证。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果；还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证，不宜与线性评估结果混为一谈。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移部分是利用序列关系构造自监督目标，而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息，可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系；需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件，而非任务信息，时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是：固定 EEG 编码器、训练数据与跨被试划分，对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督，但这些视频结构信号能否适用于 EEG 表征学习尚未验证。

  3. OpenReview · State space models78

    用于可变形线状物体操控的状态估计自监督学习

    基于摘要分析。本文研究机器人如何从图像估计绳索等可变形线状物体的高维物理状态，并据此预测动力学、规划操控动作。核心贡献是无需昂贵真实图像状态标注的自监督状态估计，以及编码质点—弹簧系统物理机制的快速可微神经网络动力学模型。 方法采用显式物理状态空间，而非直接在像素空间或潜在空间学习动力学。这使感知与动力学模型能够引入物理先验，并为规划提供状态表示；其设计动机是让外观不同的物体共享物理状态描述，从而复用已学习的动力学。作者声称首次在真实图像上实现绳索状态估计的自监督训练，并称其学习目标适用于多种视觉外观；具体目标形式、状态参数化及训练流程尚未验证。这里的状态空间表示是物理系统建模，不应仅凭来源分类将其视为序列建模架构。 作者报告，相比不显式估计状态且不使用物理先验的模型，该方法仅使用其训练数据量的 3%，仍获得更准确的未来状态预测；摘要未给出数据规模、划分、误差指标及具体基线配置，因此该比例不能直接解释为普适的数据效率提升。作者还报告，将模型用于模型预测控制器后，在仿真和真实机器人上实现了更高效的操控，具体效率指标尚未验证。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可供 EEG 方法研究参考的是“以结构化状态约束自监督感知，再学习状态动力学”的思路，而非绳索物理模型本身。假设合适的状态表示能够分离任务相关动态与观测变化，它可能缓解 EEG 标注稀缺及跨被试观测差异；但图像中的物体状态与 EEG 神经源状态并不等价，质点—弹簧先验不能直接移植。可复用的是感知—动力学—预测的模块化设计，需要改造的是状态定义、观测模型与约束。低信噪比、通道变化和小数据可能导致状态不可辨识或先验失配。一个可检验的小实验是在固定跨被试划分和训练数据量下，对比结构化状态预测与无此约束的潜在状态预测，分别评估未来 EEG 预测误差及下游任务表现；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是将显式物理状态、自监督视觉估计与可微动力学串联用于绳索操控的机制；作者报告了数据效率与操控收益，但具体对照协议及其对 EEG 的适用性尚未验证。

  4. OpenReview · State space models80

    PULSE：通过生成模型潜空间探索实现自监督照片上采样

    基于摘要分析。本文研究单图像超分辨率，提出 PULSE（Photo Upsampling via Latent Space Exploration）：不直接从低分辨率图像逐步补充细节，而是在生成模型的高分辨率自然图像流形上搜索，使输出既具有视觉真实感，又能降采样回输入图像。主要验证对象是人脸超分辨率，而非神经信号或 BCI。 机制上，作者指出，以超分辨率输出与高分辨率目标之间的逐像素平均距离为训练目标，容易在细节变化较大的区域产生模糊。PULSE 改以“downscaling loss”引导生成模型潜空间探索，并利用高维高斯分布的性质约束搜索空间。摘要称该过程为自监督，且不同于依赖低分辨率—高分辨率配对训练的方法，不局限于训练时使用的特定退化算子；这不意味着无需生成模型先验，也不等于已验证对任意退化过程均有效。 作者报告，在人脸超分辨率实验中，PULSE 的感知质量优于其比较的当时先进方法，并能处理更高输出分辨率与放大倍数。摘要未提供具体数据集、划分、对照方法、指标或数值；生成模型的训练条件、降采样算子、搜索成本、消融及统计信息尚未验证。需特别区分“生成合理人脸”与“恢复真实身份及细节”：降采样一致性本身不能唯一确定原始高分辨率图像。 平台推测（待验证）：可供 EEG 逆问题借鉴的机制是“生成先验约束＋观测一致性搜索”，而非直接复用人脸模型。该假设依赖可学习的信号分布和明确的观测算子，需要替换生成模型、观测损失及搜索约束；低信噪比、跨被试差异、通道布局变化和小数据可能使模型生成看似合理但不真实的信号。小规模可证伪实验可在留出被试的完整 EEG 上模拟固定通道缺失，比较该搜索机制与常规插值的缺失通道重构误差，并检查下游任务信息是否保留。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 PULSE 将超分辨率重构转化为生成模型潜空间中的降采样一致性搜索，但视觉真实感不等于原始细节恢复，其对 EEG/BCI 的适用性尚未验证。

1月1日周四
  1. OpenReview · Representation learning84

    通过上下文预测进行无监督视觉表征学习

    基于摘要分析。本文研究如何利用大量无标注图像中的空间上下文学习视觉表征：从同一图像随机抽取成对图像块，训练卷积神经网络预测第二个图像块相对于第一个的位置，以无需人工标注的预测任务提供监督信号。 核心思路是借助图像内部的空间关系学习可跨图像复用的特征。作者认为，完成相对位置预测需要识别物体及其组成部分；这是作者对任务机制的解释，摘要不足以确认模型实际依赖哪些视觉线索。具体网络结构、位置类别、采样策略与损失形式尚未验证。 作者报告，所学表征能够捕捉跨图像的视觉相似性，并在 Pascal VOC 2011 detection dataset 上支持猫、人和鸟等对象的无监督视觉发现。作者还报告，将所学 ConvNet 用于 R-CNN 框架，相比随机初始化 ConvNet 显著改善目标检测表现，并在仅使用 Pascal 提供的训练集标注的算法范围内达到当时最优水平。摘要未给出具体指标、划分和统计结果，因此这些结论不能扩展至其他数据或监督条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 局部时空片段的相对关系包含可迁移的生理结构，可借鉴上下文预测构造自监督预训练任务。可复用的是片段配对与相对关系预测思路，图像块提取和视觉编码器则需改造为适配 EEG 时间窗、通道位置及参考方式的模块。低信噪比、被试差异、通道布局变化与小数据可能使模型依赖伪迹或固定位置线索。一个可检验的小实验是在相同 EEG 编码器和固定跨被试划分下，对比上下文预测预训练与随机初始化的下游表现，并用打乱片段关系的对照检查预训练收益。已有 EEG 相关工作尚未检索确认，以上不构成已验证的 BCI 效果。

    阅读价值：值得阅读其以图像块相对位置构造自监督信号的机制，以及从上下文预测迁移到目标发现和检测的验证思路；其对 EEG 表征学习的适用性尚未验证。

  2. OpenReview · State space models79

    从空间与时间共现中学习视觉分组

    基于摘要分析。本文研究如何不依赖人工语义标签，从视觉实体的空间与时间共现中学习有意义的分组；核心贡献是将统计依赖建模转化为预测两个视觉基元是否处于同一空间或时间上下文的自监督二分类任务，并利用学习到的亲和度进行分组。 方法依赖可构造的上下文关系，而非直接监督最终语义类别。摘要列出三个应用：由图像中的空间邻接学习 patch 亲和度，由视频中的时间邻接学习 frame 亲和度，以及由图像集合中的地理空间邻近学习 photo 亲和度。具体特征表示、分类器结构、损失形式、正负样本构造及亲和度到分组的转换方式尚未验证。 作者报告，在这三个视觉应用中，学习到的亲和度能够揭示有意义的语义分组：patch 亲和度生成的物体候选区域可与当时先进的监督方法竞争；frame 亲和度生成的电影场景分割与 DVD 章节结构具有较好相关性；地理空间亲和度形成的分组与语义地点类别较好对应。摘要未提供数据集、划分、具体对照方法或量化指标，实验协议、消融及统计信息尚未验证，因此不能据此判断提升幅度或不同应用间的效果差异。 平台推测（待验证）：若 EEG 中的时间邻近片段含有稳定的状态信息，可尝试复用“上下文关系预测→亲和度学习”的机制，探索无标签片段表征；需改造信号编码、上下文窗口及配对采样，不能把电极空间邻近直接视为功能相似。该假设可能因低信噪比、时间自相关、被试差异、通道配置变化或小数据而失效，模型也可能主要学到伪迹或会话身份。一个可检验的小实验是在限定训练会话内构造邻近与非邻近片段对，冻结所得表征，在独立会话上用相同少量标签和相同分类器评估下游任务，并与随机初始化及打乱邻近关系的对照比较。已有 EEG 相关工作尚未检索确认；原文视觉结果不构成 BCI 有效性的证据。

    阅读价值：值得阅读其以空间或时间共现构造自监督二分类任务、进而学习语义亲和度的机制，但其用于 EEG 分组或表征学习的有效性尚未验证。