跳到正文

算法、任务与模态

Self-Supervised 最新动态

Self-Supervised 研究索引；按可核对的标签归档，不以热度评价质量。

1,104 条精选近 30 天 81 条共收录 1,383 条

更新

精选归档 · 第 55 页

1月1日周五第 1081–1100 条
  1. OpenReview · Representation learning75

    结合局部与全局结构的自监督图级表示学习

    基于摘要分析。本文研究无监督／自监督整图表示学习，应用背景包括药物与材料发现中的分子性质预测。作者提出 Local-instance and Global-semantic Learning（GraphLoG），在保留不同图实例间局部相似性的同时，引入层次化原型捕捉整个数据集的全局语义簇。 机制上，GraphLoG 将局部实例关系与全局语义结构纳入统一框架，并使用在线期望最大化（EM）算法学习模型。这里的“局部”指图实例之间的相似性结构，不应直接等同于单张图中的邻域连接。摘要未提供图编码器、原型层级构造、具体损失或 EM 更新细节，这些内容尚未验证。 评估采用在大量无标签图上预训练、再对下游任务微调的流程。作者报告，该方法在化学与生物学基准数据集上表现有效；摘要未给出数据集名称、划分协议、对照方法与具体指标，实验协议、消融及统计信息尚未验证，因此无法据此判断增益幅度或适用边界。 平台推测（待验证）：若将 EEG 时间窗构造成通道关系图，可检验“局部相似性加全局语义原型”是否有助于整图表示学习。该假设依赖有意义的图构造、足量无标签样本，以及图相似性与下游任务语义的一致性；原型学习思路可能复用，但 EEG 图构造和相似性定义需改造。低信噪比、通道配置差异及被试差异可能使原型聚合设备或个体特征，而非任务信息，小数据也可能使层次原型不稳定。一个可证伪的小实验是：在相同编码器、预训练数据和微调预算下，对比仅局部学习与加入层次原型的版本，按被试隔离评估 Cross-subject 表现，并核对原型与被试身份的关联。相关 EEG 工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：GraphLoG 将图实例间局部相似性与层次化全局语义原型结合，值得核对其相较仅保留局部结构的方法的增益；对 EEG 图表示学习的适用性尚未验证。

  2. OpenReview · Representation learning70

    采用可训练增强通道的对比表征学习

    基于摘要分析。该研究关注图像对比表征学习中，数据增强可能过度破坏实例信息、进而导致表征坍塌的问题，提出用随机编码框架与 infoMax 目标学习依赖数据的增强分布，作为这一问题的部分解决方案。 核心机制是将增强引入的数据破坏与编码器保留的信息形式化为相互制衡的过程，而非仅使用预先固定的增强分布。作者报告，基于该框架的 infoMax 目标能够学习数据依赖的增强分布，以避免表征坍塌。摘要未提供目标函数的具体形式、增强通道的参数化方式、优化流程或坍塌判据，因此不能据此断言其采用对抗训练或特定网络结构。数据集、对照基线、评估指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 自监督对比学习中的增强同样可能破坏任务相关信息，那么可训练增强分布可能有助于协调增强强度与信息保留。原方法以图像实例区分为背景，依赖增强后仍可保留可识别信息；迁移时可借鉴增强分布学习与编码器之间的协调机制，但需改造为符合 EEG 时序、频谱及通道结构的增强操作。低信噪比下，保留的信息可能是伪迹或被试特征而非任务信号；通道差异和小数据也可能使增强策略过拟合。 一个可检验的小实验是假设检验：在固定 EEG 数据划分、编码器与训练预算下，对比固定增强分布和可训练增强分布，同时评估表征坍塌与下游任务表现，并分别报告被试内和跨被试结果。该建议不代表已有 EEG 效果，相关 EEG 工作尚未检索确认；复现原论文前还需核对全文中的增强定义、目标函数与优化条件。

    阅读价值：值得阅读其如何通过随机编码框架与 infoMax 目标学习数据依赖的增强分布，以应对增强过度破坏信息导致的表征坍塌；具体实验效果及 EEG 适用性尚未验证。

  3. OpenReview · EEG74

    EEG 数据上的自监督学习

    基于摘要分析。该研究针对临床 EEG 标注依赖专业知识、耗费人工时间而无标签数据相对丰富的问题，采用对比式自监督学习提取 EEG 表征，并在基于 EEG 的睡眠分期和病理检测两个任务上评估其分类价值。 核心思路是先从无标签 EEG 中学习结构，再使用自监督学得的特征训练线性分类器，以减少下游任务对标签的依赖。摘要明确说明采用对比式方法，但未提供正负样本构造、信号窗口、数据增强、损失函数、编码器架构及预训练细节，这些机制尚未验证。 作者报告，在低标签数据条件下，基于自监督特征的线性分类器持续优于纯监督深度神经网络；在全部标签可用时，取得具有竞争力的表现。摘要未提供具体指标、数值、数据集、被试规模，也未说明采用被试内、跨被试或跨会话评估，因此不能据此判断收益幅度或泛化范围。“全部标签”仅指研究所用评估条件，不代表任意 EEG 任务上的充分监督效果。 该工作的直接证据限于睡眠分期和病理检测，不等同于已验证 BCI 解码收益。复现时需核对无标签预训练与下游评估的数据划分关系、标签预算设置、监督基线的训练配置，以及线性分类器的拟合方式。实验协议、消融及统计信息尚未验证，代码与数据可获取性也尚未验证。

    阅读价值：值得阅读的具体原因是作者报告对比式自监督 EEG 表征配合线性分类器在少标签条件下优于纯监督深度神经网络，可作为评估标签效率的研究参照，但具体划分、基线及统计信息尚未验证。

  4. OpenReview · State space models72

    面向自主视觉导航的基于折线的生成式可通行空间分割

    基于摘要分析。该研究面向移动机器人在未知或无地图环境中的视觉可通行空间检测，将分割建模为场景分解问题，提出 Polyline Segmentation Variational autoencoder Network（PSV-Net）。其核心贡献是结合 Variational AutoEncoder（VAE）与 AutoEncoder（AE），以自监督方式学习紧凑描述可通行空间边界的折线表示，减少对像素级标注的依赖。 机制上，论文以折线边界表示可通行区域，而非仅围绕密集像素标签构建学习目标。摘要明确提出 VAE 与 AE 的组合，但二者的连接方式、场景分解过程、折线参数化、损失函数及无标签与少标签训练流程尚未验证，不能据此推断具体网络结构。 作者报告，在无标签或少标签实验条件下，PSV-Net 的分割准确性可与使用全部可用标签的全监督先进方法相比；摘要未提供数据集、标注比例、划分、指标定义或具体数值，因此尚不能确认比较幅度与适用范围。作者还报告，将分割模型与视觉规划器集成可在真实环境中实现高效无地图导航，但导航成功率、效率指标、场景设置及对照条件尚未验证。实验协议、消融及统计信息需通过全文进一步核对。 该工作的主要研究对象是机器人视觉导航，而非 EEG 解码或 BCI。折线表示依赖可通行区域具有可由几何边界紧凑描述的图像结构；现有材料未提供其与神经信号任务之间的具体机制对应，因此不据此提出 EEG 迁移效果或复现实验建议。

    阅读价值：值得阅读的是 PSV-Net 如何以紧凑折线表示结合 VAE 与 AE 降低可通行空间分割的标注需求，但其与全监督方法的可比性及实际导航收益仍需核对全文实验协议。

  5. OpenReview · Representation learning77

    基于条件独立性的自监督语音表征学习前置任务选择

    基于摘要分析。本文研究自监督语音表征学习中如何针对给定下游任务选择前置任务的伪标签，提出基于条件独立性理论的伪标签效用函数估计器，旨在避免为筛选候选伪标签而反复训练并评估下游性能。 原研究对象是语音：从原始信号提取有意义的信号处理特征作为伪标签，通过预测这些伪标签学习表征。作者指出，依赖下游任务最终表现选择伪标签会带来较大的计算成本，并提出无需训练即可计算的效用估计方法。这里“无需训练”指效用估计器，并不意味着后续自监督表征学习或下游模型无需训练。估计器的具体形式、条件独立性涉及的变量、所需标签及样本规模，摘要未予展开。 作者报告，在说话人识别与自动语音识别实验中，该估计器给出的效用与下游任务性能存在显著相关性，支持其用于筛选语音自监督学习的候选伪标签。摘要未提供数据集、划分、相关系数、性能指标或计算节省幅度；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该估计器可处理 EEG 特征与下游任务变量，其潜在用途是预筛选自监督前置任务，降低小数据条件下反复预训练的成本。可复用的是“先估计伪标签效用、再训练验证”的选择流程；需改造或核对的是 EEG 特征构造、样本依赖处理及效用估计所需的监督信息。低信噪比、通道差异和跨被试分布变化可能使效用排序不稳定。一个可检验的小实验是：在固定 EEG 任务和数据划分下，仅用训练侧数据估计若干候选伪标签的效用，再以相同预训练预算比较其效用排序与独立测试集下游表现的相关性。已有 EEG 相关工作尚未检索确认，语音实验不构成 BCI 有效性的证据。

    阅读价值：值得关注其以条件独立性估计伪标签效用、减少逐一预训练筛选成本的思路，但估计所需的监督信息及其对 EEG 的适用性尚未验证。

  6. OpenReview · Representation learning73

    CuCo：基于课程对比学习的图表示

    基于摘要分析。本文研究整个图的低维表示学习，针对既有图对比学习主要关注正样本增强、负样本作用探索较少的问题，提出自监督图级表示学习框架 CuCo，以从易到难的负样本选择组织训练。原论文的主要对象是图表示与图分类，并非 EEG 或 BCI。 核心机制：作者引入四种图增强技术构造正、负样本，并使用图神经网络学习表示；随后通过评分函数对负样本难度排序，再用 pacing function 自动选择各训练阶段使用的负样本。摘要未给出具体增强操作、难度评分定义、节奏函数形式、对比损失及网络结构，这些实现细节尚未验证。 结果与证据范围：作者报告，在十五个真实世界图分类数据集上开展的实验及参数分析显示，CuCo 在分类表现和收敛方面取得积极结果。摘要没有提供数据集名称、划分协议、对照方法、具体指标或数值，因此不能据此判断提升幅度或不同任务上的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将每段 EEG 表示为以通道为节点、通道关系为边的图，CuCo 的负样本难度排序与课程调度可能用于研究 EEG 图级自监督学习中负样本选择的问题。这一假设依赖图构造、增强方式和负样本语义，需要改造 EEG 图增强与难度度量，不能直接沿用原领域结论。低信噪比、跨被试差异、通道配置变化和小样本条件可能使难度排序反映噪声或被试身份，而非任务相关信息；语义相近的片段也可能成为假负样本。可检验的小实验是在固定 EEG 图构造、编码器、增强和训练预算下，比较随机负样本选择与课程式选择，并在按被试隔离的 Cross-subject 划分中评估下游分类及收敛稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是 CuCo 将图级自监督对比学习的关注点从正样本增强扩展到负样本难度排序与训练节奏控制，可进一步核对其分类表现和收敛收益是否来自课程式负样本选择。

  7. OpenReview · Representation learning74

    通过基于相似性的知识蒸馏辅助自监督视频表征学习

    基于摘要分析。该研究针对视频自监督预训练在无标签数据较少、或预训练与微调数据存在较大域差异时泛化不足的问题，提出辅助预训练方法 auxSKD，通过视频片段间的相似性知识蒸馏补充自监督学习，并提出前置任务 Video Segment Pace Prediction（VSPP）。研究对象是视频表征学习，并非 EEG 或 BCI。 机制上，教师网络捕获无标签视频片段之间的相似性信息，并迭代地向学生模型蒸馏知识；学生同时利用这些先验完成前置任务。VSPP 要求模型预测输入视频中随机选定片段的播放速度。摘要未说明相似性的具体计算方式、教师更新策略、蒸馏损失及辅助预训练与其他训练阶段的详细衔接方式，这些均尚未验证。 作者报告，在使用 Kinetics-100（K100）预训练、并采用其所称同条件对照时，方法在 UCF101 和 HMDB51 上优于所比较的现有方法；将 auxSKD 作为额外预训练阶段加入 VCOP、VideoPace 和 RSPNet，也改善了这两个数据集上的结果。摘要未提供具体指标、增益数值或完整评估划分，不能据此量化优势，也不能把这些结果视为对任意域差异的普遍验证。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现与复现条件尚未核查。 平台推测（待验证）：片段关系蒸馏可作为 EEG 自监督学习的候选机制，假设其能在有限无标签数据下保留有用的时序关系。可复用的是教师—学生关系蒸馏思路，需改造的是 EEG 编码器、分段方式与相似性定义；其依赖片段关系包含任务相关结构，且不主要反映噪声或个体差异。低信噪比、跨被试及通道配置变化可能使蒸馏强化伪相关，小数据下教师本身也可能不稳定。VSPP 不宜直接照搬，因为时间缩放会改变 EEG 频谱及潜在生理含义。一个可证伪的小实验是在固定跨被试划分、相同无标签数据和训练预算下，比较基础自监督方法与加入片段相似性蒸馏后的下游表现，并检查随机化片段关系后增益是否消失。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其通过视频片段相似性蒸馏补充自监督预训练的机制，以及小规模预训练数据条件下的对照结果；其对 EEG 表征学习的适用性尚未验证。

  8. OpenReview · Representation learning80

    图上的自举式表示学习

    基于摘要分析。该研究面向图表示学习中标签昂贵、负样本数量大及复杂增强带来的计算负担，提出 Bootstrapped Graph Latents（BGRL）：通过预测输入的另一种增强视图学习表示，使用简单增强而无需与负样本进行对比。 机制与贡献：BGRL 将图上的自监督学习转化为增强视图之间的预测任务，核心价值是减少对负样本和复杂增强的依赖。摘要未说明具体图增强操作、编码器结构、预测目标、损失形式及训练更新机制，这些实现细节尚未验证，不能仅凭“自举式”名称推定。 结果与评估：作者报告，在多个既有基准上，BGRL 超过或达到先前方法的表现，内存成本降低 2–10 倍；摘要未列出对应数据集、基线、指标及内存测量条件。作者还报告，在半监督条件下，该方法可扩展至含数亿节点的图，达到作者所称的最先进表现，并优于仅依靠标签信息塑造表示的监督基线。以 BGRL 为核心的方案是 KDD Cup 2021 的 Open Graph Benchmark - Large Scale Challenge 获胜参赛方案之一；这不等同于已验证其他任务上的优势。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 通道或脑区能构成有意义的图，且增强视图保留任务相关信息，BGRL 的无负样本预测机制可能用于无标签 EEG 图表示预训练。可复用的是视图预测思路，需改造的是图构建、信号特征与增强方式；原文的超大图结果不代表小规模 EEG 数据上同样有效。低信噪比、跨被试差异和通道变化可能使增强破坏判别信息，或让表示学习到被试特征。一个可证伪的小实验是：固定 EEG 图编码器与跨被试划分，仅在训练被试上预训练，对比 BGRL、负样本对比学习及不预训练，并在相同标注预算下评估下游表现与峰值内存。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 BGRL 如何在无需负样本对比的情况下学习图表示，以及其内存收益与大图扩展条件；摘要尚不能支持其在 EEG 图表示上的有效性。

  9. OpenReview · Representation learning70

    大上下文会话表征学习：面向会话文档的自监督学习

    基于摘要分析。本文研究人际对话转写文本中的逐话语序列标注问题，提出 large-context conversational representation learning（LC-CRL），通过利用未标注会话文档学习表征，缓解人工标注成本高的问题。原论文的主要研究对象是会话文本，而非 EEG 或 BCI。 核心机制是基于大上下文语言建模，利用目标话语周围的全部话语估计目标话语，从而构造自监督学习任务，再服务于逐话语序列标注。该机制依赖具有话语边界和上下文顺序的会话文档。摘要未说明目标话语的具体表示、估计目标、损失形式，以及预训练与下游任务的衔接方式。 作者报告，在联络中心会话数据集的场景分割任务上，实验结果支持该方法的有效性。但摘要未提供数据集名称、样本规模、划分方式、对照基线或具体指标，因此尚不能判断提升幅度及适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 划分为有序时间片，可提出利用周围片段估计目标片段表征的迁移假设，以探索上下文自监督学习能否缓解标注不足。可复用的是上下文预测思路，需重新设计 EEG 编码器、片段定义及预测目标，不能直接沿用文本建模方式。EEG 低信噪比、跨被试差异和通道配置变化，可能使预测任务主要捕获背景相关性而非任务信息。一个可证伪的小实验是在固定数据划分和标注量下，对比上下文预训练与相同编码器从头训练的下游表现，并设置打乱上下文顺序的对照；这些均非原论文已验证结论，相关 EEG 工作尚未检索确认。

    阅读价值：值得关注 LC-CRL 如何利用周围话语构造自监督学习任务，以缓解会话逐话语标注的数据成本；其对 EEG 序列建模的价值尚未验证。

  10. OpenReview · EEG70

    基于预测性与判别性对比编码的睡眠分期自监督学习

    基于摘要分析。该研究针对 EEG 睡眠分期对人工标注数据的依赖，提出自监督算法 SleepDPC，通过结合预测性与判别性学习原则，从原始 EEG 信号中学习表征，再用于睡眠阶段分类。 技术机制：摘要将预测性学习与判别性学习列为核心设计，目标是发现 EEG 中的潜在语义信息。标题将方法描述为预测性与判别性对比编码，但现有材料未说明预测目标、正负样本构造、损失函数、编码器结构，以及预训练与下游分类的衔接方式，因此不能进一步确定其具体实现或两类学习原则的互补机制。 评估与结果：作者报告在两个公开数据集上进行了评估，并称在有限标注条件下，相较多种竞争方法获得更好的分类表现，同时学习到有意义的表征。摘要未给出数据集名称、被试数量、标注比例、指标数值或基线名称，也未说明采用被试内、跨被试还是跨会话划分；这些评估前提及实验协议、消融与统计信息尚未验证。摘要关于自监督方法可接近全监督性能的背景陈述，不应直接视为 SleepDPC 已取得该结果。 阅读与复现重点：需核对预测性和判别性目标各自的贡献、有限标注的具体定义，以及不同方法是否使用一致的数据划分与标注预算。该论文直接研究 EEG 睡眠分期，但摘要不支持将其结果扩展为其他 EEG 任务或在线 BCI 的有效性结论；代码可用性与完整复现条件尚未验证。

    阅读价值：值得阅读的具体原因是 SleepDPC 将预测性与判别性学习结合用于原始 EEG 的自监督表征学习，并评估有限标注下的睡眠分期能力，但具体性能与评估协议尚待全文核对。

  11. OpenReview · Representation learning72

    面向自监督说话人验证的 Bootstrap Equilibrium 与概率说话人表征学习

    基于摘要分析。该研究针对自监督说话人验证，提出两阶段表征学习框架：前端结合 bootstrap 训练与均匀性正则学习说话人表征，后端训练感知不确定性的概率说话人嵌入，使表示同时包含说话人信息与数据不确定性。 机制上，前端采用 bootstrap 训练方案，并引入均匀性正则项；摘要未给出具体网络结构、正则形式或训练细节。后端通过最大化属于同一说话人的语音样本之间的 mutual likelihood score 来估计概率嵌入。此阶段如何确定同一说话人的样本关系、是否使用标签或伪标签，以及概率分布的参数化方式，均需核对全文，不能仅凭自监督任务名称推断。 作者报告，所提出的 Bootstrap Equilibrium 训练策略优于常规对比学习方法；作者还报告，整合后的两阶段框架在 VoxCeleb1 测试集上进一步改善了以 EER 和 MinDCF 衡量的说话人验证性能。摘要未提供具体数值、训练数据、测试划分及对照配置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将其机制迁移到 EEG，潜在对应点是无标签表征学习与信号质量不确定性建模，而不是直接复用说话人验证结论。可复用候选为 bootstrap 目标、均匀性约束和概率嵌入思路；编码器、数据增强及正样本关系需按 EEG 任务重新设计。尤其应避免将同一被试等同于同一任务状态；低信噪比、通道变化及小数据可能使不确定性混合任务信息与采集噪声。一个可检验的小实验是在固定跨被试划分下，分别比较基础 bootstrap、加入均匀性正则及再加入概率嵌入的版本，检验任务性能与噪声扰动下的不确定性响应。上述迁移不构成已验证的 BCI 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其前端 bootstrap 训练与均匀性正则、后端概率嵌入的组合能否分别贡献于说话人表征质量和验证性能；摘要报告了相对对比学习方法的优势，但具体对照、提升幅度及不确定性质量尚未验证。

  12. OpenReview · Representation learning72

    多任务自监督语音表征学习中的预文本任务选择

    基于摘要分析。本文研究多任务自监督语音表征学习中如何选择和组合预文本任务，提出在自监督训练过程中，为候选任务对应的各项损失估计经校准的权重，以减少依赖大量组合实验的任务选择负担。 原研究对象是音频与语音信号：将人工设计的音频特征作为伪标签，通过预测这些特征学习可用于下游任务的潜在表征。其关注点不是提出新的语音特征，而是从候选预文本任务中选择任务组，并对其训练损失进行加权。摘要未给出权重校准的具体算法、损失形式，以及任务选择与加权之间的实现关系。 作者报告，在自动语音识别、说话人识别和情绪识别实验中，该方法选出并加权的任务组优于经典基线。摘要未列出数据集、数据划分、基线名称或定量指标，因此尚不能判断提升幅度及适用范围；计算开销、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 自监督学习同样具有多个可从未标注信号计算的候选伪标签，该研究的任务选择与损失加权思路可能用于检验不同辅助目标是否有助于下游表征。可复用的是任务组合与权重估计框架，需重新设计的是符合 EEG 时空结构的伪标签及其尺度校准。低信噪比、通道配置变化、跨被试差异和小数据可能使权重偏向易预测却与下游目标无关的任务。一个可检验的小实验是在固定 EEG 编码器、候选任务、数据划分和训练预算下，对比单任务、等权多任务与论文方法，并在隔离被试的评估中核对下游收益和选择开销。原论文机制的复现仍需全文；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其通过估计预文本任务损失权重来选择和组合伪标签的机制，但具体权重估计方法、计算收益及其对 EEG 的适用性尚未验证。

  13. OpenReview · Representation learning77

    自监督语音表征学习中基于条件独立性的前置任务选择

    基于摘要分析。本文研究自监督语音表征学习中如何针对给定下游任务选择前置任务的伪标签，提出基于条件独立性理论的实用与理论框架，通过无需训练的函数型估计器评估伪标签效用，旨在减少依赖逐一训练并观察下游结果的选择成本。 原始研究对象是语音：从原始信号提取具有意义的信号处理特征作为伪标签，用于自监督预训练。论文的核心贡献是评估伪标签的选择依据，而非提出已验证的 EEG 表征模型。“无需训练”指效用估计器，不代表后续自监督预训练或下游任务无需训练。摘要未给出条件独立性的具体变量关系、估计公式、数据需求或计算复杂度，不能据此认定该方法完全不需要下游标注。 作者报告，在 speaker recognition 和 automatic speech recognition 实验中，估计的伪标签效用与实际下游表现具有显著相关性，支持用该估计器筛选候选伪标签。摘要未提供相关系数、具体指标、数据集、划分方式或计算成本对照；实验协议、消融及统计信息尚未验证。相关性证据也不能直接等同于保证选出最优前置任务。 平台推测（待验证）：该机制可能对应 EEG 自监督学习中候选信号特征较多、逐一预训练代价高的瓶颈。可复用的是“先估计效用、再筛选伪标签”的流程；需改造的是 EEG 候选特征及估计器对时序依赖、通道结构和下游监督信息的处理。低信噪比、被试差异、通道变化和小样本可能使效用排序不稳定。一个可检验的小实验是在固定 EEG 任务、跨被试划分和相同预训练预算下，仅用训练部分估计候选伪标签效用，再比较其排序与实际下游表现排序的一致性。该迁移不属于论文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以条件独立性估计伪标签效用、减少逐一预训练评估需求的思路；作者报告的效用估计与下游表现相关，但估计器细节及其对 EEG 的适用性尚未验证。

  14. OpenReview · Representation learning78

    基于流等变性的自监督表征学习

    基于摘要分析。本文研究如何从包含多个运动物体的复杂视频场景中学习自监督表征，提出以 flow equivariance（流等变性）为核心的学习框架，而非主要依赖少量物体图像的多裁剪视图不变性。其贡献是利用帧间运动关系学习特征，并将高分辨率原始视频中学到的表征用于静态图像下游任务。 核心机制是对当前帧的特征施加流变换，以预测另一帧的特征，鼓励表征随场景运动发生一致的变换。相较于强调不同视图具有相同表征，这一目标保留了帧间变化与特征变化之间的对应关系。摘要未说明流的获取方式、具体损失形式、网络结构或训练规模，这些实现条件尚未验证。 作者报告，在语义分割、实例分割和目标检测基准的 readout 实验中，该框架学到的表征优于包括 SimCLR 和 BYOL 在内的既有方法。摘要未提供基准名称、数据划分、指标数值、readout 训练设置及对照方法的训练条件，因此不能据此判断提升幅度或不同协议下的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是“已知变换作用于输入时，特征应按对应规则变化”，而不是直接将视觉运动流用于 EEG。原方法依赖视频帧的空间对应与运动关系；EEG 的低信噪比、跨被试差异、通道布局变化和小数据条件可能破坏类似对应。若探索迁移，可复用等变性约束思想，但需重新定义生理与任务上合理的信号变换及特征变换。一个可证伪的小实验是在固定 EEG 数据划分、编码器与训练预算下，比较经验证不改变任务标签的时间平移等变性约束与无此约束的自监督基线，并同时检查下游表现和特征对齐误差。该假设不构成已证实的 BCI 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是以 flow equivariance 替代简单图像多裁剪的视图不变性学习，并通过静态图像下游任务检验视频表征；其向 EEG 迁移的适用性尚未验证。

1月1日周三
  1. OpenReview · Representation learning75

    基于 Video Deep InfoMax 的视频表征学习

    基于摘要分析。本文研究视频自监督表征学习，将 Deep InfoMax（DIM）从图像扩展到视频，提出 Video Deep InfoMax（VDIM），利用时空网络内部结构构造不同视图，并结合原始时间采样率与时间下采样序列学习表征。 机制上，DIM 在依赖小块图像的局部特征与依赖整幅图像的全局特征之间构造预测任务；VDIM 将这一思路扩展至时空网络。摘要明确强调两种时间采样率的视图，但未提供具体损失形式、特征配对方式、网络结构或采样间隔，这些实现细节尚未验证。 作者报告，在使用 Kinetics 预训练的动作识别评估中，VDIM 达到或超过此前使用计算成本更高的大时间尺度 transformer 模型的方法；作者还考察了数据增强与微调方法，并报告仅在 UCF-101 上训练时大幅超过此前最佳结果。摘要未给出具体指标、数值、数据划分、对照模型及成本测量方式，实验协议、消融及统计信息尚未验证，不能据此量化优势或比较不同训练协议。 平台推测（待验证）：其可迁移假设是，不同时间采样率与局部—全局预测可能帮助 EEG 表征同时捕获短时波形和较长时程结构，而非直接沿用视频网络。可复用的是视图构造与预测任务思路，需改造 EEG 编码器、通道处理及时间采样策略；该机制依赖局部与全局视图共享有效语义，在低信噪比、跨被试差异、通道配置变化及小数据条件下，可能学习伪迹或被试身份，时间下采样也可能损失任务相关频率信息。一个可证伪的小实验是在固定数据划分和编码器的条件下，比较单一采样率与双采样率自监督预训练的跨被试分类表现，并检查收益是否依赖保留任务相关频段。以上不是论文已验证的 EEG 或 BCI 结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 VDIM 如何利用时空网络内部的局部—全局特征及不同时间采样率构造自监督预测任务，但其性能优势与计算成本比较仍需结合全文实验协议核对。

  2. OpenReview · Representation learning75

    面向强化学习的掩码对比表征学习

    基于摘要分析。该研究针对像素输入强化学习（RL）的样本效率问题，在 CURL 的单帧表征学习基础上，引入相邻视频帧的上下文信息，通过掩码特征重建与对比学习训练编码器。其主要研究对象是游戏与控制环境中的视觉 RL，而非 EEG 或 BCI。 核心机制：在 CURL 的 CNN 编码器与策略网络之外，增加辅助 Transformer。训练时随机遮蔽若干帧的特征，利用上下文帧重建被遮蔽特征；CNN 与 Transformer 联合接受对比学习训练，使重建特征接近对应真实特征、远离其他特征。摘要未给出具体损失公式、负样本构造及掩码比例。推理时仅保留 CNN 编码器与策略网络，移除 Transformer，因此辅助时序模块不参与动作选择。 作者报告，在 DMControl suite 的 16 个环境中有 14 个、Atari 2600 Games 的 26 个环境中有 21 个相对 CURL 获得改进。这些数字表示出现改进的环境数量，不代表平均收益幅度；具体交互预算、评估指标、随机种子、统计显著性及消融信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移机制是利用连续观测的时间相关性，通过上下文预测学习表征；假设 EEG 相邻时间窗包含稳定且与任务有关的动态结构，可探索将帧级 CNN 替换为 EEG 编码器，在训练期沿用辅助 Transformer 与掩码对比目标。该机制依赖有序连续数据及足够上下文，不能直接等同于独立试次分类。低信噪比、跨被试差异、通道不一致和小数据可能使模型主要学习伪迹或局部平滑性。一个可检验的小实验是在同一 EEG 数据划分、编码器和微调预算下，比较独立时间窗对比学习与时序掩码对比学习，并以打乱上下文顺序作为机制对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过训练期时序掩码对比学习改进像素输入 RL，并在推理时移除辅助 Transformer，值得核对其相对 CURL 的样本效率收益及额外训练成本，但对 EEG 的适用性尚未验证。

  3. OpenReview · Representation learning71

    利用行为一致性学习通用用户表征

    基于摘要分析。本文研究个性化服务中的通用用户表征学习，提出 Self-supervised User Modeling Network（SUMN），将用户行为数据编码为可供用户偏好预测、用户画像等不同下游应用复用的表征，目标是减少为每项任务分别训练专用模型的工作。 方法包含两个关键组件：一是新的自监督学习目标，用于引导模型识别并保留有价值的用户信息；二是多跳聚合层，用于增强对多样化行为的聚合能力。摘要未给出行为一致性的具体定义、监督信号构造、损失形式或多跳聚合所依赖的数据结构，因而不能据此认定其采用特定对比学习机制或图网络结构。“无需进一步修改”是作者对通用表征的目标描述，下游是否需要额外训练预测器尚未验证。 作者报告，在基准数据集上的实验中，SUMN 优于所比较的先进无监督表征方法，并可与监督方法竞争；但摘要未提供数据集名称、评价指标、数值、数据划分及基线配置，尚不能判断收益大小及适用边界。实验协议、消融及统计信息尚未验证。 原论文的研究对象是用户行为建模，而非 EEG 或 BCI。平台推测（待验证）：若重复会话或多种任务中的 EEG 能定义合理的一致性关系，保留稳定信息与聚合多样观测的思路可能用于跨会话表征学习；但需重新设计 EEG 编码、聚合单位及一致性约束，不能直接照搬用户行为语义。低信噪比、通道差异和小样本可能导致模型保留被试身份或伪迹，而非任务相关信息。一个可证伪的小实验是在固定编码器和跨会话划分下，对照基础自监督目标与加入一致性约束的版本，检验冻结表征的下游性能是否改善；该假设仍需全文机制核对，相关 EEG 工作尚未检索确认。

    阅读价值：值得关注的是 SUMN 将自监督学习目标与多跳行为聚合结合，以支持同一用户表征服务多种下游任务；具体优势及其对 EEG 的适用性尚未验证。

  4. OpenReview · State space models80

    PULSE：通过探索生成模型潜在空间实现自监督照片上采样

    基于摘要分析。该研究针对单图像超分辨率中像素级重建目标容易产生模糊的问题，提出 PULSE（Photo Upsampling via Latent Space Exploration）：在生成模型的高分辨率自然图像空间中搜索既具有真实感、又能降采样回输入低分辨率图像的候选结果。主要验证对象是人脸超分辨率（face hallucination），并非 EEG 或 BCI。 核心机制是以“downscaling loss”引导生成模型潜在空间的搜索，而不是从低分辨率输入逐步添加细节。作者还利用高维高斯分布的性质限制搜索空间，以促进输出真实感。摘要将这一过程描述为自监督，并指出它不要求像既有监督方法那样使用 LR-HR 配对图像数据库训练，也不局限于训练时特定的退化算子；这不意味着所依赖的生成模型无需训练数据。损失的具体形式、搜索约束和优化过程尚未验证。 作者报告，在人脸超分辨率验证中，方法能够在更高分辨率和放大倍率下取得优于所比较先进方法的感知质量；摘要未提供具体指标、数值、数据集或对照设置，无法据此进行量化比较。作者表示讨论了当前实现的局限与偏差，并提供含相关指标的 model card，具体内容尚未验证。尤其需要区分“输出看起来真实且降采样一致”与“恢复了原图真实细节”：低分辨率观测可能对应多个高分辨率候选。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“生成先验＋观测一致性”的逆问题机制，可能为 EEG 缺失通道重建提供可检验思路，但须另建适合 EEG 的生成先验与通道观测算子，不能直接复用人脸模型。低信噪比、跨被试分布变化、通道布局差异和小数据可能使先验生成貌似合理却失真的信号。一个小实验是假设完整 EEG 可作为参照，在固定被试划分下遮蔽部分通道，对比该机制与插值基线，同时检查重建误差及 ERP 等任务相关结构是否保真。原领域结果不构成 EEG 有效性证据，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以生成先验和降采样一致性替代像素级重建的逆问题思路，但感知真实感不等于原始细节恢复，摘要所述优势及其对 EEG 的适用性仍需分别验证。

  5. OpenReview · Representation learning81

    代码表征的对比学习

    基于摘要分析。本文研究源代码表征如何捕获程序功能，而非仅拟合代码表面形式，提出对比预训练方法 ContraCode，并引入零样本 JavaScript 代码克隆检测数据集。 核心机制是通过自动化源到源编译器，规模化生成保持程序功能的代码变体，再训练网络从多个功能不等价的干扰样本中识别功能相似变体。作者报告，基于重建的 BERT 表征对保持语义的代码编辑仍然敏感；ContraCode 因而将学习目标转向功能等价性。具体网络结构、对比损失形式、负样本构造及训练规模尚未验证。 作者报告，对比预训练使 JavaScript 代码摘要与 TypeScript 类型推断任务的准确率提升 2%–13%；在新提出的零样本 JavaScript 代码克隆检测数据集上，相比 RoBERTa，对抗设置下 AUROC 提升 39%，自然代码设置下提升最高 5%。这些幅度沿用摘要表述，不能据此认定为百分点变化；各任务对应数值、数据划分、基线配置、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，经过验证的任务语义保持变换有助于学习对无关变化更稳健的 EEG 表征，而非将代码编译机制直接用于 EEG。可复用对比预训练框架，但需重新设计正样本变换及负样本规则；EEG 缺少程序功能等价那样明确的判据，低信噪比、通道差异及跨被试变化可能使增强破坏标签相关信息，小数据也可能放大错误配对的影响。一个可证伪的小实验是在固定跨被试划分、模型和标注预算下，对比无增强预训练与候选标签保持增强预训练，检查下游性能及不同被试间的一致性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是利用编译器生成语义保持变体来构造对比学习正样本的机制；其对 EEG 的启发取决于能否定义可靠的任务标签保持变换，尚未验证。

  6. OpenReview · Representation learning77

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督，提出 Sequence Contrastive Learning（SeCo），从空间、时空和序列三个角度构造学习信号；主要研究对象是视频表征，而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确时间顺序，并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模，摘要未提供，尚未验证。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果；还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证，不宜与线性评估结果混为一谈。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移部分是利用序列关系构造自监督目标，而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息，可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系；需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件，而非任务信息，时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是：固定 EEG 编码器、训练数据与跨被试划分，对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督，但这些视频结构信号能否适用于 EEG 表征学习尚未验证。