跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

850 条精选近 30 天 177 条共收录 1,041 条

更新

精选归档 · 第 42 页

1月1日周六第 821–840 条
  1. OpenReview · State space models73

    面向多场景个性化推荐的场景自适应与自监督模型

    基于摘要分析。该研究面向用户与物品部分重叠、但分布存在差异的多场景个性化推荐，提出 Scenario-Adaptive and Self-Supervised（SASS）模型，旨在细粒度控制场景间信息迁移、利用更广泛的样本，并区分物品在不同场景下的表示。 核心机制是 Multi-Layer Scenario Adaptive Transfer（ML-SAT）模块：通过场景自适应门控单元，从全场景信息中选择并融合适合单个场景的迁移信息。训练分为预训练与微调两个阶段，预训练采用场景监督的对比学习任务，样本来自有标签和无标签数据空间；摘要未说明具体标签定义、正负样本构造及损失形式。模型在用户侧与物品侧采用对称设计，以获得场景相关的差异化表示。 作者报告，SASS 在公开与工业推荐数据集上优于所比较的方法，并在在线 A/B 测试中使 Average Watching Time Per User 提升超过 8.0%。摘要未提供数据集名称、离线指标、具体对照基线，以及在线测试规模、周期和统计不确定性，因此该收益仅能按所述推荐场景理解；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移假设是，场景自适应门控能够为 EEG 跨被试或跨会话建模选择共享信息、抑制不适用的迁移。但原方法依赖推荐中的用户—物品交互结构、场景标识及跨场景重叠，不能直接套用到 EEG。可考虑复用门控迁移与分阶段训练思想，需重设 EEG 编码器、场景定义和对比样本关系；低信噪比、通道差异与小样本可能使门控学习到被试身份而非任务信息。一个可证伪的小实验是在固定编码器和训练数据的跨会话协议下，对比无门控共享模型与场景门控模型，并保持目标会话标签使用规则一致，检验是否获得稳定收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SASS 如何通过场景自适应门控与场景监督对比预训练控制跨场景信息迁移，但其推荐系统收益不能直接视为 EEG 跨域建模的有效性证据。

  2. OpenReview · State space models74

    在低维空间中学习对比嵌入

    基于摘要分析。本文研究通用对比学习中的表征空间问题：高维嵌入虽有利于实例区分，却可能使实例分布过于稀疏，难以捕捉实例之间的潜在相似性。作者提出 contrastive learning with low-dimensional reconstruction（CLLR），通过带正则化的投影层降低嵌入维度，在保留实例区分目标的同时学习低维对比嵌入。 核心机制是在投影层引入稀疏／低秩正则化，自适应重构低维投影空间。其方法重点不只是降低维度，而是约束投影空间，使实例区分与潜在相似性结构能够兼容。摘要未给出正则项的具体形式、两类约束如何组合、训练流程、正负样本构造或推理时的使用方式，相关细节尚未验证。 作者报告，CLLR 在理论上具有更紧的误差界，并在多个领域的实验中表现出优势；但摘要未说明误差界对应的假设和比较对象，也未提供数据集、划分协议、基线或指标数值。实验协议、消融及统计信息尚未验证，因而不能据此判断收益幅度或跨领域稳定性。 平台推测（待验证）：若 EEG 对比学习中的高维表征确实存在相似性结构难以保留的问题，CLLR 的正则化投影层可能是可复用模块；该假设不等于已证实的 BCI 效果。迁移需核对其对样本规模、正负样本构造及潜在低维结构的依赖，并针对 EEG 的通道配置、增强策略与被试差异调整输入编码和训练协议。低信噪比、小数据或跨被试差异可能使投影保留被试特征而非任务信息，过强的低维约束也可能压缩有效判别信息。可在固定 EEG 数据划分、编码器及训练预算下，对照普通投影、无正则低维投影与 CLLR 投影，分别检验被试内和跨被试任务表现，并评估投影维度与正则强度的影响。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 CLLR 如何通过稀疏／低秩正则化兼顾实例区分与低维相似性结构，以及其更紧误差界的适用条件；其 EEG 迁移价值尚未验证。

  3. OpenReview · Representation learning74

    面向医疗表征学习的图–文本多模态预训练

    基于摘要分析。本文研究电子健康记录（EHR）中结构化数据与非结构化文本的联合表征，提出多模态预训练模型 MedGTX，以图结构建模和跨模态交互整合两类信息；主要研究对象是 EHR，而非 EEG 或 BCI。 方法上，MedGTX 使用图编码器捕捉结构化 EHR 的图结构特性，使用文本编码器处理非结构化文本，再通过跨模态编码器学习联合表征空间。作者在 MIMIC-III 上通过四项代理任务进行预训练，并在两个临床基准及三个面向 EHR 实际问题的新下游任务上评估。摘要未给出图的构建规则、代理任务定义、损失函数或跨模态交互细节，相关实现尚未验证。 作者报告，在上述评估中，结果一致支持对结构化与非结构化 EHR 信息进行联合表征预训练的有效性。但摘要未提供具体任务名称、指标、数值、数据划分及对照基线，因此无法判断收益幅度、各模块贡献或不同任务间的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 研究同时具有可构图的结构化临床信息及配套文本，这种联合编码机制可能为临床上下文融合提供参考，但它本身并非 EEG 时序表征方法。可复用的候选模块是图–文本联合编码框架；接入 EEG 仍需新增信号编码、时间对齐与模态融合机制，并核对文本是否包含目标结局信息。低信噪比、跨被试差异、小样本及模态缺失均可能使原领域收益无法迁移。一个可检验的假设是：在具有配套临床信息的 EEG 数据中，固定被试级划分和 EEG 编码器，比较仅 EEG 与加入图–文本表征的下游表现，以检验额外模态是否提供增益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以图编码器、文本编码器和跨模态编码器联合建模结构化 EHR 与临床文本的机制，但具体收益及其对 EEG/BCI 的适用性尚未验证。

  4. OpenReview · Representation learning74

    面向 CAD 的自监督表示学习

    基于摘要分析。该研究针对计算机辅助设计（CAD）原生参数化边界表示（B-Rep）中大规模数据缺少标签、已标注数据规模较小且任务专用标签获取昂贵的问题，提出利用未标注 CAD 几何进行自监督表示学习，再服务于监督学习任务。核心贡献是学习一种混合隐式/显式表面表示，研究对象是机械零件的 CAD 几何，而非神经信号或 BCI。 技术机制：摘要明确了 B-Rep 几何、混合隐式/显式表面表示以及预训练到监督任务的路径，但未说明两类表示如何结合、自监督目标、网络结构或下游适配方式。这些细节及其对几何数据结构的依赖尚未验证。 结果与证据边界：作者报告，该预训练显著改善少样本学习表现，并在多个现有 B-Rep 基准上达到最先进水平。摘要未提供基准名称、样本量、数据划分、对照方法、指标或具体数值，因此无法核对提升幅度及可比性；实验协议、消融及统计信息尚未验证。复现需取得全文并确认数据预处理、预训练目标、少样本设定及实现条件。 与 EEG/BCI 的关系：平台推测（待验证），其利用未标注数据缓解标签稀缺的思路与 EEG 小样本学习存在问题层面的对应，但摘要没有给出从 CAD 表面表示到 EEG 时序或通道结构的具体机制路径。现阶段不宜将该表示直接视为可复用的 EEG 模块，也不足以提出针对性迁移实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其利用未标注 B-Rep 几何学习混合隐式/显式表面表示、改善少样本监督学习的机制，但具体预训练目标与基准协议尚未验证，不能据此认定其适用于 EEG。

  5. OpenReview · State space models73

    PRISM：用于说话人分离与说话人验证的预训练不确定状态说话人表示模型

    基于摘要分析。该研究面向说话人验证、聚类与分离，针对固定高维说话人嵌入在短语音上可能产生估计偏差的问题，提出 PRISM：将语音片段表示为状态尚未确定的“浮动”向量，再根据上下文确定其表示。 核心机制是让表示不再仅由当前语音片段决定，而是同时依赖同一说话人的其他语音、参与比较的其他说话人，以及语音内容。作者预训练一个根据上下文估计语音表示状态的模型，并将其微调用于说话人验证、说话人聚类和说话人分离。摘要未说明上下文组织方式、训练监督、损失函数或模型结构，不能仅凭来源栏目将其认定为状态空间模型。 作者报告，在所述下游任务中均观察到显著改善，但摘要没有给出数据集、划分、对照基线、指标、数值或统计检验依据，因此目前只能确认作者的定性结论，不能判断收益大小或跨任务的可比性。实验协议、消融及统计信息尚未验证；复现还需核对上下文构造、预训练与微调设置、推理时可用信息及实现资源。 平台推测（待验证）：上下文条件化表示可能为短时、低信噪比 EEG 片段的表征提供机制参考，但原研究处理的是语音中的说话人身份，并非 EEG/BCI。可考虑复用上下文聚合与表示更新思路，但需改造信号编码器、监督目标及上下文选择规则，且不能将同一说话人的语音关系直接等同于同一被试的 EEG 关系。跨被试差异、通道配置变化和小样本可能使上下文引入干扰而非改善。一个可检验的初步实验是在固定 EEG 划分和相同编码器下，对比固定表示与仅利用推理时可获得上下文的条件化表示，并观察短窗口及噪声扰动下的表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其将固定说话人嵌入改为上下文条件化表示的机制，尤其是短语音表征偏差问题；下游收益的幅度与对 EEG 的适用性尚未验证。

12月31日周五
  1. OpenReview · Representation learning74

    Inferential SIR-GN：可扩展的图表示学习

    基于摘要分析。本文研究如何在大规模图及未见网络上快速生成保留节点结构角色的向量表示，提出在随机图上预训练的 Inferential SIR-GN。其主要研究对象是通用图表示学习，而非 EEG 或 BCI。 机制与贡献：摘要区分基于连接关系的节点相似性与基于结构角色的相似性，指出连接关系导向的方法在结构角色重要的任务中表现不佳。Inferential SIR-GN 通过随机图预训练，再为目标网络计算节点表示，旨在应对部分无监督方法难以扩展到大型图、无法为未见节点生成表示的问题。具体结构角色定义、图生成分布、模型结构、训练目标及推理流程尚未验证。 结果与证据边界：作者报告，模型能够捕捉节点结构角色，并在未见网络的节点分类和图分类任务中取得良好表现；作者还报告，其面向大规模图的可扩展性可与当前最快的一类方法相比。摘要未提供数据集、划分方式、对照方法、指标数值或运行环境，因此不能据此量化性能优势，也不能将“未见网络”直接等同于跨被试或跨数据集泛化。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 被表示为以通道或脑区为节点、以功能连接为边的图，结构角色表示可能用于描述不同节点的连接模式，探索对节点身份变化的适应性。可尝试复用预训练表示计算模块，但需核对其是否支持加权、带符号或时变连接，并改造 EEG 构图与下游分类环节。随机图与 EEG 连接图的分布差异、低信噪比、跨被试差异及通道减少均可能使结构角色不稳定；小数据也可能不足以可靠训练分类器。一个可证伪的小实验是在固定构图规则和跨被试划分下，比较冻结的 Inferential SIR-GN 表示与连接特征基线，并测试通道删减后的表现。此迁移尚无所给材料支持，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其随机图预训练如何支持未见网络上的结构角色表示，以及推理效率与分类性能的评估协议；摘要所述可扩展性尚需全文证据验证。

5月5日周三
  1. OpenReview · Representation learning75

    用于自监督视频表征学习的时间连贯嵌入

    基于摘要分析。本文研究无标签视频的自监督表征学习，提出 TCE（Temporally Coherent Embeddings），直接在嵌入空间约束时间连贯性，而非通过排序或预测代理任务间接学习该性质。其主要研究对象是视频表征与下游动作识别，并非 EEG 或 BCI。 核心假设是高层视觉信息随时间平滑变化，因此相邻帧的表征也应接近。TCE 据此使相邻帧在嵌入空间中靠近，同时使不同视频彼此分离。摘要说明其采用 2D-CNN 骨干且仅输入 RGB 视频流，但未提供具体损失形式、时间采样策略或视频间分离的实现细节，这些内容尚未验证。 作者报告在 Kinetics400、UCF101、HMDB51 上评估下游动作识别，并称 TCE 预训练表征优于此前在 UCF101 上预训练的自监督 2D-CNN 与 3D-CNN 方法。摘要未给出具体指标、数值及完整划分与对照设置，不能据此推断其在各基准和所有协议下均领先。实验协议、消融及统计信息尚未验证。摘要提供了代码和预训练模型地址，但其可运行性与复现条件尚未核验。 平台推测（待验证）：其可复用思路是在无标签时序数据中利用局部连续性约束表征，可能对应 EEG 标注稀缺的问题；但需将 RGB 编码器、帧采样及增强方式改为适合多通道 EEG 的实现。假设 EEG 短时窗内的任务相关状态较稳定，邻近窗约束才可能有效；低信噪比、状态突变、通道差异及小数据条件可能使其学习伪迹或被试特征，而“不同视频分离”也不能直接等同于“不同 EEG 记录分离”。可在固定 Cross-subject 划分下，仅用训练被试无标签数据预训练，对比真实时间邻接与打乱邻接的设置，检验时间连贯约束是否改善下游解码。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其直接约束嵌入时间连贯性的自监督机制；复现时需核对时间邻接与视频间分离的具体实现及动作识别评估协议，向 EEG 迁移的有效性尚未验证。

1月1日周五
  1. OpenReview · Representation learning76

    面向 3D 点云的时空自监督表征学习

    基于摘要分析。本文针对 3D 场景理解缺乏实用且可泛化预训练模型的问题，提出时空表征学习框架 STRL，从无标签 3D 点云序列中学习表征；其主要研究对象是 3D 点云，而非 EEG 或 BCI。 核心机制是选取点云序列中两个时间相关的帧，施加空间数据增强，并以自监督方式学习不变表征。该方法利用时间相关性和空间变换构建学习信号，旨在应对视角、光照、遮挡等因素带来的变化。摘要未说明具体损失函数、编码器结构、帧采样间隔或增强操作，相关实现条件尚未验证。 作者报告，在合成、室内和室外三类数据集上开展实验，学习到的自监督表征使多种模型在 3D shape classification、3D object detection 和 3D semantic segmentation 下游任务中达到与监督学习方法相当或更好的表现，并支持预训练模型向下游任务泛化。作者报告，点云中的时空上下文线索能够改善表征，但摘要未提供数据集名称、评估划分、对照基线及具体指标；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 中相邻时间窗具有稳定的任务相关状态，可尝试复用“时间相关样本配对与增强不变性学习”的原则；点云输入表示和空间增强需改造成适合 EEG 通道拓扑及生理约束的形式。该假设可能因低信噪比、相邻窗口状态切换、跨被试差异或通道配置变化而失效，小数据也可能限制预训练收益。一个可检验的小实验是在固定编码器、训练数据量及跨被试划分的条件下，对比时间邻近配对与随机时间配对的自监督预训练，并采用相同下游评估协议，检验时间相关性是否带来增益。已有 EEG 相关工作尚未检索确认，原文结果不构成 BCI 有效性的证据。

    阅读价值：值得关注其利用时间相关帧与空间增强进行自监督预训练的机制，但摘要仅提供定性结果，具体收益及向 EEG 迁移的可行性尚未验证。

  2. OpenReview · State space models77

    CLOCS：跨空间、时间与患者的心脏信号对比学习

    基于摘要分析。该研究面向大量未标注的心脏生理信号，提出自监督对比学习方法族 CLOCS，通过鼓励跨空间、时间与患者的表示相似，学习可用于下游任务的表征。研究对象是心脏信号，而非 EEG 或 BCI。 核心机制是利用生理数据中的空间、时间及患者关系组织对比学习。摘要未说明这些关系如何形成正负样本，也未披露空间维度的具体定义、编码器结构、损失形式或采样策略，因此不能据此还原实现。作者还指出，训练过程自然产生患者特异性表示，可用于量化患者相似性；该相似性如何计算及验证尚未确认。 作者报告，在下游任务的线性评估与微调中，CLOCS 持续优于 BYOL 和 SimCLR；作者还报告，仅使用 25% 的有标签训练数据时仍具有较强泛化表现。摘要未给出具体任务、数据集、指标、数值，以及被试内、跨被试或跨数据集划分，因而这些结论只能保留在摘要所述评估背景下，不能量化优势或推定跨患者泛化。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具有可追踪的通道、时间片段与被试标识，这种关系驱动的对比学习可能有助于缓解标签稀缺。可复用的是关系采样与自监督预训练思路；需改造的是 EEG 通道对应、时间片段配对，以及跨被试正样本的语义约束。低信噪比、跨被试差异和通道不一致可能使相似性约束抹去任务相关差异，小数据也可能导致表示主要编码被试身份而非任务信息。 一个可检验的小实验是假设在固定 EEG 数据划分、编码器与标签预算下，比较仅时间关系与加入通道或被试关系的预训练，再以线性评估和微调检查任务性能；测试被试不得参与预训练，并需核对关系配对是否依赖标签。该实验仅是迁移假设，不代表 CLOCS 已有 EEG 效果；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 CLOCS 如何利用心脏信号的空间、时间与患者关系构建自监督表示，以及患者特异性表示的用途；其对 EEG 的适用性尚未验证。

  3. OpenReview · Representation learning72

    UniMoCo：无监督、半监督与全监督视觉表征学习

    基于摘要分析。该研究面向视觉表征学习，提出 Unified Momentum Contrast（UniMoCo），将 MoCo 扩展为可利用任意比例标注与未标注训练数据的统一框架，核心贡献是基于标签队列构造多个正样本对，并以 Unified Contrastive（UniCon）损失统一处理数量可变的正负样本。 机制上，相较于 MoCo 的单个正样本对，UniMoCo 通过比较 query 标签与标签队列，动态维护多个正样本对；UniCon 则从成对优化视角组织对比学习目标。摘要未给出损失公式，也未说明未标注样本如何参与正负样本判定、队列如何更新，以及混合标注比例下的具体训练流程，这些细节尚未验证。 作者报告，在采用不同比例 ImageNet 标签预训练多个 UniMoCo 模型、并在多种下游任务评估的设置下，该方法能适用于无监督、半监督和监督视觉表征学习。作者还主张 UniCon 在理论与实践上优于监督对比损失，但摘要未提供具体标签比例、下游任务、数值指标或对照配置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移机制是利用有限类别标签，为对比学习增加同类正样本，可能对应 EEG 小样本标注利用不足的问题。可复用部分是标签队列和多正样本对比目标；需改造视觉编码器与数据增强，并处理 EEG 的被试、会话和通道差异。低信噪比、类别内部异质性及小数据条件可能使同类正样本关系不稳定，队列也可能保留被试特异特征。一个可证伪的小实验是在固定 EEG 数据划分和标注预算下，采用相同编码器与增强，比较 MoCo、监督对比学习和 UniMoCo 的跨被试解码表现，并检查标签比例变化是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是标签队列与 UniCon 损失如何在同一框架中利用不同比例的标注数据，但其相对监督对比学习的优势及向 EEG 的适用性仍需进一步验证。

  4. OpenReview · State space models74

    通过共享丰度空间进行物理约束迁移学习的高光谱图像分类

    基于摘要分析。本文研究高光谱图像（HSI）分类中由采集条件变化引起的跨域光谱差异，提出 physically constrained transfer learning through shared abundance space（PCTL-SAS），将源域与目标域数据依据各自物理特性投影到共享丰度空间，以支持源域分类模型向目标域迁移。 核心机制是先通过具有物理意义的表示减小域差异，而非仅依赖源域预训练后在目标域微调。作者提出，该表示可使源域训练的模型应用于目标域，无需额外数据标注或网络重训练。摘要未说明丰度估计方式、具体物理约束、损失函数、网络结构，以及构建目标域投影所需的数据和计算成本；因此，不能将“不重训练分类网络”等同于“目标域完全无需适配”。 作者报告，实验中该方法优于所比较的先进方法，但摘要未提供数据集、源域与目标域划分、标注预算、对照方法或具体指标。实验协议、消融及统计信息尚未验证，尚不能判断优势来自物理表示、域对齐过程还是其他实现因素。 平台推测（待验证）：可供 EEG 域适应借鉴的假设是，将采集条件变化与较稳定的潜在成分分离，再在共享表示上分类。可复用的是“领域相关映射加共享分类器”的思路；需改造的是物理生成模型与表示约束，不能直接将 HSI 丰度空间视为 EEG 源空间。EEG 的正负极性、低信噪比、跨被试源差异、通道配置变化及小样本估计误差都可能破坏这一对应关系。一个可检验的小实验是在 Cross-session EEG 分类中，比较原始特征与候选共享表示：固定分类器仅使用源会话标签训练，目标会话无标签适配数据与测试数据分离，并检验表示对齐是否真正改善目标会话表现。此方案是迁移假设，不是原论文实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其利用领域物理特性构建共享表示、降低目标域标注与重训练需求的迁移路径，但摘要不足以验证具体物理约束及其对 EEG 的适用性。

  5. OpenReview · Representation learning72

    面向序列医学图像的自监督多任务表征学习

    基于摘要分析。本文研究序列二维医学图像的自监督表征学习，提出通过多个预任务利用图像中潜在解剖结构的多任务框架，面向全心脏分割等密集预测任务，同时预训练编码器与解码器。 其主要机制区别是：不只围绕实例判别预训练编码器，而是将解码器也纳入预训练，使预训练目标与后续密集预测任务相衔接。摘要未给出各预任务的定义、损失组合、序列组织方式及模型结构，这些技术细节尚未验证。 作者报告，在来自不同域的两个公开全心脏分割数据集上，该框架优于 MoCo V2；在仅有少量标注数据的条件下，利用未标注数据预训练的分割网络也优于标准监督训练的对应网络。摘要未提供数据集名称、指标数值或标注比例；来自不同域的数据集不等于已验证跨数据集迁移，具体数据划分、预训练与微调关系、消融及统计信息尚未验证。 平台推测（待验证）：可考察的迁移机制是“利用序列结构构造自监督预任务，并联合预训练编码器与解码器”，而非直接将心脏分割结果视为 EEG/BCI 证据。若用于 EEG 时序密集预测，需要重新定义时间与通道结构对应的预任务及解码输出；医学图像的解剖相似性不能直接等同于 EEG 的时空规律，低信噪比、被试差异及通道布局变化可能削弱收益。一个可检验的小实验是在固定跨被试划分、相同未标注数据与标注预算下，对比仅预训练编码器和联合预训练编码器—解码器，并设置从头监督训练对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是利用序列医学图像的解剖结构设计多项自监督预任务，并同时预训练编码器与解码器；其相对 MoCo V2 及少标注监督训练的收益仍需结合完整实验协议核对。

  6. OpenReview · Representation learning75

    结合局部与全局结构的自监督图级表示学习

    基于摘要分析。本文研究无监督／自监督整图表示学习，应用背景包括药物与材料发现中的分子性质预测。作者提出 Local-instance and Global-semantic Learning（GraphLoG），在保留不同图实例间局部相似性的同时，引入层次化原型捕捉整个数据集的全局语义簇。 机制上，GraphLoG 将局部实例关系与全局语义结构纳入统一框架，并使用在线期望最大化（EM）算法学习模型。这里的“局部”指图实例之间的相似性结构，不应直接等同于单张图中的邻域连接。摘要未提供图编码器、原型层级构造、具体损失或 EM 更新细节，这些内容尚未验证。 评估采用在大量无标签图上预训练、再对下游任务微调的流程。作者报告，该方法在化学与生物学基准数据集上表现有效；摘要未给出数据集名称、划分协议、对照方法与具体指标，实验协议、消融及统计信息尚未验证，因此无法据此判断增益幅度或适用边界。 平台推测（待验证）：若将 EEG 时间窗构造成通道关系图，可检验“局部相似性加全局语义原型”是否有助于整图表示学习。该假设依赖有意义的图构造、足量无标签样本，以及图相似性与下游任务语义的一致性；原型学习思路可能复用，但 EEG 图构造和相似性定义需改造。低信噪比、通道配置差异及被试差异可能使原型聚合设备或个体特征，而非任务信息，小数据也可能使层次原型不稳定。一个可证伪的小实验是：在相同编码器、预训练数据和微调预算下，对比仅局部学习与加入层次原型的版本，按被试隔离评估 Cross-subject 表现，并核对原型与被试身份的关联。相关 EEG 工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：GraphLoG 将图实例间局部相似性与层次化全局语义原型结合，值得核对其相较仅保留局部结构的方法的增益；对 EEG 图表示学习的适用性尚未验证。

  7. OpenReview · Representation learning74

    MetaXL：面向低资源跨语言学习的元表征变换

    基于摘要分析。MetaXL 研究极低资源语言的跨语言迁移：当目标语言既缺少大规模单语预训练语料，又缺少充足的微调标注时，如何利用多语言预训练表征与辅助语言改善 NLP 任务。其核心贡献是基于元学习学习从辅助语言到目标语言的表征变换，使语言间的表征空间更接近。 机制与证据：摘要将不同语言的多语言表征相互分离列为迁移障碍，MetaXL 则以学习表征变换来应对这一问题。作者报告，在缺少大规模单语语料及大量标注数据的真实低资源语言上，跨语言情感分析和命名实体识别实验显示该方法有效。摘要未给出具体语言、数据集、样本规模、指标、对照基线或提升幅度；变换模块、元学习目标、训练流程、实验协议、消融及统计信息尚未验证。摘要说明代码已公开，但实现与复现条件尚未核验。 平台推测（待验证）：可检验的迁移假设是，将辅助语言与目标语言之间的表征差异对应到 EEG 的跨被试或跨会话差异，用元学习训练表征变换以改善少标注目标域的适配。原方法依赖多语言预训练表征及辅助语言、目标语言的任务数据，具体监督分配与规模尚未验证；在 EEG 中，可考虑复用表征变换与元学习框架，但需改造信号编码器、任务采样和域划分。低信噪比、通道布局差异、被试生理差异及小样本可能使对齐消除任务相关信息，或导致元学习过拟合。一个小规模可证伪实验是在固定目标被试标注预算及数据划分下，对比直接微调与加入元表征变换的方案，并采用一致的留出被试测试协议；原领域有效不代表 BCI 有效。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注的是 MetaXL 用元学习驱动辅助语言到目标语言的表征变换，为极低资源条件下的迁移提供了可研究的机制，但其对 EEG 跨被试迁移的价值尚未验证。

  8. OpenReview · Representation learning79

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究如何利用视频相较于静态图像多出的时间维度，为无监督视觉表征学习提供监督信号，提出 Sequence Contrastive Learning（SeCo），从空间、时空与序列三个角度利用视频的内在结构。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确的时间顺序，并将这些关系作为对比学习的监督基础。其主要研究对象是视频与视觉表征，而非 EEG 或 BCI。摘要未提供具体损失形式、采样规则、网络结构及训练规模，不能据此还原实现。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 未裁剪视频活动识别和 OTB-100 目标跟踪中取得较优结果，但摘要未列出具体分数及完整对照。作者另报告，在 UCF101 和 HMDB51 动作识别任务上，相对全监督 ImageNet 预训练的 Accuracy 提升分别为原文所述的 2.96% 和 6.47%；其百分比或百分点口径、数据划分及具体评估设置尚未验证，不能与前述 linear protocol 直接合并解读。摘要提供了源码地址，但代码内容、复现条件、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据具有连续记录和可靠时间顺序，可假设将同帧关系改造为同一时间窗的不同增强视图，将同视频关系改造为同一连续记录内的片段关系，并复用顺序监督，探索无标签数据的表征学习。需重新设计时间窗、增强方式和正负样本定义；同一记录也可能共享被试身份或设备噪声，低信噪比、通道差异及小数据可能使模型学到与任务无关的线索。一个可检验的小实验是在固定 Cross-subject 划分下，仅使用训练被试的无标签记录预训练，对比基础对比学习与加入顺序监督后的冻结表征分类结果。该实验属于迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：SeCo 将视频中的同帧、同视频与时间顺序关系转化为对比学习监督，值得核对各类序列信号的独立贡献；其对 EEG 表征学习的价值尚未验证。

4月9日周四
  1. OpenReview · Representation learning78

    Mockingjay：基于深度双向 Transformer 编码器的无监督语音表示学习

    基于摘要分析。Mockingjay 研究如何利用大量无标注语音学习可供下游任务使用的表示，核心方法是预训练双向 Transformer 编码器，联合过去与未来上下文预测当前帧，而非仅依据过去帧预测未来信息。 方法与结果：作者将这一上下文建模方式与此前的未来帧预测方法作区分，并报告所学表示在音素分类、说话人识别及语音内容情感分类等任务中改善表现、优于其他方法。作者报告，与下游模型联合微调仅 2 个 epoch 即进一步改善表现；在仅使用 0.1% 标注数据的低资源设置下，优于使用 100% 标注数据的 Mel-features 基线。但摘要未明确该低资源比较对应的具体任务、数据集、划分、指标及数值，不能据此概括所有任务的标注效率。 待核对事项：摘要未给出当前帧预测的输入处理、掩码策略、损失形式及模型规模，不能仅由预测目标推定具体实现。预训练语料、下游实验协议、消融及统计信息尚未验证。双向上下文对未来帧的依赖也意味着，实时应用需另行评估推理延迟与可用上下文约束。 平台推测（待验证）：其可迁移假设是，无标注序列的双向上下文预测可能帮助缓解 EEG 标注稀缺问题，而非语音结果已证明 BCI 有效。可考虑复用 Transformer 编码与预训练—下游微调流程，但需改造 EEG 输入表示、通道组织和预测目标；语音预训练的数据规模需求能否在 EEG 中满足尚不明确。低信噪比、跨被试差异、通道不一致及小数据可能使模型主要学习伪迹或个体特征。可在同一 EEG 任务及固定 Cross-subject 划分下，仅用训练被试的无标注数据预训练，与随机初始化的同架构模型比较固定标注预算下的表现。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对 Mockingjay 利用双向上下文预训练语音表示及降低下游标注需求的机制，但摘要不足以验证其比较优势或 EEG 迁移效果。

1月1日周三
  1. OpenReview · EEG70

    用于改善单通道 EEG 觉醒检测的深度迁移学习

    基于摘要分析。研究针对不同诊所睡眠数据记录配置不一致所造成的通道不匹配问题，探索将多变量多导睡眠监测模型迁移到单通道 EEG 觉醒检测的深度迁移学习策略。其主要贡献是通过替换输入侧网络层并微调，利用已有预训练模型支持输入通道更少的检测任务，而非直接研究 BCI 控制或意图解码。 技术机制：作者先在多变量多导睡眠监测数据上训练基线模型，再替换前两层，使架构适配单通道 EEG。摘要提到研究了两种深度迁移学习策略，但仅明确描述了微调策略及其结果；另一策略、替换层的具体结构、损失函数、参数冻结方式与训练设置尚未验证。 结果：在摘要所述单通道适配评估中，作者报告微调模型的 F1 为 0.682，多变量基线模型的 F1 为 0.694，并称微调模型显著优于可比较的单通道模型。数据集名称、被试规模、被试内或跨被试划分、跨数据集迁移方向、F1 的计算方式及显著性检验信息尚未验证，因此不能将这些数值解读为已证实的跨诊所泛化效果。作者认为该方案有望帮助小型数据库利用较大数据库上的预训练模型。 平台推测（待验证）：输入侧适配与预训练权重复用可能对应 EEG 研究中的通道配置差异及小数据训练瓶颈。可复用迁移训练流程，但用于其他 EEG 任务时需重新设计输入适配层与输出目标，并核对采样率、参考方式和标签定义；低信噪比、被试差异及通道信息损失可能使迁移失效。一个可检验的小实验是在固定目标数据与被试隔离划分下，比较从头训练的单通道模型与替换输入层后微调的模型，检验预训练是否带来稳定增益。该假设不构成已验证的 BCI 效果，其他相关 EEG 工作尚未检索确认。

    阅读价值：该研究提供了从多变量多导睡眠监测模型迁移到单通道 EEG 的具体适配路径，值得核对其通道替换与微调方案，但性能结论仍需结合数据划分、对照及统计检验验证。

  2. OpenReview · Representation learning71

    Masking Orchestration：面向多角色对话表征学习的多任务预训练

    基于摘要分析。该研究针对多角色对话理解中语料丰富、特定任务标注稀缺且成本较高的问题，提出多任务无监督预训练机制，利用话语特性与多角色会话结构自然构造训练目标，以学习对话上下文表征，服务于问答、对话行为分类和对话摘要等任务。 机制方面，摘要说明预训练过程支持整合外部知识，以帮助定位对话摘要或信息抽取所需的关键信息。但 Masking Orchestration 的具体掩码策略、多任务目标及权重、知识注入方式和预训练后微调流程尚未验证，不能仅凭标题推断其实现结构。 作者报告在三个不同的对话数据集及多项下游对话挖掘任务上进行了评估，并称所提机制对各项下游任务均有显著贡献，且收益不局限于某类编码器。摘要未给出数据集名称、划分方式、对照基线、具体指标或统计检验，因此该结论的幅度及适用边界尚不能核实；实验协议、消融及统计信息尚未验证。 原论文的主要对象是多角色文本对话，而非神经信号。平台推测（待验证）：若 EEG 数据具有明确的试次、时间片段或交互角色结构，可假设借助结构构造多个自监督目标有助于缓解标注稀缺，但需重构输入表示与预训练任务，不能直接照搬文本话语结构或外部知识模块。低信噪比、跨被试差异和小数据可能使模型学习到无关结构。一个可证伪的小实验是在固定编码器、数据划分与训练预算下，对比单一自监督目标和结构化多任务预训练在相同低标注比例下的 EEG 解码表现；这只是迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其如何利用话语与多角色会话结构构造无监督预训练任务，以及收益是否跨编码器成立；摘要未提供量化结果，其对 EEG/BCI 的适用性尚未验证。

  3. OpenReview · Representation learning77

    SeCo：探索用于无监督表征学习的序列监督

    基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督，提出 Sequence Contrastive Learning（SeCo），从空间、时空和序列三个角度构造学习信号；主要研究对象是视频表征，而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频，以及三个样本是否具有正确时间顺序，并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模，摘要未提供，尚未验证。 作者报告，在 linear protocol 下，SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果；还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证，不宜与线性评估结果混为一谈。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移部分是利用序列关系构造自监督目标，而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息，可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系；需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件，而非任务信息，时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是：固定 EEG 编码器、训练数据与跨被试划分，对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督，但这些视频结构信号能否适用于 EEG 表征学习尚未验证。

8月1日周四
  1. OpenReview · Representation learning71

    学习基于深度卷积神经网络的虚拟编解码器以压缩图像

    基于摘要分析。本文研究标准图像编解码器中的硬量化不可微问题，提出由图像表示网络（IRN）、后处理神经网络（PNN）和虚拟编解码器网络（VCN）组成的标准兼容图像压缩框架。核心贡献是用 VCN 学习可微映射，为 IRN 与 PNN 的端到端训练提供支持；研究对象是图像压缩，并非 EEG 或 BCI。 机制方面，框架采用混合分辨率图像编码，考虑不同质量因子下的压缩失真。VCN 学习从表示图像到后处理图像的可微软投影，以应对硬量化导致的不可微问题；PNN 用于改善标准编解码器产生的块效应与振铃伪影。作者使用预训练自编码器初始化 IRN、PNN 和 VCN 的卷积核，并以端到端方式训练框架。具体损失、训练调度及标准编解码器类型尚未验证。 作者报告，该方法的编码效率高于其比较的最新图像表示压缩方法及多种后处理方法。摘要未提供数据集、划分、码率、图像质量指标或具体基线名称，因此尚不能量化优势或判断比较条件；实验协议、消融及统计信息尚未验证。复现需核对虚拟映射与真实编码流程的一致性，以及混合分辨率策略和预训练初始化的贡献。 平台推测（待验证）：若目标是 EEG 的有损存储或传输，可检验以可微代理连接不可微编码器的假设；其前提是具备原始信号与真实编码、解码输出之间的配对数据。可复用的是代理编码与联合优化思路，图像表示和后处理模块则需按多通道时序结构改造。低信噪比、跨被试差异、通道变化和小数据可能使代理映射失准，重建更平滑也不等于保留任务相关信息。一个小规模实验是在固定被试划分及匹配码率下，对比真实编解码器与加入代理训练的方案，同时评估信号重建误差和下游解码表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是利用可微虚拟编解码器连接标准图像编码与端到端训练的机制，但编码效率优势的评估协议及其对 EEG 压缩的适用性尚未验证。