跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

250 条精选近 30 天 109 条共收录 302 条

更新

精选归档 · 第 13 页

3月2日周四第 241–250 条
  1. OpenReview · Representation learning79

    可操控的等变表征学习

    基于摘要分析。本文研究预训练图像表征中的增强不变性问题：不变性有助于稳健表征，却可能削弱需要感知相应变换的下游任务。作者提出学习 steerable（可操控）的等变表征，通过可学习线性映射直接操作嵌入空间，使表征随输入增强发生对应变化，而非消除这些变化的信息。 核心区别在于，不变表征追求变换前后嵌入保持一致，等变表征则保留可预测的变换关系。作者将这一机制用于迁移学习、鲁棒性与测试时增强；摘要未交代具体增强类型、训练监督、损失形式或线性映射的学习方式，这些实现条件尚未验证。 作者报告，在迁移学习的线性探测评估中，top-1 Accuracy 提升幅度原文表述为 1%–3%；在 ImageNet-C 上，Accuracy 提升最高为 3.4%。摘要未明确这些百分数是否表示百分点，也未提供各任务划分与具体对照，不能据此跨协议比较。作者还报告，利用表征可操控性进行测试时增强获得近 50 倍加速，并通过大量增强，在 ImageNet-C 的分布外检测中相较不变表征提高 OOD AUC；具体 AUC、运行条件及成本统计尚未验证。 平台推测（待验证）：其可迁移假设是，EEG 增强不应一律被视为需要消除的扰动；若某类变换具有明确、可控且与标签关系已知的含义，可尝试保留其等变信息。可复用的是嵌入空间线性变换思路，需要改造的是 EEG 编码器、增强定义和任务约束。低信噪比、跨被试差异、通道布局变化及小数据可能使变换关系难以稳定学习，也可能使等变表征保留无关干扰。一个可证伪的小实验是在固定数据划分与相同编码器下，比较针对同一可控增强的不变训练和等变训练，同时测量解码性能、表征变换一致性与推理耗时。已有 EEG 相关工作尚未检索确认；全文实验协议、消融及统计信息尚未验证。

    阅读价值：值得核对其用可学习线性映射保留增强变换信息的机制，以及嵌入空间测试时增强的效率收益，但其对 EEG 的适用性尚未验证。

1月1日周日
  1. OpenReview · Representation learning71

    基于程序切片的代码变更表示学习

    基于摘要分析。本文研究软件开发与维护中的代码变更表示，提出基于程序切片的表示方法，并以预训练稀疏 Transformer 模型 CCS2VEC 学习变更表征，旨在改善代码变更语义建模及噪声或交织变更带来的任务困难。 核心机制是将修改代码与未修改代码之间的数据依赖和控制依赖纳入表示，而不只使用词法 token 或语法 AST（抽象语法树）路径。该方法依赖程序代码中的可分析依赖结构；CCS2VEC 使用三个预训练任务，但摘要未披露任务定义、损失形式、切片构造细节及稀疏注意力机制，相关实现尚未验证。 作者报告，在三个下游任务上微调预训练模型后，CCS2VEC 相较 CC2VEC 有所提升。摘要将提交消息生成和缺陷修复提交识别列为代码变更表示的应用示例，但未明确三个评估任务的完整组成，也未提供数据集、划分、评价指标或改进幅度。实验协议、消融及统计信息尚未验证，需通过全文核对依赖建模与预训练各自的贡献，以及对噪声和交织变更的评估方式。 本文主要研究对象是软件代码变更，而非神经信号。程序中的数据与控制依赖不能直接等同于 EEG 通道或时间片之间的关系；现有材料未建立具体的 EEG/BCI 方法对应路径，因此不提出跨领域复现实验建议。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其利用程序切片引入修改代码与未修改代码之间数据及控制依赖的表示机制，但作者报告的下游改进仍需结合完整实验协议核对，不能据此推断 EEG/BCI 效果。

  2. OpenReview · Representation learning70

    面向语言识别的标签感知语音表征学习

    基于摘要分析。本文研究语言识别这类非语义语音任务的表征学习，提出 Label Aware Speech Representation（LASR）学习框架，将语言标签信息融入自监督预训练，再对所得语音表征进行下游微调。 核心机制是在自监督损失之外引入基于 triplet 的目标函数，使预训练同时利用原始语音和语言标签。其主要区别在于，不仅使用分类器进行监督式嵌入提取，也不只依赖无标签数据进行自监督学习，而是在预训练阶段结合两类信号。摘要未说明 triplet 的构造、采样策略、损失权重或具体自监督任务，这些实现条件尚未验证。 作者报告，在两个公开数据集 FLEURS 和 Dhwani 的语言识别实验中，LASR 优于所比较的最先进系统；摘要未提供具体指标、数值、数据划分与基线配置，因而无法判断提升幅度及比较条件。作者还报告了对标签噪声、标签缺失的鲁棒性分析，以及在多语言语音识别任务中的应用，但相关实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，任务标签约束与自监督目标结合，可能帮助 EEG 表征保留与任务有关的区分信息；这并不代表语音领域结果已经适用于 BCI。可复用的是联合训练思路，需改造的是 EEG 编码器、自监督任务及 triplet 采样规则。低信噪比、小样本以及被试或通道差异可能使标签约束学习到非任务特征。一个可检验的小实验是在固定 Cross-subject 划分下，以相同编码器和微调预算比较纯自监督预训练与加入任务标签 triplet 目标的预训练，并仅在训练集内改变标签噪声或缺失比例。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 LASR 如何将语言标签引入自监督预训练，以及标签噪声与缺失条件下的鲁棒性分析；其对 EEG 表征学习的价值尚未验证。

  3. OpenReview · State space models72

    基于状态空间模型的高效长文档分类

    基于摘要分析。本文研究长文档分类中标准自注意力的二次计算复杂度与有限长度外推能力，探索用 State-Space Models（SSMs，状态空间模型）替代自注意力，并提出 SSM-pooler，以兼顾分类性能与处理效率。 作者在六个长文档分类数据集上开展实验，覆盖二分类、多分类和多标签分类，对比经过预训练及未经预训练的 SSMs 与基于自注意力的模型。作者报告，SSM-pooler 在这些长文档分类实验中取得可比性能，同时平均效率提升 36%；但摘要未明确该效率指耗时、吞吐量、计算量还是其他口径，也未给出具体对照模型与统计方式。作者还报告方法对输入噪声具有更高鲁棒性，包括噪声达到 40% 的极端情形；噪声类型、比例定义及对应性能指标尚未验证。 方法的主要方向是改变长序列建模机制，而非对自注意力使用稀疏或层次化结构。SSM-pooler 的内部结构、池化操作、训练目标、预训练方案，以及数据集名称、划分、长度设置、消融与统计信息均需全文核对，不能仅凭摘要判断其优势来自哪一模块。 平台推测（待验证）：假设 SSM 的长序列处理机制能缓解长时间窗 EEG 分类的计算瓶颈，可尝试复用序列编码与分类汇聚思路，但需将文本输入接口改为多通道 EEG 表征，并验证其能否保留短暂事件与跨通道信息。文本输入噪声鲁棒性不等同于对 EEG 伪迹、低信噪比或被试差异的鲁棒性；小数据训练也可能削弱优势。一个可检验的小实验是在固定数据划分、时间窗、参数预算和训练预算下，对比 SSM-pooler 与自注意力模型，分别评估分类表现、推理耗时及明确噪声条件下的性能变化，并将被试内与跨被试结果分开报告。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SSM-pooler 在长文档分类中的效率与噪声鲁棒性评估，但摘要未说明效率口径及噪声定义，作者报告的优势尚不能直接外推至 EEG。

  4. OpenReview · Representation learning74

    面向 CAD 的自监督表征学习

    基于摘要分析。该研究面向计算机辅助设计（CAD）中的参数化边界表示（B-Rep），研究如何利用大量无标签 CAD 几何数据，缓解监督学习任务中标注数据规模小、任务专用标签昂贵的问题。核心贡献是学习一种混合隐式/显式的表面表征，并通过预训练支持下游监督学习。 技术上，研究对象是 CAD 原生格式的 B-Rep 几何，而非神经信号或 BCI。摘要将隐式与显式表面表示的结合列为方法特点，但未说明两类表示如何融合、自监督目标如何构造，以及预训练与下游任务的衔接方式；网络结构、损失形式和训练配置尚未验证。该方法依赖可用于预训练的无标签 CAD 几何数据，其数据结构与 EEG 时序信号存在明显差异。 作者报告，该预训练显著改善少样本学习性能，并在若干现有 B-Rep 基准上取得最先进性能。摘要未提供基准名称、任务类型、数据划分、标注预算、对照方法或具体指标，因此尚不能核对提升幅度，也不能判断不同评估协议下的可比性。实验协议、消融及统计信息尚未验证。 对 BCI 而言，目前材料仅支持关注“利用无标签数据改善少样本监督学习”这一研究方向，尚不足以建立混合表面表征与 EEG 瓶颈之间的具体机制对应关系，不据此推断 EEG 效果或提出复现实验方案。已有 EEG 相关工作尚未检索确认；原方法复现所需的数据处理、实现与预训练配置也需查阅全文后核对。

    阅读价值：值得关注其以无标签 B-Rep 几何预训练支持少样本监督任务的混合隐式/显式表征思路，但具体机制、基准结果及其与 EEG 的对应关系尚未验证。

  5. OpenReview · Representation learning71

    用于语言识别的标签感知语音表征学习

    基于摘要分析。本文研究语言识别等非语义语音任务的表征学习，提出 Label Aware Speech Representation learning（LASR），在自监督预训练中引入语言标签信息，结合有监督表征提取与自监督学习的优势。主要研究对象是语音语言识别，而非 EEG 或 BCI。 核心机制是在自监督损失之外加入基于 triplet 的目标函数，使预训练同时利用原始语音及语言类别监督。摘要未说明 triplet 的构造与采样规则、损失权重、自监督目标类型、模型结构或预训练规模，这些实现条件尚未验证。 作者报告，在两个公开数据集 FLEURS 和 Dhwani 的语言识别实验中，LASR 的识别表现优于其比较的 SOTA 系统；摘要未提供具体指标、数值、基线名称或数据划分，因而不能判断提升幅度及不同协议下的可比性。作者还报告了针对噪声标签、缺失标签的鲁棒性分析，以及 ASR 任务分析，但摘要不足以确定这些分析的具体结果。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“自监督目标结合标签驱动的 triplet 约束”可能对应 EEG 中标签有限、表征缺少任务判别性的问题，前提是具有可用于自监督训练的信号和部分可靠任务标签。可复用的是联合训练思路；语音编码器、信号预处理、样本增强及 triplet 采样需针对 EEG 改造。低信噪比、被试或通道差异可能使距离约束学习到非任务因素，小数据下的 triplet 构造也可能不稳定。一个可检验的小实验是在固定跨被试划分与相同编码器条件下，对比纯自监督预训练和加入任务标签 triplet 目标的预训练，并逐步减少可用标签或注入标签噪声，检验判别性能与稳定性是否改善。该实验仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是 LASR 将语言标签的 triplet 目标与自监督预训练结合，并分析标签噪声与缺失情形，为评估有限标签下的表征学习提供了具体机制，但其 EEG/BCI 适用性尚未验证。

  6. OpenReview · Representation learning70

    PromptCL：通过 Prompt 模板与对比学习改进事件表征

    基于摘要分析。本文研究 NLP 中短事件文本的表征学习：作者认为，事件文本与预训练语言模型（PLMs）预训练文本之间的长度分布差异，可能限制对比学习的效果，并提出 PromptCL，通过 Prompt 模板扩展输入并显式组织事件成分，以改善事件语义表征。 机制上，PromptCL 在对比学习过程中引入结构化 Prompt 模板，为短事件文本提供事件成分的组织框架；同时采用 Subject-Predicate-Object（SPO，主语—谓语—宾语）词序与 Event-oriented Masked Language Modeling（EventMLM，面向事件的掩码语言建模），训练 PLMs 理解事件成分之间的关系。摘要未说明模板具体内容、对比样本构造、损失组合、掩码策略或所用 PLMs，相关实现细节尚未验证。 作者报告，PromptCL 在事件相关任务上优于所比较的先进基线，并通过分析认为 Prompt 可改善事件表征的泛化能力；但摘要未提供任务名称、数据集、划分协议、指标或具体数值，无法据此评估提升幅度及不同设置下的稳定性。实验协议、消融及统计信息尚未验证。复现时需重点核对模板扩展、SPO 词序和 EventMLM 的独立贡献，以及长度变化与结构信息的作用是否得到区分。摘要表示代码将公开，当前可用性尚未验证。 平台推测（待验证）：该方法依赖文本输入、事件成分结构及 PLMs 的语言预训练知识，并非直接面向 EEG。若 EEG 任务已有可靠的试次描述或事件语义标注，可假设其文本端表征有助于处理短描述，但信号编码与跨模态对齐需另行设计；低信噪比、跨被试差异、通道变化及小样本可能使文本先验无法对应真实神经信号。一个可证伪的小实验是在同一 EEG—文本配对数据及固定跨被试划分下，比较原始短描述与结构化模板描述，仅改变文本端输入并检查性能是否稳定改善。已有 EEG 相关工作尚未检索确认，原文结果不构成 BCI 有效性的证据。

    阅读价值：值得核对 Prompt 模板扩展短事件文本与 SPO、EventMLM 的各自贡献，以判断性能提升来自长度分布匹配还是事件结构建模；其 EEG/BCI 适用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning74

    面向 CAD 的自监督表示学习

    基于摘要分析。该研究针对计算机辅助设计（CAD）原生参数化边界表示（B-Rep）中大规模数据缺少标签、已标注数据规模较小且任务专用标签获取昂贵的问题，提出利用未标注 CAD 几何进行自监督表示学习，再服务于监督学习任务。核心贡献是学习一种混合隐式/显式表面表示，研究对象是机械零件的 CAD 几何，而非神经信号或 BCI。 技术机制：摘要明确了 B-Rep 几何、混合隐式/显式表面表示以及预训练到监督任务的路径，但未说明两类表示如何结合、自监督目标、网络结构或下游适配方式。这些细节及其对几何数据结构的依赖尚未验证。 结果与证据边界：作者报告，该预训练显著改善少样本学习表现，并在多个现有 B-Rep 基准上达到最先进水平。摘要未提供基准名称、样本量、数据划分、对照方法、指标或具体数值，因此无法核对提升幅度及可比性；实验协议、消融及统计信息尚未验证。复现需取得全文并确认数据预处理、预训练目标、少样本设定及实现条件。 与 EEG/BCI 的关系：平台推测（待验证），其利用未标注数据缓解标签稀缺的思路与 EEG 小样本学习存在问题层面的对应，但摘要没有给出从 CAD 表面表示到 EEG 时序或通道结构的具体机制路径。现阶段不宜将该表示直接视为可复用的 EEG 模块，也不足以提出针对性迁移实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其利用未标注 B-Rep 几何学习混合隐式/显式表面表示、改善少样本监督学习的机制，但具体预训练目标与基准协议尚未验证，不能据此认定其适用于 EEG。

12月31日周五
  1. OpenReview · Representation learning74

    Inferential SIR-GN：可扩展的图表示学习

    基于摘要分析。本文研究如何在大规模图及未见网络上快速生成保留节点结构角色的向量表示，提出在随机图上预训练的 Inferential SIR-GN。其主要研究对象是通用图表示学习，而非 EEG 或 BCI。 机制与贡献：摘要区分基于连接关系的节点相似性与基于结构角色的相似性，指出连接关系导向的方法在结构角色重要的任务中表现不佳。Inferential SIR-GN 通过随机图预训练，再为目标网络计算节点表示，旨在应对部分无监督方法难以扩展到大型图、无法为未见节点生成表示的问题。具体结构角色定义、图生成分布、模型结构、训练目标及推理流程尚未验证。 结果与证据边界：作者报告，模型能够捕捉节点结构角色，并在未见网络的节点分类和图分类任务中取得良好表现；作者还报告，其面向大规模图的可扩展性可与当前最快的一类方法相比。摘要未提供数据集、划分方式、对照方法、指标数值或运行环境，因此不能据此量化性能优势，也不能将“未见网络”直接等同于跨被试或跨数据集泛化。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 被表示为以通道或脑区为节点、以功能连接为边的图，结构角色表示可能用于描述不同节点的连接模式，探索对节点身份变化的适应性。可尝试复用预训练表示计算模块，但需核对其是否支持加权、带符号或时变连接，并改造 EEG 构图与下游分类环节。随机图与 EEG 连接图的分布差异、低信噪比、跨被试差异及通道减少均可能使结构角色不稳定；小数据也可能不足以可靠训练分类器。一个可证伪的小实验是在固定构图规则和跨被试划分下，比较冻结的 Inferential SIR-GN 表示与连接特征基线，并测试通道删减后的表现。此迁移尚无所给材料支持，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其随机图预训练如何支持未见网络上的结构角色表示，以及推理效率与分类性能的评估协议；摘要所述可扩展性尚需全文证据验证。

8月1日周四
  1. OpenReview · Representation learning71

    学习基于深度卷积神经网络的虚拟编解码器以压缩图像

    基于摘要分析。本文研究标准图像编解码器中的硬量化不可微问题，提出由图像表示网络（IRN）、后处理神经网络（PNN）和虚拟编解码器网络（VCN）组成的标准兼容图像压缩框架。核心贡献是用 VCN 学习可微映射，为 IRN 与 PNN 的端到端训练提供支持；研究对象是图像压缩，并非 EEG 或 BCI。 机制方面，框架采用混合分辨率图像编码，考虑不同质量因子下的压缩失真。VCN 学习从表示图像到后处理图像的可微软投影，以应对硬量化导致的不可微问题；PNN 用于改善标准编解码器产生的块效应与振铃伪影。作者使用预训练自编码器初始化 IRN、PNN 和 VCN 的卷积核，并以端到端方式训练框架。具体损失、训练调度及标准编解码器类型尚未验证。 作者报告，该方法的编码效率高于其比较的最新图像表示压缩方法及多种后处理方法。摘要未提供数据集、划分、码率、图像质量指标或具体基线名称，因此尚不能量化优势或判断比较条件；实验协议、消融及统计信息尚未验证。复现需核对虚拟映射与真实编码流程的一致性，以及混合分辨率策略和预训练初始化的贡献。 平台推测（待验证）：若目标是 EEG 的有损存储或传输，可检验以可微代理连接不可微编码器的假设；其前提是具备原始信号与真实编码、解码输出之间的配对数据。可复用的是代理编码与联合优化思路，图像表示和后处理模块则需按多通道时序结构改造。低信噪比、跨被试差异、通道变化和小数据可能使代理映射失准，重建更平滑也不等于保留任务相关信息。一个小规模实验是在固定被试划分及匹配码率下，对比真实编解码器与加入代理训练的方案，同时评估信号重建误差和下游解码表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是利用可微虚拟编解码器连接标准图像编码与端到端训练的机制，但编码效率优势的评估协议及其对 EEG 压缩的适用性尚未验证。