跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

269 条精选近 30 天 112 条共收录 323 条

更新

精选归档 · 第 14 页

1月1日周日第 261–269 条
  1. OpenReview · State space models72

    基于状态空间模型的高效长文档分类

    基于摘要分析。本文研究长文档分类中标准自注意力的二次计算复杂度与有限长度外推能力，探索用 State-Space Models（SSMs，状态空间模型）替代自注意力，并提出 SSM-pooler，以兼顾分类性能与处理效率。 作者在六个长文档分类数据集上开展实验，覆盖二分类、多分类和多标签分类，对比经过预训练及未经预训练的 SSMs 与基于自注意力的模型。作者报告，SSM-pooler 在这些长文档分类实验中取得可比性能，同时平均效率提升 36%；但摘要未明确该效率指耗时、吞吐量、计算量还是其他口径，也未给出具体对照模型与统计方式。作者还报告方法对输入噪声具有更高鲁棒性，包括噪声达到 40% 的极端情形；噪声类型、比例定义及对应性能指标尚未验证。 方法的主要方向是改变长序列建模机制，而非对自注意力使用稀疏或层次化结构。SSM-pooler 的内部结构、池化操作、训练目标、预训练方案，以及数据集名称、划分、长度设置、消融与统计信息均需全文核对，不能仅凭摘要判断其优势来自哪一模块。 平台推测（待验证）：假设 SSM 的长序列处理机制能缓解长时间窗 EEG 分类的计算瓶颈，可尝试复用序列编码与分类汇聚思路，但需将文本输入接口改为多通道 EEG 表征，并验证其能否保留短暂事件与跨通道信息。文本输入噪声鲁棒性不等同于对 EEG 伪迹、低信噪比或被试差异的鲁棒性；小数据训练也可能削弱优势。一个可检验的小实验是在固定数据划分、时间窗、参数预算和训练预算下，对比 SSM-pooler 与自注意力模型，分别评估分类表现、推理耗时及明确噪声条件下的性能变化，并将被试内与跨被试结果分开报告。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SSM-pooler 在长文档分类中的效率与噪声鲁棒性评估，但摘要未说明效率口径及噪声定义，作者报告的优势尚不能直接外推至 EEG。

  2. OpenReview · Representation learning74

    面向 CAD 的自监督表征学习

    基于摘要分析。该研究面向计算机辅助设计（CAD）中的参数化边界表示（B-Rep），研究如何利用大量无标签 CAD 几何数据，缓解监督学习任务中标注数据规模小、任务专用标签昂贵的问题。核心贡献是学习一种混合隐式/显式的表面表征，并通过预训练支持下游监督学习。 技术上，研究对象是 CAD 原生格式的 B-Rep 几何，而非神经信号或 BCI。摘要将隐式与显式表面表示的结合列为方法特点，但未说明两类表示如何融合、自监督目标如何构造，以及预训练与下游任务的衔接方式；网络结构、损失形式和训练配置尚未验证。该方法依赖可用于预训练的无标签 CAD 几何数据，其数据结构与 EEG 时序信号存在明显差异。 作者报告，该预训练显著改善少样本学习性能，并在若干现有 B-Rep 基准上取得最先进性能。摘要未提供基准名称、任务类型、数据划分、标注预算、对照方法或具体指标，因此尚不能核对提升幅度，也不能判断不同评估协议下的可比性。实验协议、消融及统计信息尚未验证。 对 BCI 而言，目前材料仅支持关注“利用无标签数据改善少样本监督学习”这一研究方向，尚不足以建立混合表面表征与 EEG 瓶颈之间的具体机制对应关系，不据此推断 EEG 效果或提出复现实验方案。已有 EEG 相关工作尚未检索确认；原方法复现所需的数据处理、实现与预训练配置也需查阅全文后核对。

    阅读价值：值得关注其以无标签 B-Rep 几何预训练支持少样本监督任务的混合隐式/显式表征思路，但具体机制、基准结果及其与 EEG 的对应关系尚未验证。

  3. OpenReview · Representation learning71

    用于语言识别的标签感知语音表征学习

    基于摘要分析。本文研究语言识别等非语义语音任务的表征学习，提出 Label Aware Speech Representation learning（LASR），在自监督预训练中引入语言标签信息，结合有监督表征提取与自监督学习的优势。主要研究对象是语音语言识别，而非 EEG 或 BCI。 核心机制是在自监督损失之外加入基于 triplet 的目标函数，使预训练同时利用原始语音及语言类别监督。摘要未说明 triplet 的构造与采样规则、损失权重、自监督目标类型、模型结构或预训练规模，这些实现条件尚未验证。 作者报告，在两个公开数据集 FLEURS 和 Dhwani 的语言识别实验中，LASR 的识别表现优于其比较的 SOTA 系统；摘要未提供具体指标、数值、基线名称或数据划分，因而不能判断提升幅度及不同协议下的可比性。作者还报告了针对噪声标签、缺失标签的鲁棒性分析，以及 ASR 任务分析，但摘要不足以确定这些分析的具体结果。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“自监督目标结合标签驱动的 triplet 约束”可能对应 EEG 中标签有限、表征缺少任务判别性的问题，前提是具有可用于自监督训练的信号和部分可靠任务标签。可复用的是联合训练思路；语音编码器、信号预处理、样本增强及 triplet 采样需针对 EEG 改造。低信噪比、被试或通道差异可能使距离约束学习到非任务因素，小数据下的 triplet 构造也可能不稳定。一个可检验的小实验是在固定跨被试划分与相同编码器条件下，对比纯自监督预训练和加入任务标签 triplet 目标的预训练，并逐步减少可用标签或注入标签噪声，检验判别性能与稳定性是否改善。该实验仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是 LASR 将语言标签的 triplet 目标与自监督预训练结合，并分析标签噪声与缺失情形，为评估有限标签下的表征学习提供了具体机制，但其 EEG/BCI 适用性尚未验证。

  4. OpenReview · Representation learning70

    PromptCL：通过 Prompt 模板与对比学习改进事件表征

    基于摘要分析。本文研究 NLP 中短事件文本的表征学习：作者认为，事件文本与预训练语言模型（PLMs）预训练文本之间的长度分布差异，可能限制对比学习的效果，并提出 PromptCL，通过 Prompt 模板扩展输入并显式组织事件成分，以改善事件语义表征。 机制上，PromptCL 在对比学习过程中引入结构化 Prompt 模板，为短事件文本提供事件成分的组织框架；同时采用 Subject-Predicate-Object（SPO，主语—谓语—宾语）词序与 Event-oriented Masked Language Modeling（EventMLM，面向事件的掩码语言建模），训练 PLMs 理解事件成分之间的关系。摘要未说明模板具体内容、对比样本构造、损失组合、掩码策略或所用 PLMs，相关实现细节尚未验证。 作者报告，PromptCL 在事件相关任务上优于所比较的先进基线，并通过分析认为 Prompt 可改善事件表征的泛化能力；但摘要未提供任务名称、数据集、划分协议、指标或具体数值，无法据此评估提升幅度及不同设置下的稳定性。实验协议、消融及统计信息尚未验证。复现时需重点核对模板扩展、SPO 词序和 EventMLM 的独立贡献，以及长度变化与结构信息的作用是否得到区分。摘要表示代码将公开，当前可用性尚未验证。 平台推测（待验证）：该方法依赖文本输入、事件成分结构及 PLMs 的语言预训练知识，并非直接面向 EEG。若 EEG 任务已有可靠的试次描述或事件语义标注，可假设其文本端表征有助于处理短描述，但信号编码与跨模态对齐需另行设计；低信噪比、跨被试差异、通道变化及小样本可能使文本先验无法对应真实神经信号。一个可证伪的小实验是在同一 EEG—文本配对数据及固定跨被试划分下，比较原始短描述与结构化模板描述，仅改变文本端输入并检查性能是否稳定改善。已有 EEG 相关工作尚未检索确认，原文结果不构成 BCI 有效性的证据。

    阅读价值：值得核对 Prompt 模板扩展短事件文本与 SPO、EventMLM 的各自贡献，以判断性能提升来自长度分布匹配还是事件结构建模；其 EEG/BCI 适用性尚未验证。

  5. OpenReview · Representation learning79

    URL：面向可迁移不确定性估计的表征学习基准

    该研究关注预训练模型迁移到新数据集时，能否同时提供有效表征与可靠的不确定性估计，并提出 Uncertainty-aware Representation Learning（URL）基准来评估这两类能力。基于摘要分析，未取得论文全文。 URL 除衡量表征的可迁移性外，还通过一项新指标衡量不确定性估计的零样本迁移能力。摘要未给出该指标的定义、计算方式及所需监督信息，因此尚不能判断它具体如何刻画不确定性质量，也不能将零样本迁移直接等同于无需任何目标域信息。 作者报告，在 ImageNet 上预训练、再迁移至八个下游数据集的评估中，比较了十种不确定性量化方法；关注表征本身的不确定性或直接估计预测风险的方法，优于基于上游类别概率的方法。该结论限定于文中评估设置，摘要未提供下游数据集名称、具体分数及方法间差异幅度。作者同时指出，可迁移的不确定性量化仍是开放挑战，但其结果表明，这一目标未必与传统表征学习目标冲突。 平台推测（待验证）：若 EEG 预训练表征需要跨被试或跨数据集使用，URL 将表征质量与不确定性迁移质量分别评估的框架，可能帮助识别“分类有效但置信度不可靠”的模型。可复用的是评估问题与方法对照思路；需改造的是 EEG 输入表征、下游任务及被试和会话划分，并核对原指标的监督需求。ImageNet 图像预训练并不构成 EEG 有效性的证据，低信噪比、通道差异与小样本可能使不确定性更多反映采集条件而非预测风险。一个可检验的小实验是：固定同一 EEG 编码器与跨被试划分，对照基于类别概率和表征不确定性的估计方式，分别检查分类表现与不确定性对错误的识别能力。已有 EEG 相关工作尚未检索确认。 摘要提供了代码仓库；具体实验协议、消融、统计信息及复现配置尚未验证。

    阅读价值：值得阅读其将表征迁移能力与不确定性估计的零样本迁移能力分开评估的思路；作者报告的不同不确定性量化路线之间的差异可供方法选型参考，但其对 EEG 的适用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning74

    面向 CAD 的自监督表示学习

    基于摘要分析。该研究针对计算机辅助设计（CAD）原生参数化边界表示（B-Rep）中大规模数据缺少标签、已标注数据规模较小且任务专用标签获取昂贵的问题，提出利用未标注 CAD 几何进行自监督表示学习，再服务于监督学习任务。核心贡献是学习一种混合隐式/显式表面表示，研究对象是机械零件的 CAD 几何，而非神经信号或 BCI。 技术机制：摘要明确了 B-Rep 几何、混合隐式/显式表面表示以及预训练到监督任务的路径，但未说明两类表示如何结合、自监督目标、网络结构或下游适配方式。这些细节及其对几何数据结构的依赖尚未验证。 结果与证据边界：作者报告，该预训练显著改善少样本学习表现，并在多个现有 B-Rep 基准上达到最先进水平。摘要未提供基准名称、样本量、数据划分、对照方法、指标或具体数值，因此无法核对提升幅度及可比性；实验协议、消融及统计信息尚未验证。复现需取得全文并确认数据预处理、预训练目标、少样本设定及实现条件。 与 EEG/BCI 的关系：平台推测（待验证），其利用未标注数据缓解标签稀缺的思路与 EEG 小样本学习存在问题层面的对应，但摘要没有给出从 CAD 表面表示到 EEG 时序或通道结构的具体机制路径。现阶段不宜将该表示直接视为可复用的 EEG 模块，也不足以提出针对性迁移实验；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其利用未标注 B-Rep 几何学习混合隐式/显式表面表示、改善少样本监督学习的机制，但具体预训练目标与基准协议尚未验证，不能据此认定其适用于 EEG。

12月31日周五
  1. OpenReview · Representation learning74

    Inferential SIR-GN：可扩展的图表示学习

    基于摘要分析。本文研究如何在大规模图及未见网络上快速生成保留节点结构角色的向量表示，提出在随机图上预训练的 Inferential SIR-GN。其主要研究对象是通用图表示学习，而非 EEG 或 BCI。 机制与贡献：摘要区分基于连接关系的节点相似性与基于结构角色的相似性，指出连接关系导向的方法在结构角色重要的任务中表现不佳。Inferential SIR-GN 通过随机图预训练，再为目标网络计算节点表示，旨在应对部分无监督方法难以扩展到大型图、无法为未见节点生成表示的问题。具体结构角色定义、图生成分布、模型结构、训练目标及推理流程尚未验证。 结果与证据边界：作者报告，模型能够捕捉节点结构角色，并在未见网络的节点分类和图分类任务中取得良好表现；作者还报告，其面向大规模图的可扩展性可与当前最快的一类方法相比。摘要未提供数据集、划分方式、对照方法、指标数值或运行环境，因此不能据此量化性能优势，也不能将“未见网络”直接等同于跨被试或跨数据集泛化。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 被表示为以通道或脑区为节点、以功能连接为边的图，结构角色表示可能用于描述不同节点的连接模式，探索对节点身份变化的适应性。可尝试复用预训练表示计算模块，但需核对其是否支持加权、带符号或时变连接，并改造 EEG 构图与下游分类环节。随机图与 EEG 连接图的分布差异、低信噪比、跨被试差异及通道减少均可能使结构角色不稳定；小数据也可能不足以可靠训练分类器。一个可证伪的小实验是在固定构图规则和跨被试划分下，比较冻结的 Inferential SIR-GN 表示与连接特征基线，并测试通道删减后的表现。此迁移尚无所给材料支持，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其随机图预训练如何支持未见网络上的结构角色表示，以及推理效率与分类性能的评估协议；摘要所述可扩展性尚需全文证据验证。

8月1日周四
  1. OpenReview · Representation learning71

    学习基于深度卷积神经网络的虚拟编解码器以压缩图像

    基于摘要分析。本文研究标准图像编解码器中的硬量化不可微问题，提出由图像表示网络（IRN）、后处理神经网络（PNN）和虚拟编解码器网络（VCN）组成的标准兼容图像压缩框架。核心贡献是用 VCN 学习可微映射，为 IRN 与 PNN 的端到端训练提供支持；研究对象是图像压缩，并非 EEG 或 BCI。 机制方面，框架采用混合分辨率图像编码，考虑不同质量因子下的压缩失真。VCN 学习从表示图像到后处理图像的可微软投影，以应对硬量化导致的不可微问题；PNN 用于改善标准编解码器产生的块效应与振铃伪影。作者使用预训练自编码器初始化 IRN、PNN 和 VCN 的卷积核，并以端到端方式训练框架。具体损失、训练调度及标准编解码器类型尚未验证。 作者报告，该方法的编码效率高于其比较的最新图像表示压缩方法及多种后处理方法。摘要未提供数据集、划分、码率、图像质量指标或具体基线名称，因此尚不能量化优势或判断比较条件；实验协议、消融及统计信息尚未验证。复现需核对虚拟映射与真实编码流程的一致性，以及混合分辨率策略和预训练初始化的贡献。 平台推测（待验证）：若目标是 EEG 的有损存储或传输，可检验以可微代理连接不可微编码器的假设；其前提是具备原始信号与真实编码、解码输出之间的配对数据。可复用的是代理编码与联合优化思路，图像表示和后处理模块则需按多通道时序结构改造。低信噪比、跨被试差异、通道变化和小数据可能使代理映射失准，重建更平滑也不等于保留任务相关信息。一个小规模实验是在固定被试划分及匹配码率下，对比真实编解码器与加入代理训练的方案，同时评估信号重建误差和下游解码表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是利用可微虚拟编解码器连接标准图像编码与端到端训练的机制，但编码效率优势的评估协议及其对 EEG 压缩的适用性尚未验证。

1月1日周一
  1. OpenReview · EEG70

    用于 EEG 情绪识别的 WGAN 域适应

    基于摘要分析。本文研究跨被试 EEG 情绪识别中的域偏移问题，提出 Wasserstein 生成对抗网络域适应框架 WGANDA，通过公共特征空间映射和对抗对齐，缩小源域与目标域的特征分布差异。 核心机制是由类似 GAN 的组件构成两阶段训练流程：预训练阶段将源域和目标域映射到共同特征空间；对抗训练阶段进一步缩小两域映射在该空间中的差距。作者在对抗训练中采用 Wasserstein GAN 梯度惩罚损失，旨在改善训练稳定性与收敛性。摘要未提供网络结构、完整损失公式、各项权重及训练配置，因此不能据此判断具体实现或收敛保证的适用条件。 作者报告，在 SEED 和 DEAP 两个公开 EEG 情绪识别数据集的跨被试评估中，WGANDA 能够处理域偏移，并显著优于所比较的先进域适应方法。摘要没有给出具体指标、数值、基线名称、被试划分或统计检验，因而尚不能量化提升幅度，也不能直接比较两个数据集上的效果。 复现时需核对源域与目标域的构建方式、目标域标签是否参与训练、EEG 预处理与特征提取、训练及测试数据划分，以及预训练和梯度惩罚各自的贡献。实验协议、消融及统计信息尚未验证；该结果针对 EEG 情绪识别，不能据此扩展为其他 BCI 任务的已验证效果。

    阅读价值：值得阅读的具体原因是 WGANDA 将公共特征空间映射与带梯度惩罚的 Wasserstein 对抗训练结合，用于处理跨被试 EEG 情绪识别的域偏移；其相对优势仍需核对完整实验协议与统计证据。