跳到正文

算法、任务与模态

Masked Modeling 最新动态

Masked Modeling 研究索引；按可核对的标签归档，不以热度评价质量。

209 条精选近 30 天 40 条共收录 245 条

更新

精选归档 · 第 11 页

1月1日周日第 201–209 条
  1. OpenReview · Representation learning70

    PromptCL：通过 Prompt 模板与对比学习改进事件表征

    基于摘要分析。本文研究 NLP 中短事件文本的表征学习：作者认为，事件文本与预训练语言模型（PLMs）预训练文本之间的长度分布差异，可能限制对比学习的效果，并提出 PromptCL，通过 Prompt 模板扩展输入并显式组织事件成分，以改善事件语义表征。 机制上，PromptCL 在对比学习过程中引入结构化 Prompt 模板，为短事件文本提供事件成分的组织框架；同时采用 Subject-Predicate-Object（SPO，主语—谓语—宾语）词序与 Event-oriented Masked Language Modeling（EventMLM，面向事件的掩码语言建模），训练 PLMs 理解事件成分之间的关系。摘要未说明模板具体内容、对比样本构造、损失组合、掩码策略或所用 PLMs，相关实现细节尚未验证。 作者报告，PromptCL 在事件相关任务上优于所比较的先进基线，并通过分析认为 Prompt 可改善事件表征的泛化能力；但摘要未提供任务名称、数据集、划分协议、指标或具体数值，无法据此评估提升幅度及不同设置下的稳定性。实验协议、消融及统计信息尚未验证。复现时需重点核对模板扩展、SPO 词序和 EventMLM 的独立贡献，以及长度变化与结构信息的作用是否得到区分。摘要表示代码将公开，当前可用性尚未验证。 平台推测（待验证）：该方法依赖文本输入、事件成分结构及 PLMs 的语言预训练知识，并非直接面向 EEG。若 EEG 任务已有可靠的试次描述或事件语义标注，可假设其文本端表征有助于处理短描述，但信号编码与跨模态对齐需另行设计；低信噪比、跨被试差异、通道变化及小样本可能使文本先验无法对应真实神经信号。一个可证伪的小实验是在同一 EEG—文本配对数据及固定跨被试划分下，比较原始短描述与结构化模板描述，仅改变文本端输入并检查性能是否稳定改善。已有 EEG 相关工作尚未检索确认，原文结果不构成 BCI 有效性的证据。

    阅读价值：值得核对 Prompt 模板扩展短事件文本与 SPO、EventMLM 的各自贡献，以判断性能提升来自长度分布匹配还是事件结构建模；其 EEG/BCI 适用性尚未验证。

  2. OpenReview · State space models77

    用于长视频理解的选择性结构化状态空间模型

    基于摘要分析。本文研究长视频中复杂时空依赖的高效建模，提出 Selective S4（S5），通过自适应筛选信息量较高的图像 token 减少计算负担，并引入 long-short masked contrastive learning（LSMCL），增强 token 筛选的鲁棒性与长时程上下文建模能力。 核心机制：作者认为，尽管 Structured State-Space Sequence（S4）具有线性复杂度，但对所有图像 token 同等处理会影响效率与准确率。S5 使用轻量掩码生成器选择 token，并由动量更新的 S4 模型提供引导，避免依赖稠密自注意力计算进行筛选。针对信息性 token 可能被误删的问题，LSMCL 使模型利用较短输入视频预测更长的时间上下文。具体掩码生成方式、对比目标、训练监督及推理流程尚未验证。 结果：在 LVU、COIN 和 Breakfast 三个长视频理解数据集的比较实验中，作者报告，相较此前的 S4 模型，Accuracy 提升最高达原文所述的 9.6%，内存占用降低 23%。摘要未明确 9.6% 是相对增幅还是百分点差，也未给出这些收益对应的具体任务、划分与配置，因此不能视为所有数据集均取得同等收益；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应问题是长时间序列中冗余片段的处理，但原方法依赖视频图像 token 与长短时间上下文，不等于已验证的 BCI 方法。可考虑复用状态空间骨干、筛选引导和长短对比思路，需重新定义 EEG 时间窗或通道 token，并核对监督需求。低信噪比可能使筛选器偏向伪迹，短暂判别信号可能被误删，被试与通道差异及小数据也可能降低筛选稳定性。一个可证伪的小实验是在固定 Cross-subject 划分与相同训练预算下，对比 S4、加入筛选的 S4 及再加入 LSMCL 的版本，同时记录任务指标、内存占用与保留比例。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其以动量更新的 S4 引导 token 筛选、并用长短掩码对比学习缓解误删的方法机制；作者报告了长视频任务中的准确率与内存收益，但其 EEG 迁移价值尚未验证。

  3. OpenReview · Representation learning72

    利用 Masked Image Modeling 改进有监督表征学习

    该研究针对有标签监督下的视觉表征学习，在图像分类训练中加入 Masked Image Modeling（MIM，掩码图像建模）辅助任务，以改善下游表征质量。基于摘要分析，研究对象是计算机视觉，而非 EEG 或 BCI。 方法以 vision transformer 图像编码器为基础，保留原有分类任务，并在编码器之上增加浅层 transformer 解码器，从掩码图像输入重建图像 token。作者报告，该设计仅需较小的架构改动，且不增加推理开销。摘要未提供分类与重建任务的损失权重、掩码策略、重建目标细节或训练成本，相关实现条件尚未验证。 作者报告，在 ImageNet-1k 验证集上，ViT-B/14 的 Accuracy 为 81.72%，优于其基线；在同一数据集的 K-Nearest-Neighbor 图像检索评估中也优于基线。作者还报告该方案可改善分类、图像检索和语义分割的表征质量，并可扩展至更大的模型和数据集。具体基线配置、数据划分细节、消融及统计信息尚未验证。摘要表示将发布代码与检查点，不能据此确认已发布。 平台推测（待验证）：可检验的迁移假设是，在有标签 EEG 任务中加入掩码重建辅助监督，可能缓解仅依赖分类标签时表征学习受限的问题。可复用的是编码器、分类任务与辅助解码器联合训练的框架；需改造图像 token、掩码单元与重建目标，使其对应 EEG 的时间片段及通道结构。原方法依赖图像 token 的结构及标签监督，其所需数据规模尚未验证；EEG 低信噪比、被试差异、通道配置变化和小样本可能使重建任务偏向噪声或被试特征，而非任务信息。 一个小规模可证伪实验是：固定同一 EEG 数据集的 Cross-subject 划分、编码器和训练预算，对照仅分类训练与分类加掩码重建训练，比较相同分类指标及跨随机种子稳定性，并检查辅助任务权重的影响。此为迁移验证建议，不是原论文结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究提供了将 Masked Image Modeling 作为辅助任务融入有监督视觉表征学习的明确机制，值得核对其下游收益与训练代价，但对 EEG 表征学习的适用性尚未验证。

  4. OpenReview · Representation learning75

    DinoSR：用于自监督语音表征学习的自蒸馏与在线聚类

    DinoSR 研究自监督语音表征学习，将掩码语言建模、自蒸馏与在线聚类结合，以自动发现的离散语音单元指导表征学习。基于摘要分析，未取得论文全文。 机制上，教师网络先从输入音频中提取上下文嵌入，在线聚类系统再将嵌入组织为机器发现的音素单元集合，最终以离散化 token 指导学生网络。作者认为三种机制具有互补性；摘要未说明掩码位置、教师更新方式、聚类更新规则、具体损失或训练规模，不宜据此补全实现。 作者报告，DinoSR 在若干下游任务中超过此前最先进方法，并分析了模型及所学离散单元。摘要未列出具体任务、数据集、数据划分、基线和指标，因此尚不能判断收益大小及适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，以教师上下文表征的在线聚类产生离散监督，可能为缺少标注的 EEG 预训练提供学习目标。可复用的是教师—聚类—学生框架，需改造的是 EEG 输入编码、时间片段划分及通道处理。原方法依赖音频序列中可聚类的语音结构；EEG 不必具有类似音素的稳定离散结构，低信噪比、被试差异、通道布局变化和小数据规模可能使聚类优先捕获噪声或被试身份。一个可检验的小实验是在固定数据划分和下游评估协议下，对比加入与不加入在线聚类监督的 EEG 自监督模型，检验跨被试迁移是否改善，并检查离散单元与被试身份的关联。该假设不代表已证实的 BCI 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其以教师上下文表征、在线聚类和离散单元监督连接自蒸馏与掩码建模的机制，但摘要未提供任务与指标，性能优势及 EEG 迁移价值尚待核对。

  5. OpenReview · Representation learning73

    融合时间规律与出行语义的自监督轨迹表征学习

    基于摘要分析。本文研究交通轨迹表征学习，提出 START，将原始轨迹转换为可用于轨迹分类、聚类和相似度计算的低维向量，重点利用一般序列建模容易忽略的时间规律与出行语义。 START 采用两阶段框架：首先，Trajectory Pattern-Enhanced Graph Attention Network（TPE-GAT）将路网特征和出行语义编码为路段表征；随后，Time-Aware Trajectory Encoder（TAT-Enc）聚合同一轨迹中的路段表征，并融入时间规律。训练包含 span-masked trajectory recovery 与 trajectory contrastive learning 两项自监督任务，用于引入轨迹的时空特征。摘要未披露具体掩码策略、对比样本构造或损失形式。 作者报告，在两个大规模真实数据集、三项下游任务上验证了方法有效性，并展示了跨城市适配异质轨迹数据的能力。摘要未给出数据集名称、数据规模、划分方式、对照基线或具体指标，因此无法判断提升幅度及跨城市迁移的具体条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 借鉴的机制是将结构先验编码与时间序列表征学习分开，再结合片段掩码恢复和对比学习。但原方法依赖路网拓扑、路段序列与出行语义，不能直接等同于 EEG 的通道结构和脑状态。若迁移，需重新定义通道图、时间片段表示与语义监督，保留两阶段编码及自监督任务的基本思路。低信噪比、跨被试通道关系变化和小数据条件可能使图先验或对比样本失效。一个可检验的假设是：在固定 Cross-subject EEG 划分、仅用训练被试进行自监督预训练时，加入通道图先验能否优于同等训练条件下的纯时间编码器；需以消融区分图结构和自监督任务的贡献。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注的是 START 将路网图表征、时间规律编码与两类自监督任务结合的机制，以及作者报告的跨城市迁移能力；其对 EEG 的可复用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning71

    ST-GSP：用于城市流量预测的时空全局语义表示学习

    基于摘要分析。该研究面向城市流量预测，提出 ST-GSP，以改善时间相对位置信息学习、多尺度时间依赖关联建模，以及仅预测序列末端流量图造成的时序特征利用不足。研究对象是城市流量图序列，而非 EEG 或 BCI 信号。 方法包含三个核心环节：语义流量编码器提取时间相对位置信息，同时捕捉每个时间间隔的空间依赖与外部因素；多头自注意力联合建模不同尺度时间依赖之间的关联，以学习全局时间依赖；受自监督学习启发，遮蔽序列中的一张城市流量图并预测该图，对深度双向模型进行预训练，使其从上下文学习表示。摘要未说明具体损失、遮蔽采样方式及预训练与下游预测的衔接细节。 作者报告，在涉及北京和纽约两类城市流量的实验中，ST-GSP 优于所比较的当时先进方法；但摘要未给出数据集名称、划分、评价指标、具体数值及基线配置，无法量化优势或判断各模块贡献。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 的跨时间尺度依赖也可从相对位置编码与上下文重建中受益，可复用时间注意力和掩码预训练思路；但原方法依赖具有空间组织的流量图序列及城市外部因素，迁移时需改造为适配电极布局的信号编码与位置表示，并重新定义预测目标。低信噪比、通道布局差异、跨被试非平稳性和小数据可能使重建目标偏向噪声而非任务相关信息。一个可证伪的小实验是在同一 EEG 数据划分与训练预算下，对比无预训练和时间片段掩码预训练，再分别移除相对位置表示与多尺度依赖建模，观察下游任务是否稳定受益；须核对双向上下文是否符合目标任务的在线可用性。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其结合时间相对位置信息、多尺度时间依赖与掩码预训练的序列表示思路，但摘要仅提供城市流量预测证据，尚不能据此判断 EEG/BCI 适用性。

  2. OpenReview · Representation learning75

    融合时间规律与出行语义的自监督轨迹表征学习

    基于摘要分析。本文研究地理出行轨迹的表征学习，提出 START，将路网及出行语义、轨迹时间规律纳入自监督训练，把原始轨迹转换为可用于轨迹分类、聚类和相似度计算的低维向量；研究对象并非 EEG 或 BCI。 方法分为两个阶段：Trajectory Pattern-Enhanced Graph Attention Network（TPE-GAT）将路网特征与出行语义编码为路段表征；Time-Aware Trajectory Encoder（TAT-Enc）进一步聚合同一轨迹中的路段表征，并融入时间规律。训练采用 span-masked trajectory recovery 与 trajectory contrastive learning 两项自监督任务。相较于将轨迹视为普通序列的方法，其核心思路是显式利用领域结构与时空特征；具体掩码策略、对比样本构造、损失形式及时间信息注入方式尚未验证。 作者报告，在两个大规模真实世界数据集、三个下游任务上验证了方法有效性，并展示了跨城市适应异构轨迹数据的能力。摘要未提供数据集名称、划分方式、基线、指标或具体数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：结构化编码、时间感知聚合与两类自监督任务的组合，可作为 EEG 表征学习的机制参考，但原方法依赖路网、路段序列和出行语义，不能直接等同于电极拓扑或脑活动语义。迁移时需重新定义通道或脑区关系、时间片段及增强方式；低信噪比、跨被试差异、通道缺失和小数据均可能使结构先验或对比目标失效。一个可检验的小实验是在固定 EEG 数据划分与训练预算下，比较普通时间序列编码器及加入通道结构、时间信息的变体，采用一致的跨被试协议评估收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注 START 如何将路网结构、出行语义与时间规律共同用于自监督表征学习，但其跨城市迁移的具体协议与收益仍需全文核对，不能据此推断 EEG 迁移效果。

  3. OpenReview · Representation learning70

    基于对抗替换的食品知识表示学习

    基于摘要分析。本文研究食品计算中的知识图谱表示学习，以及如何利用学得的表示生成符合上下文的配方与食材替换。核心贡献是以预训练语言模型编码食品知识图谱中的实体和关系，并结合对抗样本生成策略支持不同替换需求。 表示学习包含两项训练任务：根据知识图谱三元组预测被掩码的实体，以及预测三元组的合理性。该设计旨在强调食品知识图谱中的上下文信息；摘要未提供预训练语言模型名称、实体与关系的具体编码方式、损失函数形式及训练配置。 在应用层面，作者指出既有食品替换工作主要关注语义相似性，容易忽略上下文，而且替换效果的评价受到验证集不足和使用目的主观性的影响。为此，论文在学得的知识图谱嵌入上提出多种对抗样本生成策略，分别支持上下文感知的配方替换、食材替换，以及面向不同用户需求的通用食材替换。此处的对抗策略服务于替换候选生成，不能据摘要推定其属于模型安全攻击或鲁棒性防御。 作者报告，在一个大规模食品知识图谱上的广泛评估验证了表示学习方法及后续对抗策略的有效性与效率；但摘要没有给出图谱名称、规模数值、数据划分、对照基线或具体指标，因此无法量化性能提升。替换合理性的验证标准、上下文约束、消融及统计信息尚未验证。 研究对象是食品知识及饮食替换，而非神经信号建模；材料未建立与 EEG/BCI 瓶颈的具体对应关系，因此不据此提出迁移效果或复现实验建议。

    阅读价值：值得关注其将上下文感知的知识图谱表示与对抗样本生成结合，用于配方及食材替换的机制，但摘要不足以判断替换质量的验证强度，也不支持其对 EEG/BCI 的适用性。

1月1日周三
  1. OpenReview · Representation learning75

    面向强化学习的掩码对比表征学习

    基于摘要分析。该研究针对像素输入强化学习（RL）的样本效率问题，在 CURL 的单帧表征学习基础上，引入相邻视频帧的上下文信息，通过掩码特征重建与对比学习训练编码器。其主要研究对象是游戏与控制环境中的视觉 RL，而非 EEG 或 BCI。 核心机制：在 CURL 的 CNN 编码器与策略网络之外，增加辅助 Transformer。训练时随机遮蔽若干帧的特征，利用上下文帧重建被遮蔽特征；CNN 与 Transformer 联合接受对比学习训练，使重建特征接近对应真实特征、远离其他特征。摘要未给出具体损失公式、负样本构造及掩码比例。推理时仅保留 CNN 编码器与策略网络，移除 Transformer，因此辅助时序模块不参与动作选择。 作者报告，在 DMControl suite 的 16 个环境中有 14 个、Atari 2600 Games 的 26 个环境中有 21 个相对 CURL 获得改进。这些数字表示出现改进的环境数量，不代表平均收益幅度；具体交互预算、评估指标、随机种子、统计显著性及消融信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移机制是利用连续观测的时间相关性，通过上下文预测学习表征；假设 EEG 相邻时间窗包含稳定且与任务有关的动态结构，可探索将帧级 CNN 替换为 EEG 编码器，在训练期沿用辅助 Transformer 与掩码对比目标。该机制依赖有序连续数据及足够上下文，不能直接等同于独立试次分类。低信噪比、跨被试差异、通道不一致和小数据可能使模型主要学习伪迹或局部平滑性。一个可检验的小实验是在同一 EEG 数据划分、编码器和微调预算下，比较独立时间窗对比学习与时序掩码对比学习，并以打乱上下文顺序作为机制对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过训练期时序掩码对比学习改进像素输入 RL，并在推理时移除辅助 Transformer，值得核对其相对 CURL 的样本效率收益及额外训练成本，但对 EEG 的适用性尚未验证。