跳到正文

算法、任务与模态

Masked Modeling 最新动态

Masked Modeling 研究索引；按可核对的标签归档，不以热度评价质量。

164 条精选近 30 天 35 条共收录 195 条

更新

精选归档 · 第 9 页

1月1日周日第 161–164 条
  1. OpenReview · Representation learning72

    利用 Masked Image Modeling 改进有监督表征学习

    该研究针对有标签监督下的视觉表征学习，在图像分类训练中加入 Masked Image Modeling（MIM，掩码图像建模）辅助任务，以改善下游表征质量。基于摘要分析，研究对象是计算机视觉，而非 EEG 或 BCI。 方法以 vision transformer 图像编码器为基础，保留原有分类任务，并在编码器之上增加浅层 transformer 解码器，从掩码图像输入重建图像 token。作者报告，该设计仅需较小的架构改动，且不增加推理开销。摘要未提供分类与重建任务的损失权重、掩码策略、重建目标细节或训练成本，相关实现条件尚未验证。 作者报告，在 ImageNet-1k 验证集上，ViT-B/14 的 Accuracy 为 81.72%，优于其基线；在同一数据集的 K-Nearest-Neighbor 图像检索评估中也优于基线。作者还报告该方案可改善分类、图像检索和语义分割的表征质量，并可扩展至更大的模型和数据集。具体基线配置、数据划分细节、消融及统计信息尚未验证。摘要表示将发布代码与检查点，不能据此确认已发布。 平台推测（待验证）：可检验的迁移假设是，在有标签 EEG 任务中加入掩码重建辅助监督，可能缓解仅依赖分类标签时表征学习受限的问题。可复用的是编码器、分类任务与辅助解码器联合训练的框架；需改造图像 token、掩码单元与重建目标，使其对应 EEG 的时间片段及通道结构。原方法依赖图像 token 的结构及标签监督，其所需数据规模尚未验证；EEG 低信噪比、被试差异、通道配置变化和小样本可能使重建任务偏向噪声或被试特征，而非任务信息。 一个小规模可证伪实验是：固定同一 EEG 数据集的 Cross-subject 划分、编码器和训练预算，对照仅分类训练与分类加掩码重建训练，比较相同分类指标及跨随机种子稳定性，并检查辅助任务权重的影响。此为迁移验证建议，不是原论文结果；已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究提供了将 Masked Image Modeling 作为辅助任务融入有监督视觉表征学习的明确机制，值得核对其下游收益与训练代价，但对 EEG 表征学习的适用性尚未验证。

  2. OpenReview · Representation learning73

    融合时间规律与出行语义的自监督轨迹表征学习

    基于摘要分析。本文研究交通轨迹表征学习，提出 START，将原始轨迹转换为可用于轨迹分类、聚类和相似度计算的低维向量，重点利用一般序列建模容易忽略的时间规律与出行语义。 START 采用两阶段框架：首先，Trajectory Pattern-Enhanced Graph Attention Network（TPE-GAT）将路网特征和出行语义编码为路段表征；随后，Time-Aware Trajectory Encoder（TAT-Enc）聚合同一轨迹中的路段表征，并融入时间规律。训练包含 span-masked trajectory recovery 与 trajectory contrastive learning 两项自监督任务，用于引入轨迹的时空特征。摘要未披露具体掩码策略、对比样本构造或损失形式。 作者报告，在两个大规模真实数据集、三项下游任务上验证了方法有效性，并展示了跨城市适配异质轨迹数据的能力。摘要未给出数据集名称、数据规模、划分方式、对照基线或具体指标，因此无法判断提升幅度及跨城市迁移的具体条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 借鉴的机制是将结构先验编码与时间序列表征学习分开，再结合片段掩码恢复和对比学习。但原方法依赖路网拓扑、路段序列与出行语义，不能直接等同于 EEG 的通道结构和脑状态。若迁移，需重新定义通道图、时间片段表示与语义监督，保留两阶段编码及自监督任务的基本思路。低信噪比、跨被试通道关系变化和小数据条件可能使图先验或对比样本失效。一个可检验的假设是：在固定 Cross-subject EEG 划分、仅用训练被试进行自监督预训练时，加入通道图先验能否优于同等训练条件下的纯时间编码器；需以消融区分图结构和自监督任务的贡献。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注的是 START 将路网图表征、时间规律编码与两类自监督任务结合的机制，以及作者报告的跨城市迁移能力；其对 EEG 的可复用性尚未验证。

1月1日周六
  1. OpenReview · Representation learning75

    融合时间规律与出行语义的自监督轨迹表征学习

    基于摘要分析。本文研究地理出行轨迹的表征学习，提出 START，将路网及出行语义、轨迹时间规律纳入自监督训练，把原始轨迹转换为可用于轨迹分类、聚类和相似度计算的低维向量；研究对象并非 EEG 或 BCI。 方法分为两个阶段：Trajectory Pattern-Enhanced Graph Attention Network（TPE-GAT）将路网特征与出行语义编码为路段表征；Time-Aware Trajectory Encoder（TAT-Enc）进一步聚合同一轨迹中的路段表征，并融入时间规律。训练采用 span-masked trajectory recovery 与 trajectory contrastive learning 两项自监督任务。相较于将轨迹视为普通序列的方法，其核心思路是显式利用领域结构与时空特征；具体掩码策略、对比样本构造、损失形式及时间信息注入方式尚未验证。 作者报告，在两个大规模真实世界数据集、三个下游任务上验证了方法有效性，并展示了跨城市适应异构轨迹数据的能力。摘要未提供数据集名称、划分方式、基线、指标或具体数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：结构化编码、时间感知聚合与两类自监督任务的组合，可作为 EEG 表征学习的机制参考，但原方法依赖路网、路段序列和出行语义，不能直接等同于电极拓扑或脑活动语义。迁移时需重新定义通道或脑区关系、时间片段及增强方式；低信噪比、跨被试差异、通道缺失和小数据均可能使结构先验或对比目标失效。一个可检验的小实验是在固定 EEG 数据划分与训练预算下，比较普通时间序列编码器及加入通道结构、时间信息的变体，采用一致的跨被试协议评估收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注 START 如何将路网结构、出行语义与时间规律共同用于自监督表征学习，但其跨城市迁移的具体协议与收益仍需全文核对，不能据此推断 EEG 迁移效果。

1月1日周三
  1. OpenReview · Representation learning75

    面向强化学习的掩码对比表征学习

    基于摘要分析。该研究针对像素输入强化学习（RL）的样本效率问题，在 CURL 的单帧表征学习基础上，引入相邻视频帧的上下文信息，通过掩码特征重建与对比学习训练编码器。其主要研究对象是游戏与控制环境中的视觉 RL，而非 EEG 或 BCI。 核心机制：在 CURL 的 CNN 编码器与策略网络之外，增加辅助 Transformer。训练时随机遮蔽若干帧的特征，利用上下文帧重建被遮蔽特征；CNN 与 Transformer 联合接受对比学习训练，使重建特征接近对应真实特征、远离其他特征。摘要未给出具体损失公式、负样本构造及掩码比例。推理时仅保留 CNN 编码器与策略网络，移除 Transformer，因此辅助时序模块不参与动作选择。 作者报告，在 DMControl suite 的 16 个环境中有 14 个、Atari 2600 Games 的 26 个环境中有 21 个相对 CURL 获得改进。这些数字表示出现改进的环境数量，不代表平均收益幅度；具体交互预算、评估指标、随机种子、统计显著性及消融信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核对。 平台推测（待验证）：其可迁移机制是利用连续观测的时间相关性，通过上下文预测学习表征；假设 EEG 相邻时间窗包含稳定且与任务有关的动态结构，可探索将帧级 CNN 替换为 EEG 编码器，在训练期沿用辅助 Transformer 与掩码对比目标。该机制依赖有序连续数据及足够上下文，不能直接等同于独立试次分类。低信噪比、跨被试差异、通道不一致和小数据可能使模型主要学习伪迹或局部平滑性。一个可检验的小实验是在同一 EEG 数据划分、编码器和微调预算下，比较独立时间窗对比学习与时序掩码对比学习，并以打乱上下文顺序作为机制对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过训练期时序掩码对比学习改进像素输入 RL，并在推理时移除辅助 Transformer，值得核对其相对 CURL 的样本效率收益及额外训练成本，但对 EEG 的适用性尚未验证。