跳到正文

算法、任务与模态

Predictive Learning 最新动态

Predictive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

31 条精选近 30 天 27 条共收录 34 条

更新

精选归档 · 第 2 页

10月3日周六第 21–31 条
  1. arXiv · 多模态与生成机制78

    ALoDLM：自适应循环扩散语言模型

    基于摘要分析。该研究针对扩散语言模型（DLMs）并行生成速度快、但生成质量落后于规模相近自回归（AR）模型的问题，提出 ALoDLM，以 token 自适应潜在递归替代统一计算深度。作者将质量差距归因于计算量与预测难度不匹配：部分未知 token 容易预测，另一些则需要更多计算，而既有 DLMs 在每个去噪步骤中对未知位置采用统一深度。 在每个去噪步骤，ALoDLM 迭代细化潜在表示，并按 token 难度分配计算。已可确定的 token 作为离散上下文反馈，尚未确定的 token 则保留潜在状态，继续通过递归计算细化。为联合学习 token 预测与计算分配，作者将逐 token 的计算调度建模为潜变量，并推导条件负证据下界（NELBO）。具体难度判定、提交规则、递归终止条件及损失实现尚未验证。 作者报告，在 1.7B 与 8B 参数规模、涵盖十一项基准的评估中，ALoDLM 在两种规模下的平均基准分数均超过所有受评估 DLMs 及对应 AR 基线；在优化推理引擎下保留快速并行解码，并在受评估模型中取得较好的质量—效率权衡。摘要未提供基准名称、具体分数、数据划分、推理预算或速度测量条件，不能据此量化提升或外推到其他任务。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 掩码建模中不同时间片或通道的重建难度存在稳定差异，按位置分配递归计算可能减少对容易位置的重复计算。原方法依赖部分可观测的离散 token 序列与迭代去噪；迁移时可考虑复用潜在递归与计算调度，但需改造连续信号预测目标、位置表示及离散提交机制。低信噪比可能使噪声被误判为高难度，被试和通道差异也可能破坏调度泛化，小数据条件下联合学习调度存在不稳定风险。可在固定 EEG 数据划分、相同骨干与总计算预算下，对比统一递归和自适应递归的掩码重建误差及下游解码表现，检验额外计算是否真正改善有效信号恢复。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得关注其以 token 级潜在递归联合学习预测与计算分配的机制，以及作者报告的质量—效率权衡；具体收益仍需结合基准协议、计算预算与消融核对。

  2. arXiv · 表征与预训练76

    AVL-JEPA：防止联合嵌入预测架构世界模型中的因果动力学信息坍缩

    基于摘要分析。该研究关注 JEPA 世界模型虽能保留高维视觉信息，却可能丢失动作物理后果信息的问题，作者将其称为“因果动力学信息坍缩”，并提出 action-grounded vision-invariance latent（AVL），旨在保留与规划相关的动力学信息，同时增强对视觉扰动的鲁棒性。 机制上，JEPA 预测未来潜在表征而不重建观测。AVL 首先将已执行动作作为辅助动力学锚点，鼓励表征保留动力学信息；随后通过视觉不变性路径对齐扰动条件与干净条件下的潜在预测。其关键区别是：视觉不变性不应以丢弃动作后果信息为代价。具体损失形式、扰动生成方式、训练流程及推理条件尚未验证。 作者报告，在 TwoRoom、PushT、OGBench Cube 和 Reacher 四个机器人控制任务上，AVL 在视觉扰动下显著改善成功率，同时保持干净环境性能；摘要未提供具体数值、对照基线或数据划分。作者还评估了物理后果对齐、干净与含噪条件下的动力学一致性，以及定向擦除转移子空间的因果效应，并据此认为 AVL 保留了与规划具有因果关联的动力学信息。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移启发是避免鲁棒性约束同时抹去任务相关状态转移信息，但机器人动作与物理后果之间的结构不能直接等同于 EEG 中的任务标签与脑活动。若研究含明确动作事件和连续 EEG 的交互任务，可考虑复用潜在预测及扰动一致性思路，需改造视觉编码和扰动模型，并确认动作锚点在实际使用时是否可得。低信噪比、跨被试差异、通道变化和小数据可能使模型依赖动作标签捷径，而非学习有效动力学。一个可证伪的小实验是在固定划分与编码器下，对比潜在预测、加入动作锚点、再加入扰动一致性三个配置，分别检查干净及通道扰动条件下的任务表现与状态转移预测能力；这不构成已验证的 EEG 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以动作锚定和视觉不变性约束区分视觉表征保留与规划相关动力学信息保留的机制，尤其是针对转移子空间擦除的干预评估；具体收益及其向 EEG 的适用性尚未验证。

  3. arXiv · 表征与预训练72

    RATE：面向接触密集型机器人操作的风险感知触觉编码

    基于摘要分析。该研究针对接触密集型机器人操作中相似触觉观测可能对应不同任务风险的问题，提出 Risk-Aware Tactile Encoding（RATE），学习包含任务条件交互风险的触觉表征。其目标是帮助下游策略区分传感器噪声、任务所需的正常变化与正在出现的不良接触，避免对无害变化过度纠正或对危险接触响应过迟。 机制上，RATE 通过历史条件预测捕获交互上下文，再用告警监督将上下文与任务条件风险关联；得到的风险感知表征通过轻量残差适配器补充常规触觉特征。这里的关键是将时间上下文与风险监督结合，而不是仅依赖当前触觉观测。摘要未说明预测目标、告警标签生成方式、损失形式及适配器结构，这些内容尚未验证。 作者报告，在仿真与真实环境实验中，RATE 提高了任务成功率，受控消融支持告警引导学习与预测式时序建模的互补收益。摘要未提供任务名称、数据规模、划分、对照基线或具体成功率，因此不能量化提升或判断跨任务泛化；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，EEG 中表面相似的变化也可能具有不同任务意义，时间上下文与任务条件监督或有助于区分伪迹、正常波动及需响应的状态变化。可考虑复用历史条件预测与残差适配思路，但需重新定义 EEG 的任务风险与告警标签，适配通道结构；低信噪比、跨被试差异及小样本监督可能使模型学到个体或伪迹线索。一个可检验的小实验是在固定 EEG 任务与被试划分下，对比常规表征、仅历史预测、仅告警监督及二者结合，检验收益是否来自两类信息的互补性。该假设不代表已证实的 EEG 或 BCI 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注 RATE 如何用历史条件预测与告警监督区分表面相似、风险不同的触觉变化；作者报告的模块互补性为复现提供了明确核对点，但具体实验协议与收益幅度尚未验证。

9月19日周六
  1. OpenReview · EEG76

    TopoJEPA：面向 EEG 基础模型的拓扑锚定联合嵌入预测

    基于摘要分析。TopoJEPA 针对自监督 EEG 基础模型中重建目标可能过度强调电极级信号细节的问题，提出先构建符合 EEG 时空组织的目标表征空间，再在该空间内学习预测动态，以获得更具迁移性的表征。 核心机制遵循 Grounding Before Prediction。Topological Target Grounding（TTG）将异构电极配置映射到统一的层级拓扑，并通过重建学习半球级与区域级表征。Reconstruction-Specific Branch 将重建相关的残差信息隔离到辅助路径，旨在保持重建保真度的同时，减少这些细节对目标空间的主导作用。在 TTG 建立的表征基础上，Topology-Grounded Autoregressive Prediction（TGAP）在联合嵌入空间中建模时空演化。其区别于直接重建原始信号或预测无约束潜在表征的关键，是先约束预测目标的组织结构，而不是完全取消重建学习。 作者报告，在覆盖六类代表性 EEG 解码任务的十个数据集上，TopoJEPA 相较现有自监督方法及 EEG 基础模型基线取得了有竞争力的表现，并在多个任务的线性探测中表现突出。摘要未提供数据集名称、被试规模、具体指标、分数及被试内、跨被试、跨会话或跨数据集划分，因此不能据此量化收益或判断不同协议下的泛化能力。 复现时应重点核对异构电极到层级拓扑的映射规则、TTG 与 TGAP 的训练衔接、辅助分支如何分离重建残差信息，以及线性探测的冻结范围和数据划分。拓扑约束与辅助分支的独立贡献、实验协议、消融及统计信息尚未验证。摘要提供了匿名代码地址，但代码完整性、训练配置及运行条件尚未核验。

    阅读价值：值得核对其拓扑约束目标空间与重建专用分支是否确实提升 EEG 表征迁移性，尤其是作者报告的多任务线性探测表现，但具体评估协议与消融证据尚未验证。

9月18日周五
  1. OpenReview · EEG75

    vNeuro：EEG 视觉模型的基础

    基于摘要分析。该研究探讨自然视觉数据上学到的表征能否复用于 EEG，以减少从零预训练大型 EEG 专用模型的需求。vNeuro 通过轻量可训练接口，将多通道 EEG 时频表征转换为保留电极几何关系的视觉 token，适配冻结的视频预训练 V-JEPA 2.1 编码器。 机制上，接口在无标签 EEG 上通过潜在表征预测与分布正则化进行自监督训练，视觉主干始终固定；下游训练只优化适配器和分类头。其核心区别在于复用预训练视觉主干，而非从头学习 EEG 主干。时频变换、token 映射、预测目标和正则化的具体形式，以及接口规模与训练数据量，摘要未提供，尚未验证。 作者报告：采用 ViT-B 主干时，vNeuro 在 TUAB 异常检测上的 Balanced Accuracy 为 81.40%，在 TUEV 事件分类上为 68.35%；采用 ViT-G 时，TUEV 的 Balanced Accuracy 为 68.73%。摘要未说明被试内、跨被试或其他划分协议，因此这些结果不能直接与不同协议下的分数比较。作者称其表现可与使用数万小时 EEG 预训练的基础模型竞争，但具体对照模型、预处理与训练预算的可比性尚需核对。 作者报告消融和表征分析支持 EEG 到视觉 token 的映射及带正则化的自监督适配均对性能有贡献；具体效应幅度、实验协议与统计信息尚未验证。复现重点包括电极布局与通道处理、时频输入构造、V-JEPA 2.1 权重配置、适配训练语料及下游数据划分。平台推测（待验证）：固定视觉主干可能减少需要更新的参数，但不能据此认定整体训练成本更低，或已具备跨被试、跨设备泛化能力。

    阅读价值：值得核对其电极几何保持的视觉 token 映射与冻结 V-JEPA 2.1 的自监督适配机制；作者报告其在 TUAB、TUEV 上具有竞争力，但评估划分与计算成本尚需全文验证。

9月17日周四
  1. OpenReview · Representation learning71

    Representax：基于 JAX 的可扩展表征学习

    基于摘要分析。该工作面向跨模态表征学习中训练与评估工具分散、研究实现难以扩展的问题，提出开源 JAX 框架 Representax，将多类表征学习方法与共享训练基础设施整合，支持从方法探索到规模化训练。 框架统一了可扩展的训练和评估任务，覆盖 dense retrieval、late-interaction retrieval、多模态对比学习、reward modeling 和 joint-embedding predictive learning。共享基础设施支持模型适配、多模态数据处理、内存高效优化，以及 GPU 和 TPU 上的分布式执行。摘要体现的贡献主要是研究软件与任务整合，而非明确提出新的表征学习损失；具体模型结构、损失实现、优化策略及接口约束尚未验证。 作者报告，通过与既有框架比较训练性能、训练并评估检索和多模态模型，以及测量多 GPU strong scaling，观察到具有竞争力的吞吐量、留出检索任务上的改进和高效扩展。摘要未提供数据集、划分、基线名称、硬件配置或数值，因此不能量化优势，也不能据此推断跨数据集泛化；实验协议、消融及统计信息尚未验证。复现需进一步核对源码获取方式、依赖版本、训练配置、数据处理流程和计时口径。 平台推测（待验证）：若其多模态对比学习与 joint-embedding predictive learning 接口允许接入 EEG 时序编码器，该框架可能用于组织 EEG 自监督预训练实验，但这只是工程复用假设，不是已证实的 BCI 效果。需改造输入处理、通道适配、时间窗口与任务评估；对比学习还依赖合理的配对或增强设计。低信噪比、通道差异、被试差异和小数据可能削弱收益。一个可检验的小实验是在固定数据、跨被试划分、编码器与训练预算下，对照原实现和 Representax 实现，核对下游指标、吞吐量与峰值显存。已有 EEG 相关工作尚未检索确认。

    阅读价值：Representax 将多类表征学习方法与 JAX 分布式训练基础设施统一，值得核对其任务扩展接口、性能对照与多 GPU 扩展协议，以评估能否降低研究实现成本；其 EEG/BCI 适用性尚未验证。

9月10日周四
  1. OpenReview · Representation learning74

    VINO：利用 Volume Transformers 重新审视 3D 表征学习

    基于摘要分析。该研究针对 3D 场景自监督表征学习尚未取得与 2D 相当成效的问题，提出 VINO：以 Volume Transformer 替换常用的分层 PTv3 骨干，并重新设计跨视图匹配、掩码内容预测及 2D-to-3D 知识蒸馏，以无标签方式学习 3D 场景语义表征。 机制上，Volume Transformer 被描述为面向 3D 场景的 ViT-like 架构。跨视图匹配采用教师—学生角色分工：教师提供干净、一致的目标，学生学习对更强扰动的不变性。掩码预测则限制学生只能利用可见上下文推断缺失表征，不允许其访问被掩码的几何信息。2D-to-3D 蒸馏不再直接回归依赖视角的图像特征，而改用视角更一致的监督；摘要未说明该监督的具体构造，也未给出损失形式、掩码策略或训练规模。 作者报告，VINO 在室内与室外基准上的稠密线性探测表现显著改善，并能较好迁移到域外设置。摘要未提供数据集名称、划分、对照基线及具体指标，故无法量化提升或比较不同评估协议；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其教师提供稳定目标、学生承受更强扰动，以及仅从可见上下文预测掩码表征的思路，可能用于 EEG 自监督学习中检验噪声鲁棒性与上下文利用能力。但原方法依赖 3D 几何及跨视图对应，不能直接视为 EEG 方法：可考虑复用目标分工与掩码访问约束，骨干、位置编码及扰动需适配 EEG 时间—通道结构，2D-to-3D 蒸馏也缺少直接对应。低信噪比、跨被试差异、通道缺失及小数据可能使教师目标不稳定，过强扰动还可能破坏任务相关信号。一个可证伪的小实验是在固定 EEG 数据划分和训练预算下，仅比较常规教师—学生训练与上述目标分工，并在相同 Cross-subject 协议下评估；已有相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其教师—学生目标分工、掩码几何隔离与跨模态监督设计能否分别改善表征学习；摘要未提供定量结果，各项改动的独立贡献尚未验证。

9月19日周五
  1. OpenReview · Representation learning72

    采用空间性保持表征的 EEG 信号自监督学习

    基于摘要分析。该研究针对 EEG 自监督学习中输入电极与表征之间的一一对应关系未被充分保留、可能导致空间信息丢失的问题，提出 Spatiality Preserving Representation（SPR）Learning。其核心贡献是通过 coherence 伪标签预测任务学习空间关系，将 EEG 空间组织信息纳入自监督表征学习。 机制方面，作者将 SPR 与依赖重建或采用独立编码器进行时间预测的方法作对照，主张 coherence 伪标签能够引导模型理解脑信号的拓扑组织。摘要未说明 coherence 的计算方式、伪标签构造、预测对象、损失函数，以及电极—表征对应关系的具体保证机制；这些是判断方法能否真正保留空间信息、而非仅学习相关性模式的关键核对点。 结果方面，作者报告在不同数据集上的微调提升分别为 4.7%、9.7%、1.6% 和 15.6%，并称优于现有先进方法。但摘要未提供数据集名称、下游任务、指标、对照方法或被试内／跨被试等划分协议，也未说明这些百分数是相对提升还是百分点差值，因此不能据此比较不同数据集上的效果。实验协议、消融及统计信息尚未验证。 作者认为所学表征能够捕捉 EEG 的时空动态，并为功能连接分析与自监督表征学习建立联系；摘要尚不足以确认其脑区关系解释能力。复现时需取得全文中的电极布局与预处理要求、伪标签生成流程、预训练和微调设置，并核对空间信息保留的直接证据及对通道配置变化的适用范围；代码与数据可用性尚未验证。

    阅读价值：值得核对其 coherence 伪标签预测如何保持电极与表征的一一对应关系，以及微调收益是否来自空间信息保留；摘要提供了明确的机制方向，但具体实现与评估协议尚未验证。

1月16日周二
  1. OpenReview · Representation learning81

    面向强化学习的原则性视频表征学习

    基于摘要分析。该研究探讨如何利用视频预训练面向决策的表征，核心目标是恢复底层 MDP 的潜在状态，并从理论上刻画不同噪声条件下的学习难度。研究比较 autoencoding、temporal contrastive learning 与 forward modeling，区分观测中的 iid 噪声，以及具有时间相关性的外生噪声，例如背景中人员或车辆的运动。 理论方面，作者报告：在仅有 iid 噪声的设定下，为 temporal contrastive learning 和 forward modeling 建立了上界，表明这些方法能够学习潜在状态，并支持具有多项式样本复杂度的下游 RL。在同时存在外生噪声的设定下，作者建立下界，说明从视频学习的样本复杂度可能比从带动作标签的轨迹学习呈指数级恶化。该结论针对摘要所述设定，不宜扩展为所有视频预训练方法均无效；定理所需的可辨识性条件、数据生成假设及复杂度依赖项尚未验证。 实验方面，作者报告在两个视觉领域评估了这些表征学习方法，结果与理论发现一致。摘要未提供领域名称、数据规模、划分、对照细节或具体指标；autoencoding 的具体理论结论，以及实验协议、消融及统计信息尚未验证。摘要也未说明实现与复现资源。 平台推测（待验证）：若将视频中的潜在状态与外生干扰结构对应到 EEG，本文可为区分任务相关动态与时间相关干扰提供分析视角，但前提是潜在状态及决策结构的假设适用。可借鉴的是噪声分类与表征目标的比较框架；观测建模和决策接口需针对 EEG 改造。低信噪比、跨被试差异、通道变化及小数据都可能破坏状态可辨识性，不能由视觉领域结论推出 BCI 效果。一个可检验的小实验是在可控潜在状态的多通道模拟信号中，分别加入 iid 与时间相关干扰，比较上述表征方法的状态恢复能力，并在明确记录动作的决策设定中加入带动作标签的轨迹对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 iid 噪声与时间相关外生噪声的理论区分，以理解视频预训练何时支持高效下游 RL、何时相较带动作标签的轨迹面临样本复杂度障碍；具体定理条件尚待全文核对。

  2. OpenReview · Representation learning74

    基于细粒度交互的蛋白质–配体结合表征学习

    基于摘要分析。该研究针对蛋白质–配体结合预测中监督数据有限、模型泛化受限的问题，提出以细粒度交互为核心的自监督表征学习方法。不同于分别预训练蛋白质和配体的思路，作者将预训练表述为：给定结合口袋与配体，预测最终结合复合物结构。 机制上，方法采用基于 Transformer 的交互模块，并设置原子对距离图预测与配体掩码重建两项预训练任务，分别从结构空间和特征空间建模结合交互。摘要未说明距离图的具体覆盖范围、掩码策略、损失形式及任务组合方式，这些实现细节尚未验证。 作者报告，该方法在蛋白质–配体亲和力预测、虚拟筛选和蛋白质–配体对接等任务中表现优于对照方法，但摘要未提供数据集、数据划分、基线名称、指标或数值，因而无法判断优势幅度及泛化边界。实验协议、消融及统计信息尚未验证；复现还需核对预训练数据来源、复合物结构处理、下游训练设置，以及代码和模型权重的可用性。 平台推测（待验证）：可借鉴的是“显式关系预测与掩码重建联合预训练”的机制，而非直接移植分子结合模型。其原始任务依赖结合口袋、配体及原子级结构关系；EEG 中可假设用通道间关系预测辅助掩码信号重建，以应对标注有限时的表征学习问题。可复用交互建模和双任务框架，但需改造输入编码与关系目标，不能将原子距离直接等同于 EEG 功能连接。低信噪比、参考方式、跨被试差异和通道配置变化均可能使关系目标不稳定，小数据下也可能学到伪迹。一个可证伪的小实验是：在固定 Cross-subject 划分和相同预训练数据条件下，对比仅掩码重建与加入关系预测的模型，检验下游性能及通道扰动稳定性是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以原子对距离预测和配体掩码重建联合学习细粒度交互的自监督机制，但摘要中的多任务优势仍需结合完整实验协议核对，向 EEG 的迁移尚未验证。

1月1日周一
  1. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。