跳到正文

算法、任务与模态

Predictive Learning 最新动态

Predictive Learning 研究索引；按可核对的标签归档，不以热度评价质量。

44 条精选近 30 天 36 条共收录 48 条

更新

精选归档 · 第 3 页

1月16日周二第 41–44 条
  1. OpenReview · Representation learning81

    面向强化学习的原则性视频表征学习

    基于摘要分析。该研究探讨如何利用视频预训练面向决策的表征，核心目标是恢复底层 MDP 的潜在状态，并从理论上刻画不同噪声条件下的学习难度。研究比较 autoencoding、temporal contrastive learning 与 forward modeling，区分观测中的 iid 噪声，以及具有时间相关性的外生噪声，例如背景中人员或车辆的运动。 理论方面，作者报告：在仅有 iid 噪声的设定下，为 temporal contrastive learning 和 forward modeling 建立了上界，表明这些方法能够学习潜在状态，并支持具有多项式样本复杂度的下游 RL。在同时存在外生噪声的设定下，作者建立下界，说明从视频学习的样本复杂度可能比从带动作标签的轨迹学习呈指数级恶化。该结论针对摘要所述设定，不宜扩展为所有视频预训练方法均无效；定理所需的可辨识性条件、数据生成假设及复杂度依赖项尚未验证。 实验方面，作者报告在两个视觉领域评估了这些表征学习方法，结果与理论发现一致。摘要未提供领域名称、数据规模、划分、对照细节或具体指标；autoencoding 的具体理论结论，以及实验协议、消融及统计信息尚未验证。摘要也未说明实现与复现资源。 平台推测（待验证）：若将视频中的潜在状态与外生干扰结构对应到 EEG，本文可为区分任务相关动态与时间相关干扰提供分析视角，但前提是潜在状态及决策结构的假设适用。可借鉴的是噪声分类与表征目标的比较框架；观测建模和决策接口需针对 EEG 改造。低信噪比、跨被试差异、通道变化及小数据都可能破坏状态可辨识性，不能由视觉领域结论推出 BCI 效果。一个可检验的小实验是在可控潜在状态的多通道模拟信号中，分别加入 iid 与时间相关干扰，比较上述表征方法的状态恢复能力，并在明确记录动作的决策设定中加入带动作标签的轨迹对照。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对 iid 噪声与时间相关外生噪声的理论区分，以理解视频预训练何时支持高效下游 RL、何时相较带动作标签的轨迹面临样本复杂度障碍；具体定理条件尚待全文核对。

  2. OpenReview · Representation learning74

    基于细粒度交互的蛋白质–配体结合表征学习

    基于摘要分析。该研究针对蛋白质–配体结合预测中监督数据有限、模型泛化受限的问题，提出以细粒度交互为核心的自监督表征学习方法。不同于分别预训练蛋白质和配体的思路，作者将预训练表述为：给定结合口袋与配体，预测最终结合复合物结构。 机制上，方法采用基于 Transformer 的交互模块，并设置原子对距离图预测与配体掩码重建两项预训练任务，分别从结构空间和特征空间建模结合交互。摘要未说明距离图的具体覆盖范围、掩码策略、损失形式及任务组合方式，这些实现细节尚未验证。 作者报告，该方法在蛋白质–配体亲和力预测、虚拟筛选和蛋白质–配体对接等任务中表现优于对照方法，但摘要未提供数据集、数据划分、基线名称、指标或数值，因而无法判断优势幅度及泛化边界。实验协议、消融及统计信息尚未验证；复现还需核对预训练数据来源、复合物结构处理、下游训练设置，以及代码和模型权重的可用性。 平台推测（待验证）：可借鉴的是“显式关系预测与掩码重建联合预训练”的机制，而非直接移植分子结合模型。其原始任务依赖结合口袋、配体及原子级结构关系；EEG 中可假设用通道间关系预测辅助掩码信号重建，以应对标注有限时的表征学习问题。可复用交互建模和双任务框架，但需改造输入编码与关系目标，不能将原子距离直接等同于 EEG 功能连接。低信噪比、参考方式、跨被试差异和通道配置变化均可能使关系目标不稳定，小数据下也可能学到伪迹。一个可证伪的小实验是：在固定 Cross-subject 划分和相同预训练数据条件下，对比仅掩码重建与加入关系预测的模型，检验下游性能及通道扰动稳定性是否改善。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以原子对距离预测和配体掩码重建联合学习细粒度交互的自监督机制，但摘要中的多任务优势仍需结合完整实验协议核对，向 EEG 的迁移尚未验证。

1月1日周一
  1. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。

  2. OpenReview · Representation learning76

    通过异构匿名游走进行异构结构表示学习

    基于摘要分析。该研究关注异构网络中的结构相似性表示：节点类型与连接结构的多样组合，使主要面向同构网络的结构学习方法难以直接适用。作者提出 heterogeneous anonymous walk（HAW）及两种变体，并构建 HAW embedding（HAWE）及其变体，以学习节点周围异构结构的表示。 机制上，作者称 HAW 具有区分异构结构的理论保证；HAWE 则通过预测各节点邻域中出现的游走来训练嵌入，以数据驱动方式避免直接使用数量极大的所有可能游走。摘要未给出匿名化规则、节点类型编码、理论保证的适用条件、具体损失与游走采样方式，均需核对全文。其方法重点是结构相似性，而非仅根据连接邻近性学习表示。 作者报告，在合成与真实网络上的实验中，所提方法相较经典同构和异构方法表现突出，并可用于大规模网络；同时以这些实验建立异构结构学习基准。摘要未提供网络名称、任务、数据划分、对照方法、指标或运行成本，无法量化优势或判断不同协议下的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 数据组织为带有明确节点类型的图，HAW 的类型与结构联合表示可能用于研究不同记录之间的结构对应，相关瓶颈是跨被试、通道配置变化时图结构难以对齐。该迁移假设依赖稳定且有意义的节点类型和边定义，并非原文已验证的 EEG 结果。可考虑复用游走编码与邻域预测机制，但需改造 EEG 图构建及节点类型定义；低信噪比造成的边不稳定、通道缺失和小样本都可能使嵌入主要学习记录差异。一个小规模可证伪实验是：固定 EEG 图构建和下游模型，在同一跨被试划分下比较 HAWE、同构匿名游走表示与打乱节点类型的对照，检验类型信息是否带来稳定增益。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的是 HAW 对异构结构区分能力的理论刻画及 HAWE 的邻域游走预测机制，但其理论条件、基准协议和规模化效果仍需全文核对，EEG 迁移价值尚未验证。