跳到正文

算法、任务与模态

Pretraining 最新动态

Pretraining 研究索引；按可核对的标签归档，不以热度评价质量。

168 条精选近 30 天 91 条共收录 198 条

更新

精选归档 · 第 9 页

10月8日周日第 161–168 条
  1. OpenReview · Representation learning76

    表征投影不变性缓解表征坍塌

    基于摘要分析。本文研究预训练语言模型微调时的表征退化（表征坍塌）问题，提出 Representation Projection Invariance（REPINA）正则化，通过抑制不期望的表征变化来维持表征的信息含量。研究同时扩展了表征坍塌的分析，并提出若干量化指标。 机制与证据：摘要将 REPINA 描述为作用于微调过程的表征约束，但未提供投影操作、约束对象或损失的具体形式，这些细节尚未验证。作者报告，在包含 GLUE benchmark 和六个额外数据集的 13 项语言理解任务上，与 5 个可比基线进行域内评估时，REPINA 在其中 10 项任务上优于其他基线。作者还报告分布外表现改善、少样本设置下有效，以及对标签扰动具有鲁棒性；摘要未给出相应指标、效应大小及具体协议，不能据此比较不同评估条件下的收益。作者报告其方法更有效地缓解表征坍塌，但坍塌指标与下游性能之间的关系仍需核对正文。 平台推测（待验证）：迁移假设是，若预训练 EEG 表征在小样本任务微调中也出现信息退化，类似表征正则化可能有助于保留可迁移信息。原方法依赖预训练语言模型的上下文表征与下游微调流程；其具体监督条件、数据规模要求及投影机制尚未验证。可借鉴的是约束表征变化和量化坍塌的思路，需改造的是 EEG 时间窗、通道结构及预训练与微调表征的对应方式。低信噪比、跨被试差异及通道变化可能使约束保留噪声或被试特异信息，过强约束也可能阻碍任务适应。 可检验的小实验：取得完整方法后，在固定的 Cross-subject EEG 划分下，对同一预训练模型比较常规微调与加入 REPINA 的微调，统一标签预算和调参规则，同时观察任务指标及表征坍塌指标是否共同改善。此方案并非已验证结果；已有 EEG 相关工作尚未检索确认。完整实验协议、消融及统计信息尚未验证。

    阅读价值：REPINA 将微调中的表征坍塌缓解与域内、分布外及少样本表现联系起来，值得核对其正则化定义、坍塌度量及基线比较，但其对 EEG 微调的价值尚未验证。

9月26日周二
  1. OpenReview · Representation learning78

    URL：面向可迁移不确定性估计的表征学习基准

    基于摘要分析。研究关注预训练模型迁移到新数据集时，不确定性估计能否与表征一起可靠迁移，提出 Uncertainty-aware Representation Learning（URL）基准。该基准同时评估表征的迁移能力，并使用一项新指标衡量不确定性估计的零样本迁移能力；指标定义与具体计算方式尚未验证。 作者报告，在 ImageNet 上预训练、迁移至八个下游数据集的评估中，比较了十种不确定性估计方法：关注表征本身不确定性或直接估计预测风险的方法，优于基于上游类别概率的方法。摘要未提供下游数据集名称、具体方法清单、分数及数据划分，因此不能据此比较不同协议下的效果。作者认为，可迁移的不确定性量化仍是开放挑战，但不一定与传统表征学习目标冲突；这一判断的适用范围及统计支持需核对全文。 其评估思路区分了“表征能否支持下游任务”与“不确定性是否仍能反映下游风险”，有助于避免将上游类别置信度直接视为跨任务可靠性。来源提供了代码链接，但实现细节、运行条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 预训练表征在跨被试或跨数据集迁移时仍包含可识别的风险信息，URL 的双重评估思路可能用于检验表征质量与不确定性质量是否同步变化。可复用的是评估框架；需改造的是 EEG 编码器、下游任务接口及与任务风险对应的评价实现。低信噪比、通道差异和小样本可能使不确定性主要反映采集条件，而非预测错误。一个可检验的小实验是在固定的 Cross-subject 划分下，比较表征不确定性与上游类别概率对下游错误的识别能力，并同时报告任务性能。此处为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：URL 将表征迁移能力与不确定性估计的零样本迁移能力分开评估，值得用于核对预训练模型的不确定性是否能随表征一起迁移，但其对 EEG 的适用性尚未验证。

9月23日周六
  1. OpenReview · Representation learning76

    面向机器人操作的人类导向表征学习

    基于摘要分析。该研究针对机器人操作中的视觉表征学习，提出在预训练视觉编码器上进行人类导向的多任务微调：以手部检测、状态估计等与人类—环境交互相关的感知技能作为学习任务，并通过 Task Fusion Decoder 引导表征编码这些技能共同需要的结构，服务于下游机器人操作策略学习。 核心机制是将 Task Fusion Decoder 作为即插即用的嵌入转换模块，利用不同感知技能之间的潜在关系来指导表征学习。与仅依赖自监督目标的视觉表征相比，作者主张，联合学习多个简单但与交互相关的感知技能，更适合为机器人操作提供可泛化表征。摘要未说明任务关系的具体建模方式、监督来源、损失形式，以及视觉编码器与解码器的训练配置，这些细节尚未验证。 作者报告，在覆盖多种机器人任务与机器人形态的仿真及真实环境实验中，Task Fusion Decoder 持续改善了 R3M、MVP 和 EgoVLP 三种视觉编码器用于下游操作策略学习的表征。摘要未提供具体数据集、数据划分、评估指标、提升幅度或逐项对照结果，因此尚不能量化增益或判断不同实验之间的可比性；实验协议、消融及统计信息尚未验证。摘要指向包含演示、数据集、模型和代码的项目页面，但资源内容与复现条件尚未核验。 平台推测（待验证）：可迁移的假设是，通过与目标任务相关的辅助感知任务及其关系约束，缓解 EEG 表征与下游任务需求不匹配的问题。原方法依赖视觉输入及多任务监督，迁移时需将视觉编码器和感知任务替换为 EEG 编码器及有明确监督依据的辅助任务，并重新定义任务间关系；不能直接沿用手部检测等视觉技能。低信噪比、跨被试与通道差异、小样本监督可能导致辅助任务学习伪相关或产生负迁移。一个可检验的小实验是在固定 EEG 数据划分和监督预算下，对比单任务微调、多任务微调及加入任务融合模块的方案，观察跨被试性能是否稳定改善。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对 Task Fusion Decoder 如何利用感知技能间的关系改进预训练表征，以及其在不同视觉编码器和机器人操作任务中的增益是否具有一致的评估依据。

  2. OpenReview · Representation learning79

    缓解多视图表征学习的样本低效问题

    基于摘要分析。本文研究计算机视觉中非对比自监督学习（NC-SSL）的样本与计算效率，围绕 BarlowTwins 和 VICReg 为何常依赖高维投影头及同一图像的两个增强视图提供理论解释，并据此提出低维投影头正则化与增加每样本增强视图的预训练建议。 机制方面，作者认为特征正交性比投影头维度更关键，并报告适当正则化可使低维投影头获得良好表征；具体正则化形式及理论成立条件尚未验证。另一项理论分析指出，多个数据增强视图更能体现自监督目标的要求。作者报告，增加每个样本的增强数量可改善表征质量、可训练性和优化收敛，使较好的特征更早出现。 结果方面，作者报告，仅增加数据增强即可在保持 Accuracy 并改善收敛的同时，将预训练数据集规模最多缩减至原来的四分之一；摘要未给出该结果对应的数据集、增强数量、基线设置和具体 Accuracy。作者另报告，结合上述建议，在使用 ResNet-50 backbone 的 CIFAR-10/STL-10 实验中取得性能提升及 2 倍实际运行时间效率改进，但具体耗时、性能指标和比较条件尚未验证。实验协议、消融及统计信息尚未验证，需全文核对增强带来的额外计算成本如何计入效率比较。 平台推测（待验证）：迁移假设是，特征正交性约束及多视图自监督目标可能帮助缓解 EEG 小数据预训练中的表征冗余与收敛问题。可复用的是损失分析思路、投影头及多视图训练框架；需改造的是图像增强，转为能保留任务相关信息的 EEG 增强。该假设依赖同一样本不同视图共享有效信息，低信噪比、通道差异及跨被试分布变化可能使增强破坏标签语义或强化噪声。一个可检验的小实验是在固定被试划分和计算预算下，对比两个与更多增强视图，并交叉比较高维投影头和带正则化的低维投影头，观察收敛速度及下游任务 Accuracy。已有 EEG 相关工作尚未检索确认，原图像实验不构成 BCI 有效性证据。

    阅读价值：该研究将 BarlowTwins 与 VICReg 的损失隐式偏置联系到投影头维度和增强视图数量，为核对非对比自监督预训练的样本与计算效率提供了具体理论及实验线索，但其 EEG 适用性尚未验证。

  3. OpenReview · Representation learning76

    用于鲁棒表征学习的上下文视觉 Transformer

    基于摘要分析。研究针对不同群组间潜在因素变化导致的图像分布偏移，提出 Contextual Vision Transformers（ContextViT），通过群组上下文条件化图像表征，并在推理时适应新的测试分布。 核心机制借鉴 in-context learning：将与输入图像属于同一群组的图像信息映射为额外的 context token，再将其附加到输入图像 tokens 中，使表征随群组上下文调整。作者另引入 context inference network，从某一群组的一批样本即时预测 context token。该机制依赖可用的群组归属及同组样本；摘要未说明群组的具体定义、上下文聚合方式、训练损失或测试时是否更新模型参数，因此不能将其直接等同于参数更新式测试时自适应。 作者报告，在监督微调设置下，为预训练 ViTs 加入上下文条件化机制，在 iWildCam 和 FMoW 上持续改善分布外泛化；在自监督表征学习设置下，ContextViT 在 Camelyon17 病理图像及 JUMP-CP 显微图像基准上，比对应 ViT 获得更稳定的分布偏移下图像表征。摘要未给出指标数值、数据划分或效应大小，实验协议、消融及统计信息尚未验证。复现时需核对群组构造、上下文批次采样、预训练条件与基线配置。 平台推测（待验证）：迁移假设是，EEG 的被试或会话可作为群组，上下文条件化可能帮助处理跨被试或跨会话分布变化。可复用 context token 与上下文推断思路，但需将图像 token 编码改为 EEG 时序或时空编码，并明确测试群组可用样本及监督条件。低信噪比、小批次、通道配置差异，以及同组任务类别比例变化，都可能使上下文混入噪声或任务内容。一个可检验的小实验是在固定 Cross-subject 划分下，以同一 EEG 编码器比较无上下文与同组上下文条件化，并加入打乱群组的对照；严格固定测试上下文采样规则，检验增益是否来自有效群组信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其由同组样本推断 context token 的机制及测试时分组协议：这为利用群组上下文处理分布偏移提供了具体方法，但其对 EEG 跨被试或跨会话表征的价值尚未验证。

9月22日周五
  1. OpenReview · EEG71

    通过几何感知建模学习拓扑无关的 EEG 表征

    基于摘要分析。该研究针对不同 EEG 数据资源的通道选择不一致，以及信号固有的结构与空间信息难以统一利用的问题，提出将不同通道选择映射到统一拓扑，并在此基础上构建 MMM 预训练框架，以学习拓扑无关的 EEG 表征、支持跨数据集预训练。 MMM 包含 Multi-dimensional position encoding（多维位置编码）、Multi-level channel hierarchy（多级通道层级）和 Multi-stage pre-training strategy（多阶段预训练策略）。摘要明确的机制路径是先统一通道拓扑，再通过上述三个组件组织空间信息、通道层级及预训练过程；但统一拓扑的具体定义、通道映射方式、位置编码构造、层级组织及各训练阶段的目标尚未验证，不能据此推断网络结构或损失形式。 作者报告，该方法在情绪识别基准数据集上相较此前最先进方法取得明显提升。摘要未提供数据集名称、指标、数值、对照方法或数据划分，因此不能量化提升，也不能判断结果属于 Within-subject、Cross-subject 或 Cross-dataset 评估。支持跨数据集预训练是研究目标，不等同于已经验证跨数据集下游泛化；实验协议、消融及统计信息尚未验证。 复现时应优先核对统一拓扑如何处理通道缺失与不同电极配置、预训练数据如何组合，以及三个组件各自的贡献。尤其需要确认情绪识别评估中的被试与数据集划分、预训练和下游数据的关系，以及比较方法是否采用相同协议。这些均是需全文核对的事项，而非已发现的研究缺陷。

    阅读价值：值得阅读的具体原因是其以统一通道拓扑连接不同 EEG 资源，并结合位置编码、通道层级与分阶段预训练；这些设计为跨数据集预训练提供了可核对的机制路径，但性能增益及跨通道配置泛化仍需全文验证。

  2. OpenReview · Representation learning81

    面向一般任务空间的主动表征学习及其机器人应用

    基于摘要分析。本文研究多任务预训练中应从哪些源任务采样，提出主动表征学习的算法与理论框架，同时覆盖面向特定目标任务和面向一类任务的通用表征学习，支持从离散到连续的源任务与目标任务空间。 核心机制是主动选择源任务，而非被动分配采样。作者提出可操作的元算法，并给出双线性、基于特征的非线性及一般非线性情形的实例，称其兼容深度表征学习实践。摘要未提供具体采样准则、模型结构、损失函数及训练流程。 作者报告，在双线性情形下，利用任务表征的非均匀谱和经校准的源—目标相关性，达到目标任务 ε 超额风险所需的样本复杂度随 (k*)²‖v*‖₂²ε⁻² 缩放；其中 k* 为目标的有效维度，‖v*‖₂²∈(0,1] 描述源与目标空间的联系。摘要将相对被动方法的样本复杂度节省表述为最高 1/d_W，d_W 为任务空间维度；这一表述的精确定义及适用假设需核对全文，不宜直接换算为百分比。 作者在合成数据、摆系统仿真与真实无人机飞行数据上验证不同实例，报告相对基线平均提升 20%–70%。摘要未说明对应指标、基线、数据划分及各任务结果，因此不能将该范围解释为 Accuracy 提升或直接跨任务比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 中的被试或会话可建模为源任务，且存在可估计的源—目标相关性，该框架可能用于有限预算下选择预训练数据。可复用的是任务采样策略，需改造任务描述、相关性估计与 EEG 编码器；其依赖多源任务数据及可比较的学习反馈。低信噪比、通道差异和小样本可能使相关性估计不稳定，导致负迁移。一个可证伪的小实验是固定编码器、总采样预算与目标训练数据，在相同 Cross-subject 划分下比较主动源任务采样和均匀采样，并报告目标被试上的同一指标及不确定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其将源任务主动选择统一到面向特定目标与任务无关的表征学习框架，并以源—目标相关性解释采样效率；理论条件与机器人实验中的提升指标仍需全文核对。

6月6日周二
  1. OpenReview · Representation learning76

    线性动力系统的多任务模仿学习

    基于摘要分析。本文研究线性动力系统中的高效模仿学习，通过跨源策略学习共享低维表征，再利用该表征限定目标策略类，以改善目标任务的样本效率。主要贡献是给出学习所得目标策略生成轨迹上的模仿误差界，并用仿真检验该界所提示的变化趋势。 方法分为两阶段：预训练阶段从 H 个源策略学习共享的 k 维表征；微调阶段以该表征参数化目标策略类。作者报告，目标策略生成轨迹上的模仿误差上界为 Õ(k n_x/(H N_shared) + k n_u/N_target)，其中 n_x > k 为状态维度，n_u 为输入维度，N_shared 为表征学习期间每个源策略收集的数据量，N_target 为目标任务数据量。该界区分了共享表征学习与目标任务适配两部分代价，体现出在相关任务间汇集数据的潜在收益；不能脱离论文的理论假设，将其理解为任意任务增加数据都必然改善性能。作者报告仿真支持该界预测的趋势，但摘要未提供具体系统、对照、误差数值或仿真协议。 平台推测（待验证）：若 BCI 闭环控制可近似为线性动力系统，且多个控制任务或示范策略确实共享低维状态表征，该机制可能对应目标控制任务示范数据不足的瓶颈。可复用的是共享表征预训练与目标策略微调框架；需改造的是神经信号到状态的映射、控制输入定义及任务共享约束，不能直接视为 EEG 分类方法。低信噪比、跨被试差异、通道变化及小数据下不稳定的状态估计均可能破坏上述假设。一个可检验的小实验是在固定目标任务示范量的简化线性闭环仿真中，比较共享表征微调与从头模仿学习，并分别改变源策略数量及状态观测噪声，检验轨迹模仿误差是否符合理论趋势；这不构成真实 BCI 有效性验证。已有 EEG 相关工作尚未检索确认。 理论界所需的稳定性、任务相关性及数据采集假设，以及具体损失、训练实现、实验协议、消融及统计信息尚未验证，复现前需查阅全文。

    阅读价值：该研究给出了共享表征预训练与目标策略微调的轨迹模仿误差界，值得核对其任务共享假设及样本效率收益的适用条件，但对 EEG/BCI 的有效性尚未验证。