跳到正文
OpenReview · Representation learning·· 2026-08-28精选AI 评分76

使预训练事件编码器适应任意表示

Teaching Pretrained Event Encoders to Digest Any Representation

AI 导读

基于摘要分析。本文研究事件视觉中预训练编码器对输入表示的依赖:即使底层事件流不变,改变其表示也可能导致下游性能明显下降,作者将这一现象称为 representation lock-in(表示锁定)。为此,作者提出 Omnivorous Event Encoder(OmniE²),通过全局与密集特征对齐,使预训练事件编码器适应不同事件表示。 针对未见过的表示,作者进一步提出 Cross-Representation Adapter(CRA):利用共享的算子条件化生成器,生成对应表示的原生输入投影,以及早期 Transformer 块的低秩修正,同时冻结预训练事件编码器。其主要思路不是重新训练整个主干,而是调整输入映射与早期计算,使既有语义知识能够跨表示复用。摘要未披露对齐损失的具体形式、生成器条件的编码方式,以及未见表示在训练和测试中的划分。 作者报告,在多种事件表示和数据集上,OmniE² 改善了跨表示迁移,并在 semantic segmentation、object classification 和 depth estimation 上取得一致收益。摘要未给出数据集名称、指标数值及对照配置,尚不能判断收益幅度、适配成本或泛化边界。摘要提供了代码入口,但实现内容、可运行性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制可能对应 EEG 中“同一信号经不同表示处理后,预训练编码器性能不稳定”的问题,但事件视觉结果不构成 EEG 或 BCI 有效性的证据。该思路依赖不同表示共享底层内容,并具有可对齐的全局与局部结构;特征对齐和冻结主干的低秩适配可作为候选模块,输入投影、条件描述及局部位置对应则需按 EEG 表示重新设计。低信噪比、通道变化、跨被试差异及小数据可能使对齐偏向噪声或丢失任务信息。一个可证伪的小实验是:固定同一 EEG 数据划分和任务标签,仅改变输入表示,在相同适配预算下比较直接输入、仅输入投影适配与加入低秩修正的效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将同一事件流的表示变化与编码器迁移失效直接关联,并以特征对齐和冻结主干的条件化适配加以处理;跨表示收益及对 EEG 的适用性仍需分别验证。

来源:OpenReview · Representation learning · openreview.net