探索事件视觉自监督表征学习中的联合嵌入架构与数据增强
Exploring Joint Embedding Architectures and Data Augmentations for Self-Supervised Representation Learning in Event-Based Vision
基于摘要分析。本文研究事件视觉中的自监督表征学习,通过联合嵌入架构提高同一事件序列不同视图之间的特征一致性,并探索适用于轻量级 2D CNN、3D CNN 和 Spiking CNN 的数据增强与预训练策略。主要研究对象是事件视觉中的物体或动作识别,而非 EEG 或 BCI。 方法结合已有事件数据增强技术,并提出新的增强方法以改进预训练流程;摘要未说明新增增强的具体操作、事件序列的输入表示、损失形式及各类 CNN 的实现。作者还制定评估协议,并从 Uniformity-Tolerance 权衡和线性 Center Kernel Alignment 两个角度分析特征质量与表征相似性。 作者报告,在多个常用事件视觉数据集的物体或动作识别评估中,预训练 CNN 学到了有效且可迁移的特征,在低数据条件下也取得具有竞争力的表现;具体数据集、划分、低数据规模、基线及指标数值尚未验证。作者还报告,即使采用相同优化方法,不同类型 CNN 所学表征仍存在明显差异。该结论可作为比较编码器归纳偏置的线索,但不能据此判断哪种架构普遍更优;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是以同一信号的不同视图构造自监督一致性目标,可能帮助缓解 EEG 标注不足;可复用联合嵌入训练与表征相似性分析,输入编码和增强策略则需按 EEG 的通道结构、频段及任务相关时序重新设计。事件视觉的稀疏时空数据结构不同于连续、低信噪比 EEG,增强可能破坏判别信息,跨被试差异及小样本也可能削弱收益。一个可证伪的小实验是在固定跨被试划分与编码器下,仅用训练被试的无标签 EEG 预训练,对比随机初始化,并固定下游标注预算,检验增强一致性是否改善任务指标。相关 EEG 工作尚未检索确认。
值得关注其对事件视觉中联合嵌入、自监督增强与不同 CNN 表征差异的联合评估,但摘要不足以验证具体收益,向 EEG 迁移仍需独立实验。
来源:OpenReview · Representation learning · openreview.net