跳到正文
OpenReview · Representation learning· Anirudh Sriram; Adrien Gaidon; Jiajun Wu; Juan Carlos Niebles; Li Fei-Fei; Ehsan Adeli·· 2023-01-01精选AI 评分75

HomE:单应变换等变的视频表征学习

HomE: Homography-Equivariant Video Representation Learning

AI 导读

基于摘要分析。本文研究多视角视频的自监督表征学习,提出 Homography Equivariance(HomE),通过显式约束表征空间保留邻近视角间的单应关系,利用多视角几何先验学习表征,并以动作识别和行人意图预测评估其下游效果。 核心机制是学习不同视角之间的隐式映射,使表征随视角变换保持相应的几何关系,而非仅追求视角不变性。该方法依赖多视角视频及邻近视角间可建模的单应关系;具体视角配对方式、单应变换的获取或估计方式、损失形式、模型结构和训练流程尚未验证。 作者报告,在 UCF101 动作分类任务上取得 96.4% 的 3-fold Accuracy,并称优于多数先进自监督学习方法。在 STIP 数据集上,作者报告对未来一秒的行人意图预测较其所比较的最先进方法提升 6%,但摘要未明确该提升对应的指标及其为相对百分比还是百分点;行人动作 crossing vs. not-crossing 分类的 Accuracy 为 91.2%。上述任务不能直接横向比较,具体数据划分、监督使用、基线设置、消融及统计信息尚未验证。摘要提供了代码地址,但实现完整性与复现条件尚未核验。 平台推测(待验证):其可供 EEG 研究参考的是“保留已知变换关系”的自监督思想,而不是直接采用图像单应变换。若能定义具有生理或采集依据的通道空间变换,可尝试复用等变表征约束,并改造视角映射与输入编码模块,以评估其对通道布局变化的鲁棒性。假设 EEG 通道变换存在稳定、可学习的对应关系;低信噪比、跨被试解剖差异、通道缺失及小数据可能使该假设失效。一个可检验的小实验是在固定被试划分下,对同一 EEG 数据施加已知通道空间扰动,比较等变约束与不变性约束在原布局和扰动布局上的任务表现。此实验仅检验通道变换假设,不代表已证实跨被试有效;已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其将邻近视角的单应关系作为多视角视频自监督约束的机制,但该几何先验能否适用于 EEG 通道或被试差异尚未验证。

来源:OpenReview · Representation learning · openreview.net