跳到正文
OpenReview · Representation learning· Wanting Zhou; Longteng Kong; Yushan Han; Jie Qin; Zhenan Sun·· 2024-01-01精选AI 评分73

用于自监督群体活动表征学习的上下文关系预测模型

Contextualized Relation Predictive Model for Self-Supervised Group Activity Representation Learning

AI 导读

基于摘要分析。本文研究视频中的群体活动表征学习,针对人工标注依赖及群体活动中复杂的上下文动态,提出基于预测编码的端到端框架 Contextualized Relation Predictive Model(Con-RPM),通过预测时空关系学习自监督表征;研究对象不是 EEG 或 BCI。 机制上,Serial-Parallel Transformer Encoder(SPTrans-Encoder)建模空间交互与时间变化的上下文,Hybrid Context Transformer Decoder(HConTrans-Decoder)利用整体场景上下文引导未来时空关系预测。训练目标联合帧级的群体级、个体级对比损失,以及全局序列级对抗损失,旨在提高预测的可区分性与一致性。其核心思路是显式刻画个体关系与场景语义的时间演化,而非仅学习一般视频表征;具体输入构造、损失公式、权重及采样策略尚未验证。 作者报告,在 Volleyball、Collective Activity、VolleyTactic 和 Choi's New 数据集的下游任务上取得当时最先进的表现,并据此支持模型的有效性与泛化能力。摘要未提供具体分数、数据划分、标注使用方式或对照配置,因此不能据此比较性能增幅;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其关系预测机制可能对应 EEG 中跨通道依赖随时间变化的建模需求,但这是假设,不是已验证贡献。原方法依赖视频中的个体、群体与场景结构;迁移时可考虑复用时空关系预测和多粒度约束,需将人物关系改造为通道或脑区关系,并重新定义整体上下文与对比样本。低信噪比、跨被试差异、通道配置变化和小数据条件均可能使关系预测学习到非任务因素。一个可证伪的小实验是在固定 EEG 数据及跨被试划分下,对比相同编码器使用与不使用关系预测目标的下游表现,控制预训练数据和标注预算,检查增益是否稳定。已有相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将个体关系预测、整体场景上下文与多粒度自监督约束结合的机制,但摘要中的性能结论仍需核对完整评估协议,且不能直接视为 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net