跳到正文
OpenReview · State space models· Zheyun Qin; Xiankai Lu; Dongfang Liu; Xiushan Nie; Yilong Yin; Jianbing Shen; Alexander C. Loui·· 2023-01-01精选AI 评分73

重构图核以实现自监督时空对应学习

Reformulating Graph Kernels for Self-Supervised Space-Time Correspondence Learning

AI 导读

基于摘要分析。本文研究无标签视频中的自监督时空对应学习,提出基于可学习图核的 HiGraph+,将视频视为时空图,通过预测未观测的隐图学习结构与时间一致性。其主要研究对象是计算机视觉中的视频对应及标签传播,而非 EEG 或 BCI。 机制上,HiGraph+ 先在图级对应学习中建模子图的结构一致性,再引入基于对比学习的时空隐图损失,促进跨帧子图的时间连贯性与同一帧内的空间多样性,以支持长时对应和具有区分性的局部结构表征;随后利用稠密图核在节点级细化跨帧表征。摘要将图的结构与时间一致性作为自监督训练信号,但未提供图构建规则、图核形式、负样本策略及具体损失公式,不能据此判断其是否消除了既有方法的全部计算或监督依赖。 作者报告,HiGraph+ 在物体、语义部件、关键点和实例标签传播任务的基准测试中表现良好且具有鲁棒性;摘要未给出数据集名称、划分、对照基线、指标或数值,实验协议、消融及统计信息尚未验证。作者提供了公开实现地址,但代码与论文设置的一致性、依赖环境和复现成本尚未核对。 平台推测(待验证):若 EEG 可构建具有稳定语义的通道—时间图,图级结构一致性与节点级对应机制可能用于学习跨时间窗口的自监督表征,对应 EEG 标注稀缺与时空关系建模的需求。可考察复用图核和一致性学习目标,但需改造视频节点、边及对应关系的定义;原方法依赖无标签视频的时空结构,其数据规模要求尚未验证。EEG 的低信噪比、被试差异、通道布局变化及小数据条件可能使对应假设失效。一个可证伪的小实验是在固定通道的被试内 EEG 上,对比加入图一致性目标与不加入该目标的同一编码器,在相同划分与标注预算下检验下游表现,并用扰乱通道关系的对照检查收益是否来自图结构。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以图级结构一致性和节点级稠密图核联合学习视频时空对应的机制,但摘要中的性能与鲁棒性结论尚需核对具体评估协议,向 EEG 的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net