通过视频不连贯性检测进行自监督视频表征学习
Self-Supervised Video Representation Learning by Video Incoherence Detection
基于摘要分析。该研究针对视频自监督表征学习,利用人为构造的时间不连贯片段,训练网络预测不连贯的位置与长度,并结合视频内对比学习学习高层视频表征;主要研究对象是视频,而非 EEG 或 BCI。 方法上,作者从同一原始视频中分层采样多个子片段,构造具有不同不连贯长度的视频片段,以不连贯位置和长度作为预测目标。此外,通过同一原始视频内不连贯片段之间的对比学习,最大化这些片段之间的互信息。摘要未提供具体损失形式、采样规则或网络配置,其实现细节尚未验证。 作者报告,在动作识别与视频检索任务中,使用不同骨干网络及不同数据集进行评估,相比既有基于连贯性的方法取得较好表现。摘要未给出数据集名称、数据划分、指标与数值,因此无法量化增益或比较不同协议下的效果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,识别人工时间断点及其跨度可能促使模型学习 EEG 的时间结构。可复用的是不连贯性预测任务与同源片段对比机制,但需重新设计符合 EEG 时间尺度的采样和扰动方式,并核对同一记录中的片段是否具有适合对比学习的语义关系。视频方法依赖原始视频的时间结构及同源片段关系,不要求人工动作标签参与所述预训练目标;其数据规模要求尚未验证。EEG 的低信噪比、通道差异、跨被试差异及小数据条件可能使模型依赖拼接伪迹,而非任务相关活动。可在固定数据划分、骨干与标注预算下,比较不连贯性预训练与不预训练,并以边界平滑作为对照,检验收益是否依赖人工断点。已有 EEG 相关工作尚未检索确认。
值得关注其将不连贯位置与长度预测结合视频内对比学习的自监督机制,但作者报告的优势限于视频任务,能否用于 EEG 时序表征尚未验证。
来源:OpenReview · Representation learning · openreview.net