跳到正文
OpenReview · Representation learning· Shixing Chen; Xiang Hao; Xiaohan Nie; Raffay Hamid·· 2022-01-01精选AI 评分75

Movies2Scenes:利用电影相似性学习场景表征

Movies2Scenes: Learning Scene Representations Using Movie Similarities

AI 导读

基于摘要分析。该研究针对电影场景标注成本高、电影级元数据相对易得的问题,提出利用电影相似性指导对比学习,学习可用于多种视频任务的通用场景表征。原论文的主要研究对象是电影场景理解,而非 EEG 或 BCI。 核心机制是先根据电影元数据定义电影之间的相似性,再将对比学习中正场景对的搜索范围限制在被判定为相似的电影之间。摘要以类型、剧情简介等作为元数据示例,但未明确实际采用的字段、相似性计算方法、场景配对规则、损失函数及模型结构。其方法特点是借助较粗粒度的信息组织细粒度表征学习,减少对逐场景标注的依赖。 作者报告,在多个基准数据集和多种任务上,该表征优于所比较的方法;在 LVU 的七项分类任务与两项回归任务上,平均提升分别为 7.9% 和 9.7%。摘要未说明这些提升对应的具体指标、相对变化口径、数据划分及逐项基线,因此不能将其解释为 Accuracy 提升或百分点增益。作者还报告,在新收集的电影数据集上进行了视频审核任务比较,用于考察泛化能力;数据规模、开放情况、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是用记录级元数据约束 EEG 片段正样本候选,以缓解片段标注不足;这依赖元数据与目标神经活动具有相关性,原领域结果并不构成 BCI 有效性证据。可复用的是候选筛选思想,需改造信号编码器、片段定义及相似性规则。低信噪比、跨被试或通道差异可能使配对主要反映被试与采集条件,小数据下也可能缺少足够候选。一个可证伪的小实验是在固定 Cross-subject 划分、仅用训练被试构造配对的条件下,对比有无元数据约束的同一对比学习基线,检验目标任务收益及被试身份混杂。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是利用电影级元数据约束场景级对比学习正样本搜索的弱监督机制;作者报告了多任务收益,但具体指标、对照与其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net