跳到正文
OpenReview · Representation learning· Hyodong Lee; Joonseok Lee; Joe Yue-Hei Ng; Paul Natsev·· 2020-01-01精选AI 评分71

通过关系图聚类进行大规模视频表征学习

Large Scale Video Representation Learning via Relational Graph Clustering

AI 导读

基于摘要分析。本文研究大规模视频表征学习,利用视频之间的相似关系构建层次图聚类,并提出两种训练策略:面向 triplet loss 的智能负样本采样,以及将聚类结果作为伪标签的伪分类学习。主要贡献是把样本关系结构用于训练样本选择和监督信号构造,而非直接研究 EEG 或 BCI。 机制上,第一种策略利用层次图聚类指导负样本选择,作者报告其显著提升 triplet loss 的训练效率;第二种策略把聚类结果转化为伪类别,用于学习视频嵌入。摘要未说明视频相似度的计算方法、图构建与层次聚类算法、负样本选择规则、伪标签更新方式或分类损失细节。这两种路径依赖可用的样本间相似关系,以及能形成有用簇结构的数据;其对初始表征质量与数据规模的依赖尚需全文核对。 作者报告,所学嵌入在相关视频检索和视频标注等多个视频理解任务上具有竞争力,并通过大规模数据集实验验证两种方法的可扩展性。摘要未提供数据集名称、划分、对照基线、具体指标或效率测量条件,实验协议、消融及统计信息尚未验证,不能据此判断性能增幅或最优性。 平台推测(待验证):迁移假设是,若 EEG 片段间的相似图能够保留任务相关结构,图聚类可能用于选择负样本或构造伪标签,缓解标注有限时的表征学习问题。可复用的是图聚类引导采样与伪分类思路;需改造的是 EEG 特征、相似度定义及跨被试、跨通道的结构处理。低信噪比、被试差异和通道配置差异可能使簇主要反映噪声或个体身份,小数据也可能造成簇结构不稳定。一个可检验的小实验是在固定 Cross-subject 划分下,仅用训练被试构图,比较随机负采样与图引导负采样在相同训练预算下的下游表现和训练效率;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对基于层次图聚类的负样本选择与伪标签学习如何改善视频表征训练效率,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net