跳到正文
OpenReview · Representation learning· Luigi Seminara; Giovanni Maria Farinella; Antonino Furnari·· 2024-01-01精选AI 评分79

可微任务图学习:第一视角视频中的程序性活动表示与在线错误检测

Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos

AI 导读

基于摘要分析。本文研究第一视角视频中的程序性活动表示与在线错误检测,提出通过直接最大似然优化任务图边权,从观察到的动作序列中学习关键步骤之间的偏序关系,以替代依赖手工设计流程的任务图提取方法。 核心机制是将任务图学习变为可进行梯度优化的过程,使其能够接入神经网络架构。作者还提出基于关键步骤文本或视频嵌入预测任务图的特征方法,并报告其呈现出视频理解能力;摘要未说明这一能力的具体评估方式,也未给出边权参数化、似然定义及训练细节。 作者报告,在 CaptainCook4D 的动作序列任务图预测实验中,相比既有方法提升 +16.7%;在程序性第一视角视频的在线错误检测中,学习得到的任务图在 Assembly101-O 和 EPIC-Tent-O 上分别带来 +19.8% 和 +7.5% 的增益。摘要未明确这些增益对应的指标、相对提升或百分点口径、数据划分及具体对照,因此不能据此比较不同数据集上的效果。实验协议、消融及统计信息尚未验证。摘要提供了实验复现代码地址,但代码内容与运行条件尚未核验。 平台推测(待验证):若 EEG 辅助的多步骤操作任务具有明确步骤标注和重复流程,可假设将可微任务图作为上层顺序约束,辅助检测步骤遗漏或次序错误;可复用的是图学习机制,而非直接复用视频特征。原方法依赖动作序列或关键步骤嵌入,迁移时需改造 EEG 到步骤表征的接口;低信噪比、跨被试差异、通道变化及小数据可能使步骤识别误差进一步传入图结构。一个可证伪的小实验是在固定 EEG 步骤识别器和相同划分下,比较无图约束、手工任务图与学习任务图的在线错误检测表现。此为迁移假设,并非本文验证的 BCI 结果;已有 EEG 相关工作尚未检索确认。

阅读价值

该工作的阅读价值在于将任务图边权学习表述为可微的最大似然优化,并在程序性视频任务中检验其对在线错误检测的作用;具体增益口径及向 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net