跳到正文
OpenReview · Representation learning·· 2026-09-08精选AI 评分75

π-EGO:以代理为中介的多模态诱导第一视角视频表征学习

$\pi$-EGO: Proxies as mediators for Poly-modal-Induced Egocentric Video Representation Learning

AI 导读

基于摘要分析。该研究针对第一视角 RGB 视频难以完整观察人体运动及周围场景的问题,提出 π-EGO:训练时借助互补模态、第三视角和基础模型提供的特权信息,推理时仅使用第一视角 RGB 视频。其核心贡献是多教师蒸馏框架 PROXYDIST,通过代理表征协调异构教师知识,而非直接对齐不兼容的教师特征空间。 PROXYDIST 汇集来自不同视角、模态及基础模型表征的九个异构教师,先学习针对不同表征的代理,将知识转换到统一的第一视角表征空间;随后通过可学习的凸初始化合并代理,再利用 Selective Proxy Distillation(SPD)为每个训练样本选择最可靠的代理进行蒸馏。代理的具体参数化、可靠性判据、损失形式及训练阶段安排尚未验证。 作者报告,π-EGO 在三个 ego-exo 基准上的动作识别、视频检索与动作分割任务中取得最先进表现,优于直接多教师蒸馏,且推理时不需要额外模态或额外计算开销。摘要未提供基准名称、数据划分、指标数值及计算成本测量方式,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 研究检验的机制是假设训练阶段存在与 EEG 样本对应的多源教师信息,通过代理空间缓解异构监督难以直接融合的问题,并在推理时保留单一 EEG 编码器。可复用的是代理中介与按样本选择蒸馏来源的思路;需改造 EEG 编码器、跨模态对应关系及代理可靠性判据。低信噪比、跨被试差异、通道变化和小样本可能使代理选择偏向伪相关。一个小规模可证伪实验是在固定跨被试划分和同等教师监督下,对比直接多教师蒸馏、代理蒸馏及加入 SPD 的版本,检验收益是否稳定。该假设依赖可获得的配对监督,不能由视频结果推定 BCI 有效;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以代理表征协调异构教师、再按样本选择蒸馏来源的机制,尤其是相对直接多教师蒸馏的收益与推理成本;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net