多视角重建引导的面向对话式面部表情识别的视频表征学习

基于摘要分析。本文研究对话式面部表情识别，针对面部动态、小规模数据、低强度与细粒度情绪表达以及极端面部角度带来的困难，提出自监督预训练方法 Masking Action Units and Reconstructing multiple Angles（MAURA），服务于基于 Vision Transformer 的端到端表情识别。 核心机制是依据活跃 Action Units 的位置对视频进行掩码，并重建同步多视角视频。摘要描述，编码器可根据一个视角（如正面）重建其他视角（如俯视、仰视和侧面），以学习肌肉运动之间的依赖关系，并编码仅在少数帧或特定视角中可见的信息。该方法依赖面部 Action Units 的空间定位及同步多视角数据；定位信息的获取方式、重建目标、损失形式和具体训练配置尚未验证。 作者报告，在 DFEW、CMU-MOSEI、MFA 和多视角 MEAD 四个数据集涉及的低强度、细粒度对话式表情识别评估中，MAURA 持续优于所比较的现有领先方法，并据此认为其学到了稳健、通用的视频表征。摘要未提供具体指标、分数、数据划分和基线配置，因此无法核对提升幅度或比较不同协议。小数据条件下的效果、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在可迁移点是利用结构化掩码与互补观测重建学习局部弱动态，但这仅是假设，不是已验证的 EEG/BCI 贡献。若探索 EEG，需将面部空间定位改为电极或脑区分组，并重新定义同步互补观测；不同通道并不等价于面部不同视角，低信噪比、跨被试差异及小数据可能使重建偏向伪迹而非任务信息。一个可证伪的小实验是在固定被试内划分、训练数据量和编码器的条件下，对比随机通道掩码与结构化通道掩码的重建预训练，并用同一下游任务检验增益。相关 EEG 工作尚未检索确认。