多视角重建引导的对话面部表情识别视频表征学习

基于摘要分析。研究面向对话面部表情识别中的面部动态、小规模数据、低强度细粒度表情及极端面部角度等难题，提出自监督预训练方法 Masking Action Units and Reconstructing multiple Angles（MAURA），用于支持基于 Vision Transformer 的端到端识别。 核心机制是依据活跃 Action Units（面部动作单元）的位置对视频进行掩码，并重建同步多视角视频。例如，编码器以正面视角为输入，重建上方、下方及侧面视角，以学习肌肉运动之间的依赖关系，捕捉仅在少数帧或特定视角可见的信息。该机制依赖同步多视角视频及活跃 Action Units 的位置信息；这些信息如何获取、具体掩码策略、重建损失与训练配置尚未验证。 作者报告，在 DFEW、CMU-MOSEI、MFA 和多视角 MEAD 四个数据集的低强度、细粒度对话面部表情识别实验中，MAURA 持续优于所比较的先进方法，并据此认为其能够学习稳健、通用的视频表征。摘要未提供具体指标、增益、划分方式及基线配置，因此不能量化优势或判断跨数据集泛化能力；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“局部活动引导掩码与跨视角重建”机制，可能为 EEG 的局部时空信息建模提供参考，但视频视角不能直接等同于 EEG 通道。可考虑复用掩码建模与重建目标，需重新定义通道或时间片之间的预测关系，并替换依赖面部动作单元的掩码依据。低信噪比、跨被试差异、通道布局变化和小数据可能使重建偏向噪声或被试特征。一个可证伪的小实验是在固定 EEG 数据划分、编码器和训练预算下，对比随机掩码与信号活动引导掩码的预训练效果，检查跨被试下游表现是否稳定改善。该假设不代表已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。