面向凝视估计的混合域自适应表征学习
Hybrid-Domain Adaptative Representation Learning for Gaze Estimation
基于摘要分析。本文研究从单张人脸图像预测三维凝视方向,针对表情、穿戴物和图像质量等凝视无关因素导致的跨域性能下降,提出 Hybrid-domain Adaptative Representation Learning(HARL),利用多源混合数据学习稳健凝视表征。 方法包含两项核心机制:一是采用无监督域适应方式,将低质量人脸图像的特征与高质量近眼图像提取的特征对齐,以分离凝视相关表征;二是分析头部姿态的影响,通过稀疏图融合模块利用凝视方向与头部姿态之间的几何约束。作者称该对齐方式几乎不增加计算或推理成本,但具体训练数据配对方式、监督来源、对齐损失和成本测量条件尚未验证。 作者报告,在 EyeDiap、MPIIFaceGaze 和 Gaze360 上分别取得 5.02°、3.36° 和 9.26° 的凝视方向估计误差,并将其描述为达到当时最优水平;摘要未给出具体划分、误差聚合方式及对照基线,不能据此独立确认该结论。作者另报告跨数据集评估具有竞争力,但未提供迁移方向与对应数值,不宜将上述三个数字直接解释为 Cross-dataset 结果。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,代码完整性与复现条件仍需核对。 平台推测(待验证):可供 EEG 研究借鉴的是以高质量参考表征约束低质量输入的训练思路,而非凝视任务特有的头部姿态几何图。迁移假设依赖可匹配、任务相关的高低质量 EEG 数据及稳定的表征关系;需要重建信号编码器和对齐目标,低信噪比、通道差异、被试差异及小样本可能使对齐同时抹除任务信息。一个可证伪的小实验是在固定被试内划分下,仅对训练信号构造受控噪声,以干净信号表征作参考,对比有无对齐的同一模型在独立噪声测试集上的表现。该机制在 EEG 中的已有相关工作尚未检索确认。
值得核对 HARL 如何利用高质量近眼图像的特征对齐和头部姿态几何约束增强凝视表征,但摘要中的数据集内结果与跨数据集表现需分别验证,尚不能视为 EEG/BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net