通过眼部掩码驱动的信息瓶颈学习无监督注视表征
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
基于摘要分析。该研究面向以全脸图像为输入的注视估计,针对注视标注成本高、面部与眼部特征耦合使通用无监督预训练难以提取有效注视信息的问题,提出无须注视标注的无监督/自监督预训练框架,学习低维注视表征。研究对象是视觉注视估计,并非 EEG 解码或 BCI。 核心机制包括协同的特征对比与压缩模块:通过交替的眼部关注/非关注掩码训练方案及注入式瓶颈,将全脸分支中的注视相关信息压缩并传入眼部掩码自编码器,同时保留眼部自重建目标,以引导模型关注注视方向而非仅依赖面部纹理。另设眼部/注视相关信息对比损失,促进表征聚焦以眼部为中心的区域。摘要未给出具体掩码规则、瓶颈实现或损失公式,尚不能据此确定其细节。 作者报告,在多个注视估计基准上,该方案优于无监督领域的现有先进方法;摘要未列明数据集、划分、指标、数值及对照配置,无法评估优势幅度与适用边界。实验协议、消融及统计信息尚未验证,复现所需的实现与训练配置也需查阅全文。 平台推测(待验证):其可迁移假设是,用区域掩码与受限信息通路抑制无关因素,可能有助于缓解 EEG 中任务信号与干扰成分混杂的问题;可借鉴的是掩码、瓶颈和对比目标的组合,而非直接复用眼部区域设计。该方法依赖全脸图像及眼部空间结构,迁移时需重新定义 EEG 的通道/时间掩码和正负样本。低信噪比、跨被试差异、通道不一致及小数据可能使瓶颈优先保留伪迹或丢失任务信号。一个可证伪的小实验是在固定 EEG 数据划分与编码器下,比较普通掩码重建和加入瓶颈、对比目标后的下游解码表现,并分别消融两项机制。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。
值得关注其利用眼部掩码、信息瓶颈与对比学习分离注视方向和面部纹理的自监督机制,但性能优势及其对 EEG 表征学习的适用性尚需验证。
来源:OpenReview · Representation learning · openreview.net