基于网络摄像头的视线估计表征学习
基于摘要分析。这篇学位论文研究如何利用普通网络摄像头图像估计用户视线,并通过眼形与眼球解剖先验、显式和隐式表征学习,减少对终端用户人工标注与校准的依赖。作者报告,在公开数据集评估中,所提出的表征在目标用户无标注及少量标注条件下均改善了视线估计性能,但摘要未提供具体误差数值或完整对照协议。 研究包含四条技术路线。第一,以眼部区域关键点作为传统视线估计方法的中间表征,通过眼睑与虹膜形状坐标描述,改善跨数据集泛化,以及少量标注条件下对未见用户的适配。第二,构造仅由视线方向标签即可生成的图示中间表征,将视线方向估计分解为两个子问题;作者报告其改善了跨用户视线估计,但摘要未说明具体表征形式与子任务定义。第三,通过解耦与变换网络学习视线方向变化的等变性,同时分离头部朝向的影响,并将该表征用于元学习;作者报告,仅用目标用户一个标注样本进行适配即可取得性能改善,具体幅度尚未验证。 第四,联合建模屏幕视觉刺激与可见眼动之间的时空关系。作者采集了包含54名参与者、同步多摄像头视角及屏幕内容视频的新数据集,并提出自动视线估计细化架构。作者报告,在目标用户无标注条件下也能改善性能,其中用于模拟个体视线定义偏移的数据增强被认为起到重要作用。训练所需的其他监督信息、数据划分、基线、消融及统计信息尚未验证;不能将“目标用户无标注”理解为整个训练过程无监督。 本文主要对象是视觉图像驱动的视线估计,而非 EEG 解码。平台推测(待验证):其个体偏移建模可能适用于带眼动输入的混合 BCI,但需要匹配的图像、刺激及校准信息,不能直接迁移为 EEG 表征方法。已有 EEG 相关工作尚未检索确认。复现应先核对原任务的公开数据集、标注预算和跨用户划分,以及视觉刺激信息在训练与推理时的可用性。
阅读价值:该学位论文摘要汇集了眼部几何中间表征、视线与头姿解耦、少样本个体适配及视觉刺激—眼动联合建模,值得核对各机制在跨用户与跨数据集条件下的独立贡献,但不能据此推断 EEG/BCI 效果。