跳到正文
OpenReview · Representation learning· Yunfeng Xiao; Xiaowei Bai; Hao Su; Hao He; Liang Xie; Erwei Yin·· 2026-05-01精选AI 评分76

看见不可见:面向可泛化视线感知的物理即表征

Seeing the Unseen: Physics-as-Representation for Generalizable Gaze Perception

AI 导读

基于摘要分析。本文研究视觉视线感知的跨域泛化,提出 physics-as-representation 范式及其实现 SG-Gaze,将物理结构与几何规律纳入视觉表征,而非仅依赖像素外观学习。研究对象是视线与眼球几何,并非 EEG 解码或 BCI 算法。 SG-Gaze 通过双分支对抗学习构建 Structurally and Geometrically Consistent Representation(SGR)。其中,解析分支将外观特征嵌入与视线测地线对齐的球面流形;模型引导分支利用弱二维边缘监督重建三维眼球。View-Consistent Regularization 进一步引入合成视角扰动,约束视线向量与结构投影在旋转变换下保持等变一致性。作者称,这一设计无需多视角标定或显式三维标签;摘要未说明具体对抗目标、损失权重及合成扰动的实现方式。 作者报告,在 12 个跨域迁移设置中,SG-Gaze 达到最先进的准确性并具有较强泛化能力。但摘要未列出数据集、训练与测试划分、对照方法、具体误差指标或数值,因此尚不能判断收益大小及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 表征学习参考的是“用已知变换约束表征一致性”的思想,而非直接移植眼球模型。其在原任务中依赖图像、二维边缘监督及可定义的三维旋转关系;EEG 的跨被试、跨通道变化并不天然等价于此类旋转。若探索迁移,需替换眼球重建模块,重新定义保持任务标签的信号变换及一致性目标,并防止低信噪比、小数据条件下的不当约束抹去任务相关信息。一个可检验的小实验是在固定跨被试划分下,对比同一 EEG 编码器加入与不加入候选一致性约束的效果,并核查该变换是否保持标签语义。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以球面几何、眼球结构重建和旋转等变约束共同学习视线表征的机制,但跨域优势及各模块贡献仍需结合全文协议与消融核对。

来源:OpenReview · Representation learning · openreview.net