跳到正文
OpenReview · Representation learning· Hao Feng; Wendi Wang; Jiajun Deng; Wengang Zhou; Li Li; Houqiang Li·· 2023-01-01精选AI 评分73

SimFIR:基于自监督表征学习的简洁鱼眼图像校正框架

SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning

AI 导读

基于摘要分析。SimFIR 研究鱼眼图像校正,核心思路是利用图像平面中规律分布、独立于视觉内容的畸变模式学习表征,再将其迁移到下游校正任务;研究对象是视觉几何畸变,而非 EEG 或 BCI。 机制上,作者先将鱼眼图像划分为多个图像块,通过 Vision Transformer(ViT)提取表征,再依据鱼眼成像模型建立各图像块与特定畸变模式的对应关系,并设计统一的畸变感知自监督前置任务,学习细粒度畸变表征。其关键在于以成像几何提供学习线索,而非只依赖图像语义;摘要未给出具体监督目标、损失形式及下游校正模块。 作者报告,所学表征改善了下游校正任务的迁移表现,定量与定性结果优于所比较的先进算法,并在真实鱼眼图像上表现出较强泛化能力。但摘要未列出数据集、划分、评价指标、具体分数和基线名称,无法据此判断收益幅度或跨条件稳健性;实验协议、消融及统计信息尚未验证。复现还需核对成像模型、畸变模式关联规则、预训练数据及下游训练设置。 平台推测(待验证):其可借鉴之处是“利用已知观测变换构造自监督任务”。若 EEG 中存在可校准的传感器空间变换,可假设这种思路有助于学习对通道布局变化稳健的表征,但 EEG 不具有摘要所述的规则鱼眼畸变结构。可复用的是分块表征与变换感知训练思路,需重建适合 EEG 的观测模型、分块方式及学习目标;低信噪比、跨被试差异和小数据条件下,模型也可能只学到设备或变换伪迹。一个小规模可证伪实验是在固定 Cross-subject 划分、骨干和训练预算下,对比变换感知预训练与不使用该任务的预训练,并分别评估原始布局和受控布局扰动下的下游表现。已有相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是利用鱼眼成像模型为局部图像块构造畸变感知自监督任务的机制,但其优势幅度、泛化边界及对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net