面向口内图像表征学习的从局部到全局掩码对齐预训练
Masked Alignment Pretraining from Local to Global for Intraoral Image Representation Learning
该研究针对通用自监督目标未充分利用牙弓解剖结构的问题,提出结合局部—整体特征对齐、掩码重建及牙齿解剖关系约束的口内图像预训练框架,并引入 YoungDent 数据集。基于摘要分析,研究主要对象是口内照片中的牙齿表征,而非 EEG 或 BCI。 机制上,框架将随机裁剪、单牙裁剪与 sextant(牙弓六分区)裁剪的特征,对齐到全口图像对应位置的稠密特征,以几何重叠提供监督;同时通过裁剪区域的掩码重建学习牙齿纹理与形态。FDI 牙位编号及解剖关系进一步约束表征,使镜像对称、相邻或同一 sextant 的牙齿更接近,而距离较远的牙齿相互分离。其区别于通用 SSL 目标的关键,是显式引入牙弓结构先验,而非仅学习通用图像相似性。 数据方面,作者介绍的 YoungDent 为五视角口内图像数据集,包含在非临床环境下采集的超过 1,000 名青少年的逾 5K 张图像,并与公开数据组成 10K 规模语料。作者报告,相较通用 SSL 基线,该预训练更好地捕获牙齿解剖组织并改善表征质量,具有支持下游牙齿分割的潜力;摘要未给出具体指标、数据划分或分割增益,不能据此认定已验证下游性能。 实验协议、消融及统计信息尚未验证,需进一步核对裁剪与全口图像的对应方式、FDI 信息获取条件、数据划分及各项约束的独立贡献。该方法依赖图像空间对应及稳定的牙齿解剖关系;摘要未建立这些条件与 EEG 数据结构的具体对应,因此不据此推断 BCI 效果,已有 EEG 相关工作亦尚未检索确认。
值得关注其以几何重叠对齐局部与整体表征、再用牙齿解剖关系约束表示的自监督机制,但分割收益及各模块贡献仍需结合全文验证。
来源:OpenReview · Representation learning · openreview.net