跳到正文
OpenReview · Representation learning· Alireza Nasiri; Tristan Bepler·· 2022-01-01精选AI 评分77

使用平移与旋转群等变 VAE 的无监督对象表征学习

Unsupervised Object Representation Learning using Translation and Rotation Group Equivariant VAE

AI 导读

基于摘要分析。本文研究图像对象在位置和姿态变化下的无监督语义表征学习,提出 TARGET-VAE,将对象语义与旋转、平移因素分离,使语义表征尽量不随位姿改变。原研究对象是图像中的对象,而非 EEG 或 BCI 信号。 方法包含三个核心部分:旋转与平移群等变编码器;在结构上解耦旋转、平移和位姿不变语义表征的潜变量分布,并由近似推断网络联合推断;空间等变生成网络。其关键思路不是让全部潜变量都保持不变,而是单独表示位姿因素,同时保留不受这些因素影响的语义表示。摘要未给出具体损失形式、网络配置或训练细节。 作者报告,在包含显著旋转和平移扰动的图像实验中,TARGET-VAE 学到的语义表征与在姿态一致对象上学到的表征相近,语义潜空间中的聚类得到改善,并能进行准确的无监督姿态与位置推断。作者还报告其优于既有方法并避免部分既有方法的病态行为,但摘要未列出数据集、对照方法、指标数值及具体病态表现,实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,运行条件与复现一致性仍需核对。 平台推测(待验证):可迁移的机制是“显式建模干扰变换,同时学习不变语义”,但前提是目标任务确实具有相应对称性。对 EEG 头皮地形图,电极位置变化可能影响空间表征,但头皮上的旋转或平移并不天然保持神经生理语义,不能直接套用图像假设。若探索这一方向,可保留潜变量解耦思路,改造空间变换与生成模块,以匹配电极坐标和头皮几何;低信噪比、稀疏通道及跨被试解剖差异可能使位姿与任务信息混淆。一个小规模检验是在固定被试划分下,对同一批地形图施加已知、有限的坐标扰动,对照普通 VAE 检验表征稳定性及任务信息保留情况;该实验不能单独证明真实跨被试有效。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 TARGET-VAE 如何通过群等变结构与潜变量解耦分离对象语义和位姿;作者报告其可改善无监督聚类与位姿推断,但对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net