跳到正文
OpenReview · Representation learning· Kangcheng Liu; Aoran Xiao; Xiaoqin Zhang; Shijian Lu; Ling Shao·· 2023-01-01精选AI 评分75

FAC:通过前景感知特征对比进行 3D 表征学习

FAC: 3D Representation Learning via Foreground Aware Feature Contrast

AI 导读

基于摘要分析。本文研究 3D 场景理解中的无监督点云预训练,提出前景感知特征对比框架 FAC,针对随机选取点特征作为对比锚点时容易偏向数量占优的背景点、且缺乏对象感知与前景—背景区分的问题,改进对比样本构造与特征学习。 FAC 包含两种对比设计:一是在同一前景片段内构建正样本对,依据是这些点往往具有相同语义;二是在片段层面避免对不同 3D 片段或对象过度区分,同时强化前景与背景的区别。后者通过 Siamese correspondence network 中的自适应特征学习,建模点云视图内部及跨视图的特征相关性。摘要未交代前景片段如何获得、是否依赖额外监督,也未给出具体损失与训练流程。 作者报告,点激活图可视化显示,对比样本对能够在预训练期间捕捉前景区域之间的清晰对应关系;在下游 3D semantic segmentation 与 object detection 任务中,FAC 展现出更好的知识迁移能力与数据效率。摘要未提供数据集、划分、对照基线或量化指标,因此无法判断增益幅度及适用边界。作者声明代码、数据和模型均可用,但具体资源及复现条件尚未核验;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移思路是抑制背景占优的对比采样,而非直接复用点云网络。若 EEG 任务存在可独立定义的任务相关时段与背景时段,可尝试改造正样本构造及片段级对比模块;但 EEG 不具备天然的对象片段结构,低信噪比、跨被试差异及小数据可能使片段划分不稳,甚至把伪迹作为前景。一个可证伪的小实验是在固定数据划分、编码器和训练预算下,对比随机采样与预先定义的时段感知采样,检验下游收益及对时段定义扰动的敏感性。该假设不代表已有 EEG/BCI 效果,相关工作尚未检索确认。

阅读价值

FAC 将点级正样本构造与片段级前景—背景区分结合,值得核对其能否缓解背景占优造成的对比学习偏置,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net