跳到正文
OpenReview · Representation learning· Bo Pang; Hongchi Xia; Cewu Lu·· 2023-01-01精选AI 评分74

面向自动驾驶的三角约束对比无监督 3D 点云表征学习

Unsupervised 3D Point Cloud Representation Learning by Triangle Constrained Contrast for Autonomous Driving

AI 导读

基于摘要分析。该研究针对自动驾驶 3D LiDAR 数据标注困难的问题,提出 Triangle Constrained Contrast(TriCC),联合利用相机图像与不同时刻的 LiDAR 点云进行无监督表征学习;主要研究对象是自动驾驶场景中的 3D 点云,而非 EEG 或 BCI。 核心机制是将一张相机图像与两个不同时间戳的 LiDAR 点云组成三元组,通过 self-cycle 一致性约束自动寻找三者之间的匹配关系,再利用跨时间、跨模态匹配开展三元组对比学习。作者认为,这种机制能够自动挖掘较难的对比样本,减少对手工构造样本对的依赖。其学习依赖多模态时序数据及可建立的一致对应关系;具体匹配算法、损失形式和同步条件尚未验证。 作者报告,在若干语义分割与 3D 检测数据集上,使用 Minkowski-UNet 和 VoxelNet 的实验显示,TriCC 能以更少训练迭代获得有效表征,并改善下游任务结果。摘要未提供数据集名称、划分、指标数值及基线配置,因此无法核验提升幅度或比较训练成本。实验协议、消融及统计信息尚未验证。摘要提供了代码与模型入口,但其可获取性和复现完整性尚未核验。 平台推测(待验证):可探索的假设是,将 self-cycle 匹配与三元组对比用于同步 EEG 与另一模态的时序表征,以缓解标注有限时的对应学习问题。可复用的是一致性约束和对比学习思路,需改造点云对应机制、信号编码器与跨模态时间对齐;EEG 低信噪比、跨被试差异、通道配置变化及小数据条件可能导致错误匹配自我强化。一个可证伪的小实验是在固定被试内划分和相同训练预算下,对比加入与不加入 self-cycle 约束的表征,并检查匹配可靠性与下游表现是否同步改善。该假设不构成已验证的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过跨模态、跨时间的 self-cycle 自动建立匹配并构造较难对比样本的机制,但摘要不足以核验性能优势,其向 EEG 的迁移也尚未验证。

来源:OpenReview · Representation learning · openreview.net