自动驾驶中基于表征学习的雷达与相机融合
Radar Camera Fusion via Representation Learning in Autonomous Driving
基于摘要分析。本文研究自动驾驶感知中的雷达与相机数据关联,提出通过深度表征学习,将雷达检测点(radar pins)与相机感知得到的 2D bounding boxes 进行匹配,以改善复杂场景下规则式融合的可靠性;主要研究对象并非 EEG 或 BCI。 机制方面,方法旨在利用特征级交互与全局推理,应对雷达测量稀疏、噪声较大以及二维检测框深度不确定等问题。作者还设计了损失采样机制与 ordinal loss,用于处理不完美标注并约束其所称的类人关键推理。摘要未给出表征结构、采样规则或损失公式,不能据此确定其具体实现。 结果方面,作者报告,在使用规则算法生成的噪声标签训练后,该方法在雷达—相机关联任务上达到 92.2% F1,并称较规则教师高 11.6%;摘要未明确该差异是相对增幅还是百分点差,也未交代测试集、划分及标签核验方式,因此不宜换算教师分数。作者还提出可通过边界案例挖掘持续改进,但摘要未提供相应量化结果。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可迁移机制是利用有噪声的规则监督学习跨模态关联,而非直接迁移自动驾驶模型。假设 EEG 与另一模态具有可核验的时间或事件对应关系,可保留关联学习思路,并改造模态编码器、候选配对及 ordinal loss 的约束定义。EEG 的低信噪比、跨被试差异、通道变化与小样本规模可能使模型放大规则标签偏差;原任务中的空间及深度关系也未必适用于 EEG。一个可证伪的小实验是在有人工核验配对标签的同步多模态数据上,固定编码器与划分,比较规则关联、常规监督关联及加入采样与 ordinal loss 的方案,以关联 F1 检验是否确有收益。相关 EEG 工作尚未检索确认。
值得关注其在规则算法产生噪声标签的条件下,通过表征学习、损失采样与 ordinal loss 改进跨传感器数据关联的思路,但具体损失定义、评估协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net