跳到正文
OpenReview · Representation learning· Chunliang Li; Wencheng Han; Junbo Yin; Sanyuan Zhao; Jianbing Shen·· 2024-01-01精选AI 评分73

RepVF:用于多任务 3D 感知的统一向量场表示

RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception

AI 导读

基于摘要分析。该研究面向自动驾驶中同一时空场景下的多任务 3D 感知,提出统一向量场表示 RepVF,将 3D object detection 与 3D lane detection 等任务纳入同一表示框架,以减少传统多任务学习中的计算冗余和特征竞争。 核心机制是用向量场刻画不同目标的结构,使不同任务能够共享单一预测头。在此基础上,作者提出 RFTR,通过分层 queries 隐式建模任务间及任务内关系。作者称该设计无需任务专用预测头和参数,可缓解多任务冲突;摘要未提供向量场的具体参数化、监督构造、损失函数或分层 queries 的实现细节,尚不能判断统一表示如何兼容不同任务的输出结构。 验证方面,作者报告结合 OpenLane 与 Waymo Open dataset 的标签开展实验,并称方法提升了多任务感知的效率与效果,但摘要未给出具体指标、对照基线或计算开销。标签如何组合、数据划分、实验协议、消融及统计信息尚未验证。摘要称代码将公开,不能据此确认代码当前已可用。 平台推测(待验证):可供跨领域考察的是“统一结构化输出与任务关系建模”,而非直接复用自动驾驶中的向量场。其原始设置依赖具有几何结构的目标及相应标注;若用于 EEG 多任务学习,需要先定义不同任务能否共享具有实际意义的输出结构,并改造几何表示、输入编码和监督构造。潜在对应问题是共享 EEG 表征中的任务竞争,但低信噪比、跨被试差异和小数据可能使共享预测头加剧负迁移,通道拓扑也不等同于 3D 目标几何。一个可证伪的小实验是在具有兼容标签的同一 EEG 数据上,固定编码器、训练预算与跨被试划分,对比任务专用预测头和统一预测头,分别检查各任务指标及计算开销;这只是迁移假设,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以统一向量场表示和分层 queries 协调异构 3D 感知任务的机制,但效率收益、任务冲突缓解程度及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net