从基于对象中心表征的监督信号学习出发,重新思考视频非模态分割
Rethinking Amodal Video Segmentation from Learning Supervised Signals with Object-centric Representation
基于摘要分析。本文研究视频非模态分割,即根据对象的可见部分推断其包含遮挡区域的完整形状,提出 Efficient object-centric Representation amodal Segmentation(EoRaS),通过对象级监督与跨视图信息补全对象表征。主要研究对象是计算机视觉中的遮挡对象分割,而非 EEG 或 BCI。 作者指出,依赖运动流整合跨帧信息的既有自监督方法,会受到相机运动和对象形变的限制。EoRaS 转而利用特定对象的监督信号及不同视图的特征,促进单帧完整掩码推断。方法包含将图像特征投影到 Bird’s-Eye View(BEV)的转换模块,以引入三维信息;另以基于多视图融合层的时序模块,通过一组 object slots 与不同视图特征进行注意力交互。最终利用 object slots 更新后的图像特征解码对象完整掩码。具体监督标注形式、损失函数及 BEV 投影所需的几何条件尚未验证。 作者报告,在真实场景与合成数据基准上的实验取得了 state-of-the-art 性能,但摘要未提供基准名称、划分、评价指标、具体数值或对照配置,因而目前无法量化优势或区分各模块的贡献。实验协议、消融及统计信息尚未验证。摘要表示代码将发布,不能据此确认代码或权重已公开。 该方法依赖图像、多视图信息与空间几何表征,材料未建立这些条件与 EEG 数据之间的具体对应关系,因此不将视觉分割效果外推为 BCI 有效性;相关 EEG 工作尚未检索确认。
值得核对 EoRaS 如何结合对象级监督、BEV 特征投影与 object slots 完成遮挡对象表征,但摘要中的性能优势及各模块贡献仍需全文实验验证。
来源:OpenReview · Representation learning · openreview.net