PHANERO:利用神经维度证据与部分遮挡隐状态对齐恢复目标
PHANERO: Partial-occlusion Hidden-state Alignment with Neural-dimension Evidence for Recovering Objects
基于摘要分析。PHANERO 研究已部署的视觉语言模型(VLM)在目标部分遮挡时,以文本输出边界框不可靠的问题,提出在解码期间修正最终隐状态,而非另行部署检测器。核心贡献是利用同一图像的干净与遮挡解码构造配对状态,拟合回到干净状态的线性映射,并在坐标转为 token 的位置通过 forward hook 应用修正,同时保留未修正的边界框。 作者将流程描述为不训练模型、不计算梯度,但仍需为每个模型在 COCO 合成遮挡数据上拟合一次映射;随后将映射保持不变,用于 KITTI 和 HOOT 的自然遮挡评估。因此,“不训练”不等于无需数据拟合。其机制假设是遮挡引起的隐状态偏移存在可线性恢复的成分。 作者报告,在三个模型与三个评估域组成的九个组合中,IoU 为 0.5 时的召回率 R50 均有提升;与已发表的像素、注意力及视觉 token 空间修复方法进行十八项配对比较时,九项胜出、一项落后。由于合并原始与修正边界框可能仅凭额外一次解码就提高召回率,作者设置了等范数随机写入及重采样解码的同类合并对照,并称相关区分检验已预注册。作者报告,学习修正在三个模型上均能超过较强零假设对照,但并非每个模型×域组合都成立,九个组合中有六个成立;最弱模型的收益部分体现为输出更多边界框。按编辑幅度重新缩放后,去掉配对关系或跨维度项的映射,在十一项定位检验中的十项不及完整方法。 边界同样明确:作者报告,调过阈值的现成开放词汇检测器仍优于所有修复组合,本文定位是改善已经在用的 VLM,而非替代专用检测器。两次解码批处理时,作者报告开销为普通查询的 1.05 倍,按总时间计为 1.30 倍;两种计时口径的具体定义尚待全文核对。模型清单、数据划分、配对样本构建、边界框合并规则、消融及统计信息尚未验证。材料未提供 EEG/BCI 实验,已有 EEG 相关工作尚未检索确认。
值得核对其利用配对隐状态进行解码期线性修正的机制,以及通过随机写入和重采样对照区分修正收益与额外解码收益的设计;当前证据限于 VLM 遮挡目标定位,不支持 EEG/BCI 有效性判断。
来源:OpenReview · State space models · openreview.net