模型需要看多久?视觉何时转化为状态
How Long Does a Model Need to See? When Vision Becomes State
基于摘要分析。该研究考察 diffusion vision-language models(DVLMs)在去噪生成过程中需要持续访问图像多久,并提出依据生成状态判断何时可以终止视觉计算。核心贡献是将视觉信息的持续输入与答案形成区分开来:图像退出计算后,已有视觉信息仍可能通过演化中的生成状态支持答案形成。 方法上,作者通过在不同阶段终止视觉计算,研究视觉影响随去噪进程的变化。作者报告,视觉影响可能先减弱、随后重新出现,而视觉注意力并不能充分反映这一转变;与此同时,生成状态越来越多地体现视觉信息,其结构可用于判断视觉信息之后是否仍会发挥作用。因此,当前视觉影响较弱并不直接意味着可以安全停止视觉计算。 作者报告,一个含 305 个参数的预测器能够预测后续视觉影响、决定视觉计算的终止时机,并在不同 DVLMs 之间迁移;在摘要所述评估中,该策略大致保持完整任务性能,同时显著减少解码注意力计算和视觉 KV 使用。摘要未提供任务、数据集、模型名单、基线配置、性能指标或节省比例,因而无法量化性能与效率之间的权衡,实验协议、消融及统计信息尚未验证。 该研究的直接对象是扩散式多模态生成,而非 EEG 或 BCI 解码。其启发在于区分外部模态计算与内部状态承载的信息,但摘要不足以建立对 EEG 的具体迁移路径,不应将所述效率收益视为已验证的 BCI 效果。相关 EEG 工作尚未检索确认。
值得关注其以生成状态预测后续视觉影响、据此提前终止视觉计算的机制,但性能保持与计算节省的具体评估协议尚需全文核对。
来源:OpenReview · State space models · openreview.net