跳到正文
OpenReview · Representation learning·· 2026-09-14精选AI 评分72

向过去学习:面向视觉语言模型的负反馈历史表征复用

Learning from the Past: Historical Representation Reuse with Negative Feedback for Vision-Language Models

AI 导读

基于摘要分析。该研究针对视觉语言模型训练中间表征较少跨训练单元复用、表征波动可能影响跨模态学习稳定性的问题,提出 Historical Intermediate Representation Reuse(HIRR)与 Negative-Feedback Adapter,将历史信息复用和当前表征调节结合起来。 HIRR 复用前一训练单元中 cross-attention 的 Key 和 Value 表征,使历史中间信息参与后续跨模态交互;Negative-Feedback Adapter 根据当前表征相对历史参考的偏差进行调节,以抑制不必要的波动。作者从统计方差降低与局部扰动传播角度分析这两项机制,并将其与有效样本复杂度及反馈稳定性联系起来。摘要未明确“训练单元”的具体含义、历史状态更新方式、反馈形式及额外存储和计算开销,这些实现条件尚未验证。 作者报告,在多个视觉语言模型与图文检索基准上,两项机制结合能够持续改善跨模态学习性能和数据效率,并适用于不同的 cross-attention 架构。摘要未提供模型及数据集名称、划分协议、对照基线或具体指标数值,实验协议、消融及统计信息尚未验证,不能据此判断收益幅度或各模块的独立贡献。 平台推测(待验证):若 EEG—文本或 EEG—视觉学习任务具有相应跨模态训练数据与 cross-attention 结构,历史 Key/Value 复用和偏差反馈可作为候选模块,但原领域有效不等于 BCI 有效。迁移需要重新确定历史参考的更新范围,避免被试、会话或通道变化使历史状态失配;低信噪比和小数据也可能使历史噪声累积或反馈过度抑制有效变化。一个可检验的小实验是在固定数据划分和训练预算下,对同一 EEG 跨模态基线分别加入 HIRR、Adapter 及二者组合,比较任务指标、表征波动和资源开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其历史 Key/Value 复用与负反馈调节能否在明确训练单元及历史状态更新协议下改善跨模态学习稳定性和数据效率,但摘要尚不足以判断收益幅度及对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net