跳到正文
OpenReview · EEG·· 2026-06-02精选AI 评分73

VLFEEDBACK-EEG:将神经信号用作视觉语言模型对齐的隐式反馈

VLFEEDBACK-EEG: Neural Signals as Implicit Feedback for Vision-Language Model Alignment

AI 导读

基于摘要分析。该研究关注 EEG 能否作为大型视觉语言模型(LVLMs)对齐的隐式偏好反馈,提出并公开发布 VLFEEDBACK-EEG,将 21 名参与者的 EEG 记录与 LVLMs 偏好标注配对,为利用生理信号研究多模态对齐提供数据资源。作者将其称为首个此类数据集,该优先性声明尚未独立核实。 在成对评价情境下,作者报告 EEG 特征包含偏好信息,且与人类判断的对应关系比与 AI 生成标注更接近。这支持进一步研究 EEG 与主观偏好的关联,但摘要未说明偏好任务细节、刺激与记录流程、特征提取方式,以及人类和 AI 标注的生成与比较方法。 作者还探索了 EEG 与预训练奖励模型的融合。作者报告,融合结果尚未超过仅使用奖励模型的基线,但真实 EEG 持续优于噪声对照,并据此认为生理信号可能提供互补的偏好信息。应区分这两层证据:相对噪声对照的优势不等于对奖励模型带来有效增益,也不能直接视为已经改善 LVLMs 对齐;摘要未提供具体指标、效应大小或下游对齐结果。 复现时需核对 EEG 预处理与时序对齐、偏好标签定义、训练与测试划分是否隔离被试或刺激、奖励模型及融合方法、噪声对照构造,以及数据许可和访问条件。被试内、跨被试或跨会话评估协议、消融及统计信息尚未验证。当前明确贡献是面向多模态偏好研究的数据资源与探索性分析,而非已验证有效的 EEG 驱动对齐算法。

阅读价值

该数据集可用于检验 EEG 是否包含视觉语言模型输出的偏好信息;真实 EEG 优于噪声对照但融合尚未超过仅用奖励模型的基线,使信号可辨识性与实际增益的区别值得核对。

来源:OpenReview · EEG · openreview.net