跳到正文
OpenReview · EEG· Minghui Wu; Chenxu Zhao; Anyang Su; Donglin Di; Tianyu Fu; Da An; Min He; Ya Gao; Meng Ma; Kun Yan; Ping Wang·· 2024-07-21精选AI 评分73

超图多模态大语言模型:利用 EEG 与眼动模态评估视频理解中的异质性反应

Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding

AI 导读

基于摘要分析。研究面向不同年龄、经历和性别人群对同一视频内容产生不同理解与反应的问题,提出视频主观多模态评估数据集 Video-SME,并设计 Hypergraph Multi-modal Large Language Model(HMLLM),用于探索人群特征、视频元素、EEG 与眼动指标之间的关联。 数据与任务方面,作者采集不同人群观看相同视频内容时的 EEG 与眼动变化,并据此建立分析和评估不同用户视频认知理解程度的任务与协议。研究针对现有基准模态有限、回答长度受限,以及视频场景和情感寓意较为单一等问题展开;但摘要未提供 Video-SME 的具体规模、人群构成、视频组成、标注方式及数据划分,相关细节尚未验证。 方法方面,HMLLM 以超图多模态建模为核心,旨在连接不同人群、视频元素及生理指标,弥合模态间的语义差异,并整合跨模态信息进行逻辑推理。摘要未说明超图节点与超边的定义、EEG 和眼动的编码方式、多模态对齐机制、训练目标或大语言模型的训练策略,不能据此判断其具体实现。 作者报告,在 Video-SME 及其他视频生成式性能基准上的实验支持方法有效性,但摘要未给出指标数值、对照基线或协议细节。阅读全文时需核对被试内与跨被试评估设置,以及 EEG、眼动、人群属性各自的贡献,避免将视频任务表现直接解释为可泛化的个体认知测量能力。实验协议、消融及统计信息尚未验证。 作者提供了代码与数据集链接,但资源内容、开放范围及复现条件尚未核验。本研究的主要对象是结合生理信号的视频主观理解评估,摘要不足以支持其对 BCI 控制或其他 EEG 解码任务有效的结论。

阅读价值

值得阅读之处在于将视频理解中的个体主观差异与同步采集的 EEG、眼动信息联系起来,并提出 Video-SME 及 HMLLM;其超图关联机制和生理模态的独立贡献仍需核对全文。

来源:OpenReview · EEG · openreview.net