跳到正文
OpenReview · EEG·· 2026-09-19精选AI 评分78

MERIT:让每种模态在多模态注意解码中获得与其实际贡献相符的评价

MERIT: MAKING EVERY MODALITY EARN ITS CONTRIBUTION IN MULTIMODAL ATTENTION DECODING

AI 导读

基于摘要分析。该研究针对听觉注意解码(AAD)中眼动、头动等行为信号可能替代 EEG、使分类准确率无法反映脑信号贡献的问题,提出兼具解码与评估功能的 MERIT,旨在衡量各输入流对解码表现的实际贡献。 其核心评估机制是在测试样本间打乱各输入流,测量准确率下降,再利用 Shapley values 将贡献分配到不同输入流。该设计关注的不仅是能否识别被注意的说话人,还包括成功识别在多大程度上依赖 EEG。作者同时提出两项防捷径设计:训练前检查候选音频,避免其直接暴露答案;约束评分函数,使其在忽略脑信号时不能高于随机水平。具体音频检查流程、评分函数形式,以及该约束与常规 Accuracy 的关系尚未验证。 作者报告,在一个包含 EEG、眼动、头动和场景视频的公开数据集上,MERIT 的四分类 Accuracy 在被试内达到 0.82,在未见被试的跨被试评估中达到 0.74,随机水平为 0.25,并优于已发表基准;摘要未提供数据集名称、被试数量、划分细节及基准具体结果。作者还报告,加入行为输入虽提高准确率,却使脑信号的贡献份额接近减半;这一结果应理解为其归因框架下的测量,而非 EEG 生理信息量减少。 在另外两个公开数据集上,作者报告相同测试发现了一个广泛使用基准中的标签不平衡,并标记出仅凭准确率可能被视为脑解码的结果。尚需核对这些发现的具体实验条件,以及置乱操作对输入流间依赖结构的影响、Shapley 贡献的定义与估计方式。实验协议、消融及统计信息尚未验证;现有材料也不足以确认模型在注视对象与注意对象不一致等实际使用条件下的稳健性。

阅读价值

值得阅读之处在于将多模态 AAD 的分类表现与 EEG 的实际贡献分开评估,但其归因定义、捷径约束及跨被试验证协议仍需全文核对。

来源:OpenReview · EEG · openreview.net