MERIT：让多模态听觉注意解码中的每种模态凭贡献发挥作用

基于摘要分析。该研究针对多模态听觉注意解码（AAD）中的关键问题：眼动、头动等行为信号虽能辅助判断被关注的说话者，也可能使解码器绕过 EEG。作者提出 MERIT，将解码器与模态贡献评估结合，检验性能提升究竟来自脑信号还是其他输入，而不只看总体 Accuracy。 核心机制是将各输入流在测试样本之间置乱，测量 Accuracy 的下降，再通过 Shapley values 在输入流之间分配贡献。作者还提出两项防捷径措施：训练前检查候选音频，避免其直接暴露答案；约束评分函数，使其在忽略脑信号时不能超过机会水平。摘要未给出具体网络结构、训练目标，以及上述检查与约束的实现细节，尚需全文核对。 作者报告，在一个包含 EEG、眼动、头动及场景视频的公开数据集上，MERIT 超过已发表基准，四分类 Accuracy 在被试内为 0.82，在未见被试上为 0.74，机会水平为 0.25。作者报告，加入行为输入虽提高总体 Accuracy，却使脑信号的归因份额几乎减半；这一结果指向模态依赖变化，不能直接解释为 EEG 的绝对解码能力减半。作者还报告，在另外两个数据集上，相同测试发现了一个常用基准中的标签不平衡，并标记出仅凭 Accuracy 容易被视为脑信号解码的结果。 该工作的主要价值是把“预测正确”与“确实利用脑信号”分开审视。复现时需核对数据集名称、被试内与未见被试的具体划分、基准配置、置乱是否改变跨模态对应关系，以及 Shapley 贡献的定义与估计方式。被试数、统计不确定性、消融和完整实验协议尚未验证；摘要结果也不足以确认其在真实助听设备或听看不一致情境中的有效性。