使用联合跨注意力在效价–唤醒空间中进行情绪识别的音视频融合

基于摘要分析。本文研究从视频中的面部与语音信息预测效价–唤醒空间中的情绪状态，提出联合跨注意力音视频融合模型，以同时利用模态间的互补关系与模态内关系。主要研究对象是音视频情绪识别，而非 EEG 或 BCI。 机制上，模型根据联合音视频特征表征与各单独模态表征之间的相关性计算跨注意力权重，而不只依赖单独模态之间的交互。作者将联合表征引入跨注意力模块，旨在提取显著特征并保留模态内信息。摘要未说明特征提取器、相关性计算公式、损失函数及训练细节，这些实现条件尚未验证。 作者报告，在 RECOLA 和 AffWild2 视频数据集上，该方法优于 vanilla cross-attention，并可超过所比较的先进方法；作者还报告其在模态含噪或缺失时仍有优势，并将其描述为成本较低的方案。摘要未给出具体指标、数值、数据划分、噪声与缺失模态的构造方式或计算成本，因此不能据此量化收益。实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但代码内容及可复现性尚未核验。 平台推测（待验证）：若用于同步 EEG–音视频情绪识别，联合表征参与注意力权重计算的机制可能有助于建模互补信息；这是迁移假设，不是已验证的 BCI 效果。可复用部分是融合模块，需改造 EEG 特征编码、时间对齐和缺失模态处理；其依赖同步多模态数据与情绪监督，所需数据规模尚不明确。低信噪比 EEG、通道差异、跨被试分布偏移及小样本可能导致模型依赖更强的音视频模态。一个可检验的小实验是在固定编码器和一致跨被试划分下，对比联合跨注意力与 vanilla cross-attention，并逐一屏蔽模态，检查 EEG 是否带来独立增益。已有 EEG 相关工作尚未检索确认。