使用联合交叉注意力进行效价—唤醒度空间情绪识别的音视频融合

基于摘要分析。本文研究从视频中的面部与语音信息预测效价—唤醒度空间中的连续情绪状态，提出联合交叉注意力模型，以同时利用音视频模态间的互补关系与模态内关系。主要研究对象是音视频情绪识别，并非 EEG 或 BCI。 机制上，模型根据联合音视频特征表征与各单模态特征表征之间的相关性计算交叉注意力权重，使单模态特征的选择受到联合信息引导。作者将其与普通交叉注意力区分，认为引入联合表征有助于同时保留模态内关系和利用模态间关系。摘要未给出特征提取器、相关性计算公式、损失函数及训练细节，尚不能确定具体实现与计算开销。 作者报告在 RECOLA 和 AffWild2 视频数据集上验证了方法，并称其优于普通交叉注意力及先进方法，在模态含噪或缺失时仍具优势。但摘要未列出指标、数值、数据划分、噪声构造或模态缺失协议，不能据此量化收益或判断鲁棒性适用范围；实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接，代码完整性与复现条件尚未核验。 平台推测（待验证）：该机制可形成 EEG 与音视频情绪信息融合的假设，即通过联合表征引导各模态注意力，缓解互补信息利用不足。可复用的是联合表征参与交叉注意力的思路；需改造 EEG 特征编码、时间对齐及模态尺度处理。其依赖配对且可对齐的多模态序列，具体监督与数据规模要求尚未验证。低信噪比 EEG、跨被试差异、通道变化及小数据均可能使相关性估计不稳定。一个可检验的小实验是在固定编码器与相同被试划分下，对比联合交叉注意力、普通交叉注意力和简单拼接，并分别测试 EEG 加噪与模态缺失条件；这仅是迁移假设，不代表已有 BCI 效果。相关 EEG 工作尚未检索确认。