对齐不完整模态:面向多模态 EEG-眼动情感识别的联合分布校准
Aligning the Incomplete: Joint Distribution Calibration for Multimodal EEG-Eye Emotion Recognition
基于摘要分析。该研究面向跨被试多模态 EEG-眼动情感识别,提出 GUARD(Gradient-guided Unsupervised Asymmetric Recovery of Distributions),联合处理 EEG 跨被试分布偏移与眼动传感器丢包、跟踪失败造成的模态缺失。其核心贡献是将域适应与缺失模态恢复纳入联合分布校准框架,而非作为相互独立的任务处理。 方法包含三个环节:首先,在源域利用具有理论依据的梯度加权目标建立可靠的锚点流形,使 EEG 表征预先融合具有情感判别力的眼动特征;其次,以面向下游任务的感知损失约束生成模块,恢复联合分布时优先保留情感判别语义,而不仅追求信号保真度;最后,将目标域适应表述为不适定逆问题,通过循环一致的流,在目标域流形上对恢复后的联合分布进行无监督校准。摘要未给出梯度权重、感知损失及循环一致机制的具体数学形式与实现。 作者报告,在其跨被试多模态情感识别实验中,GUARD 显著优于所比较的现有方法,并在辅助眼动模态完全失效时仍维持稳健的判别性能。不过,摘要未提供数据集、被试数量、具体划分、缺失模拟方式、评价指标、分数或显著性检验信息,因而尚不能量化优势或判断适用边界。 复现时需核对目标域无监督校准使用的数据范围、眼动完全缺失的训练与测试条件,以及联合校准相对独立域适应和模态恢复的贡献。实验协议、消融及统计信息尚未验证。作者称代码和模型已公开,但所给材料未提供具体地址,公开资源及其复现完整性尚未验证。
值得核对 GUARD 如何联合处理跨被试 EEG 分布偏移与眼动模态缺失,尤其是其任务语义约束和目标域联合分布校准能否优于分步处理;摘要中的性能结论仍需实验协议与定量结果支持。
来源:arXiv · EEG 情感识别 · arxiv.org