通过分层表征学习实现鲁棒的不完整多模态情感分析

基于摘要分析。该研究面向不确定模态缺失条件下的 Multimodal Sentiment Analysis（MSA），提出 Hierarchical Representation Learning Framework（HRLF），旨在减轻模态缺失对情感信息提取与多模态融合的影响；其主要研究对象是多模态情感分析，而非 EEG 或 BCI。 框架包含三个相互配合的机制：首先，通过跨模态翻译与情感语义重建，将模态表征分解为情感相关表征和模态特定表征；其次，通过分层互信息最大化，逐步增强多尺度表征之间的关联，以对齐和重建高层语义；最后，通过分层对抗学习进一步对齐、适配情感相关表征的潜在分布，形成鲁棒的联合多模态表征。摘要未给出具体损失形式、互信息估计方式及训练与推理流程。 作者报告，在三个数据集的不确定模态缺失评估中，HRLF 显著改善了 MSA 表现。但摘要未提供数据集名称、模态组成、缺失模式与比例、划分协议、基线或量化指标；具体提升幅度、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与其他传感模态共享情感标签，且训练数据具有足够的跨模态对应关系，该机制可能用于研究传感模态缺失下的情感解码。可复用的思路是任务相关与模态特定信息的分离，以及潜在分布对齐；需改造信号编码器、跨模态重建目标和缺失模态处理流程。EEG 低信噪比、跨被试差异、通道布局变化及小数据可能使语义对齐不稳定，过强对齐也可能抹去有效的模态特异信息。一个可检验的小实验是在固定 Cross-subject 划分与缺失模式下，对比普通融合、表征分解及加入分层对齐的版本，并同时检查完整模态与缺失模态条件下的表现。此为迁移假设，并非论文已验证结果；已有 EEG 相关工作尚未检索确认。