用于情绪识别的上下文感知异构图驱动多模态表征学习

基于摘要分析。本文研究从语言、语音和视觉信号推断情绪的多模态情绪识别（MER），提出上下文感知的异构图表征学习方法，以显式建模模态特有的时间动态及非对称依赖；其主要研究对象不是 EEG 或 BCI。 方法先以各模态专用的 Transformer 编码器提取上下文特征，再构建异构图。关系感知图 Transformer 根据边类型执行条件化消息传递，对时序、跨模态及说话人条件关系采用专门变换。在 IEMOCAP、MELD 多方对话场景中，图结构区分同一说话人与不同说话人之间的时间流；在 CMU-MOSEI 单说话人视频场景中，扩展 k 步时间连接以捕捉时间偏移动态。两类场景均使用同时刻边关联音频、视觉与文本线索。 作者报告，在上述数据集的实验中相较既有最先进方法取得一致增益，并据此强调结构与语义异质性的重要性。摘要未提供具体指标、数值、数据划分和对照配置，实验协议、消融及统计信息尚未验证，因而暂不能判断各模块贡献或增益稳定性。作者表示将发布源代码，当前材料不能确认代码已公开。 平台推测（待验证）：若任务具备同步的 EEG 与其他模态及情绪监督标签，类型条件消息传递可能用于区分 EEG 内部时间依赖与跨模态关系，但原领域有效不等于 BCI 有效。可复用的是关系类型建模思路；需改造 EEG 特征编码、时间窗口和对齐方式，并核对数据规模是否足以支持图模型训练。低信噪比、通道差异、跨被试偏移及小样本可能使复杂关系建模失效。一个可检验的假设是：在固定特征、数据划分与近似模型容量的条件下，类型化边比不区分关系的图更有利于跨被试情绪识别；可用小规模对照实验检验。相关 EEG 工作尚未检索确认。