利用深度学习开展多模态生理传感与基于视觉的情感计算

基于摘要分析。该研究面向多模态情感计算，将深度学习方法应用于生理传感信号与视频数据，分别评估单模态情绪分类和多模态特征融合，并探索数据集间的迁移及情感状态相关脑区的识别。 研究覆盖 DEAP、MAHNOB-HCI、AMIGOS 和 DREAMER 四个公开多模态情感数据集。摘要以 EEG、ECG 为生理信号示例，但未明确逐个数据集所用的模态组合。其评估路径是先比较各模态的独立分类表现，再融合模态特征；具体特征提取结构、融合方式、损失函数和训练配置尚未验证。 作者报告，在 DEAP 和 MAHNOB-HCI 上，所提算法在 emotion、valence、arousal、liking 分类任务中优于其他研究报告的结果，并为 AMIGOS 和 DREAMER 建立基准。摘要未给出具体指标、分数、对照方法或各数据集对应的任务配置，因此尚不能判断性能优势的幅度及不同研究协议的可比性。 作者还报告，通过合并数据集和使用迁移学习，方法能够应对数据集之间的不一致；分析总体涉及超过 120 名被试和 2,800 次试次。该规模是整体分析范围，不能据此推断各数据集的被试数、训练测试比例，或是否采用被试内、跨被试、跨会话与跨数据集独立测试。数据集差异的具体定义、迁移方向及目标数据使用方式需核对全文。 在解释性分析方面，研究提出利用 convolution-deconvolution network 识别不同情感状态对应的显著脑区。其显著性计算、空间映射和验证依据尚未明确，不能将模型显著区域直接视为已验证的生理机制。复现需进一步确认预处理、标签定义、数据划分、模态同步与缺失处理；实验协议、消融及统计信息尚未验证。该研究与 EEG 情感解码直接相关，但摘要不支持将其结果扩展为在线 BCI 控制性能。