用于微表情识别的层次化时空注意力

基于摘要分析。本文研究微表情识别（MER），即从短暂、细微的面部运动视频中识别情绪，提出 Hierarchical Space-Time Attention（HSTA），以建模面部运动与空间区域、时间变化之间的关系，并融合不同模态中的面部线索。研究对象是面部视频，而非 EEG 或 BCI。 作者认为，既有 MER 方法多利用特殊帧或从这些帧提取的光流，容易忽略运动与时空关系中的信息。HSTA 首先通过级联的 Unimodal Space-Time Attention（USTA），并行处理微表情视频帧与特殊帧或数据，建立细微运动和特定面部区域之间的联系；随后利用 Crossmodal Space-Time Attention（CSTA）融合跨模态数据，再将 USTA 与 CSTA 层次化整合。其设计重点是加强时间建模，同时保留特殊数据的作用及各模态的独有信息。摘要未明确具体模态组合、注意力计算形式、损失函数或训练流程。 作者报告，在四个基准上的实验支持 HSTA 的有效性；在 CASME3 的七类别分类任务中，相比文中所称的最新方法，取得约 3% 的分数提升。摘要未给出指标名称、对照方法、数据划分及该提升是相对百分比还是百分点，因此不能将其直接解释为 Accuracy 提升。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 的通道—时间表示或 EEG 与其他同步信号之间存在可学习的局部与跨模态对应关系，USTA/CSTA 的分层融合思路可能用于考察时空建模与模态信息保留。可复用的是分层注意力与融合思路，需改造的是面部区域表示、信号输入及时间对齐方式；EEG 低信噪比、跨被试差异、通道配置变化和小数据可能使注意力学习不稳定。一个可检验的小实验是在固定跨被试划分下，对比单模态时空注意力与增加跨模态融合的版本，并检验模态扰动后是否仍有收益。该建议不属于原论文结果，相关 EEG 工作尚未检索确认。