跳到正文
OpenReview · State space models· Changqin Huang; Fan Jiang; Zhongmei Han; Xiaodi Huang; Shijin Wang; Yanlai Zhu; Yunliang Jiang; Bin Hu·· 2025-01-01精选AI 评分77

面向视频面部表情识别的动态时空图细粒度关系建模

Modeling Fine-Grained Relations in Dynamic Space-Time Graphs for Video-Based Facial Expression Recognition

AI 导读

基于摘要分析。本文研究视频面部表情识别(FER),提出时空关系感知动态图卷积网络 ST-RDGCN,通过无需面部关键点的动态时空图,建模表情随时间演化的细粒度关系。其主要研究对象是面部视频,并非 EEG 或 BCI。 作者认为,现有帧级图对时空关系的刻画较粗,而基于面部关键点的方法依赖额外关键点并形成静态图结构。ST-RDGCN 提出三种建图方案:动态独立空间图、动态联合时空图和动态交叉时空图,并设计关系感知时空图卷积算子 RSTG-Conv,以学习动态图中的时空相关性。图节点定义、边权计算、动态图更新方式及训练目标尚未验证。 作者报告,在 CK+、Oulu-CASIA、AFEW、DFEW 和 FERV39k 上,整体 Accuracy 分别为 99.69%、91.67%、56.51%、69.37% 和 49.03%,并称达到当时最佳水平;摘要未提供数据划分与完整对照条件,因此这些结果不能直接跨数据集比较。作者还报告,在 FERV39k 上相较当前最佳方法的 UAR 提升为原文所述“3.6%”,但未明确是相对百分比还是百分点。作者的方案比较表明,动态交叉时空图在三种建图方案中最有效;具体实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,视频中动态建图与关系聚合的思路可能用于 EEG 通道或时间窗之间的非平稳关系建模,但原领域有效不等于 BCI 有效。迁移需要将视觉特征节点改为 EEG 通道或时频片段,并重新定义边关系;其对数据规模与监督信号的依赖仍需核对。低信噪比、伪迹、跨被试差异及通道配置变化可能使动态图捕获不稳定相关。一个小规模验证是,在固定 EEG 分类任务、相同输入编码器和 Cross-subject 划分下,仅比较静态图与动态图关系模块,检查性能及边关系稳定性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是无需面部关键点的动态时空图构建及三种建图方案的对照;其对 EEG 动态关系建模的适用性尚未验证。

来源:OpenReview · State space models · openreview.net