跳到正文
OpenReview · Representation learning· Yicheng Deng; Hideaki Hayashi; Hajime Nagahara·· 2026-01-26精选AI 评分76

从像素到语义:面向微表情分析的统一面部动作表征学习

From Pixels to Semantics: Unified Facial Action Representation Learning for Micro-Expression Analysis

AI 导读

基于摘要分析。研究针对微表情识别(MER)中面部动作细微短暂、标注数据稀缺,以及光流和帧差等像素级描述易受身份影响的问题,提出 D-FACE(Discrete Facial ACtion Encoding),利用大规模面部视频预训练离散面部动作 tokenizer,将面部动态编码为语义级动作 token。 作者以学习身份与域不变的动作表示为目标,并报告 token 呈现位置依赖的语义,因此采用 Transformer 配合稀疏注意力池化,选择性提取具有判别力的动作线索。为将动作表示与可理解的情绪对应,方法加入 emotion-description-guided CLIP(EDCLIP)对齐:以情绪文本提示作为语义锚点,同时约束语义模糊、没有对应提示的“others”类别远离所有锚点。摘要未给出 tokenizer 的训练目标、位置语义的具体定义及对齐损失形式。 作者报告在多个数据集上的微表情识别 Accuracy 达到最先进水平,并展示高质量的跨身份、跨域微表情生成;但摘要没有提供数据集名称、划分协议、基线或具体数值,不能据此量化泛化收益。实验协议、消融及统计信息尚未验证。摘要提供了代码链接,代码完整性、预训练数据和权重可用性尚未核验。 平台推测(待验证):可迁移假设是,先学习离散动态单元、再进行序列建模,可能为 EEG 中任务信息与被试差异的分离提供思路;这不等于面部动作 token 能直接用于 EEG。可复用的是离散表征与序列聚合的设计,需重建适合 EEG 通道和时间结构的 tokenizer,并核对任务是否具有可靠文本语义。低信噪比、通道差异和小样本可能使 token 主要编码噪声或被试身份。一个可证伪的小实验是在固定 Cross-subject 划分和相同预训练数据条件下,对比离散 token 与连续表示,并同时检查任务识别及身份可预测性。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以离散动作 token 替代像素级运动描述、并用文本情绪锚点约束表示的机制,但其身份与域不变性及向 EEG 迁移的有效性仍需分别验证。

来源:OpenReview · Representation learning · openreview.net