SUGAR:利用视觉与运动知识学习用于动作识别的骨架表征
SUGAR: Learning Skeleton Representation with Visual-Motion Knowledge for Action Recognition
基于摘要分析。研究针对 LLM 难以直接理解人体骨架信号、区分动作类别的问题,提出 SUGAR,将视频模型提供的视觉与运动知识用于骨架表征学习,使 LLM 能够输出动作类别及描述。研究对象是基于骨架的动作识别,并非 EEG 解码或 BCI。 方法包含三个环节:首先利用现成的大规模视频模型作为知识来源,生成动作相关的视觉与运动信息;随后以这些先验知识监督骨架学习,形成离散表征;最后由预训练权重保持不变的 LLM 理解这些表征,生成动作目标和描述。作者另提出 Temporal Query Projection(TQP)模块,用于连续建模长序列骨架信号。摘要未说明先验知识的具体形式、离散化方式、监督损失、表征与 LLM 的接口,以及 TQP 的实现细节,不能据此推断整个系统均被冻结或无需训练。 作者报告,SUGAR 在多个基于骨架的动作分类基准上有效,且在零样本场景下比基于线性方法的方案更具通用性。摘要未提供基准名称、数据划分、零样本类别设置、具体基线或数值指标,因此无法量化优势,也无法判断分类与描述任务各自的评估质量。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 研究借鉴的是“外部动作语义先验—离散时序表征—LLM 输出”的接口思路,而非已获验证的 BCI 方法。其迁移假设依赖 EEG 与动作语义之间存在可学习的对应关系;骨架包含直接的运动几何信息,EEG 则受低信噪比、跨被试差异、通道配置及小样本限制,视觉先验可能无法保留有效神经信息。若探索迁移,需要替换骨架编码与表征适配模块;可在具有动作标签的 EEG 数据上,固定被试划分和训练预算,对比加入与不加入视觉运动先验的同一编码器,检验跨被试收益。相关 EEG 工作尚未检索确认。
值得关注其以视频模型先验监督骨架离散表征、再接入预训练权重保持不变的 LLM 的机制,但零样本优势的具体评估协议及其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net