跳到正文
OpenReview · Representation learning·· 2026-09-03精选AI 评分76

One for All:面向跨传感器骨架表征学习的通用基础模型

One for All: Generalist Foundation Model for Cross-Sensor Skeleton Representation Learning

AI 导读

基于摘要分析。该研究针对不同传感器的骨架数据在关节数量、索引规则和拓扑结构上的差异,提出通用基础模型 SOfA(Skeleton One for All),旨在通过统一的自监督表征学习,减少对传感器专用或数据集专用模型的依赖;主要研究对象是人体运动的 3D 骨架数据,而非 EEG 或 BCI。 核心机制包含两部分:一是固定数量的可学习 Canonical Joint Slots,通过注意力机制动态聚合传感器特定的骨架输入,将不同关节数量的输入映射到统一槽位;二是由预训练文本编码器生成 Semantic Joint Embedding,替代绝对位置嵌入,以处理跨传感器的关节索引不一致。摘要未说明具体自监督目标、文本描述构造方式或槽位训练细节。 作者报告,将十个 3D 骨架数据集标准化后用于统一训练,并在多种下游任务和传感器类型上取得 SOTA 表现,且单一模型经常优于数据集专用模型。摘要未提供任务名称、数据划分、指标数值及具体对照,因而这些结论的适用范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移启发在于用固定槽位吸收可变数量输入,并用语义信息替代不一致的索引。这可能对应 EEG 跨设备通道数量、命名和布局不统一的瓶颈,但依赖输入单元具有可对齐的身份信息,以及足够多样的训练数据。可考虑复用槽位聚合机制,另行改造 EEG 时序编码与通道位置表征;关节语义不能直接等同于电极所记录的混合信号。低信噪比、跨被试差异及小数据条件下,槽位可能无法形成稳定对应。一个可检验的小实验是在相同 EEG 数据、训练规模和跨被试划分下,比较槽位聚合与固定通道映射在通道子集变化时的性能,并消融通道身份表征。已有 EEG 相关工作尚未检索确认,上述实验仅检验迁移假设,不代表已证实的 BCI 效果。

阅读价值

值得关注其以固定数量的可学习槽位和文本语义关节嵌入统一异构传感器输入的机制,但其对 EEG 通道异构问题的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net