面向多模态主动感知的通用人体姿态表征

UniversalPose 面向 WiFi、mmWave、声学、LiDAR 和深度等传感模态的人体姿态估计，尝试用统一表征与单一架构替代模态专用模型。基于摘要分析，其核心贡献是将异构输入转换为共享的 token 序列，并通过位置编码和局部性感知注意力支持联合训练与多模态融合；研究对象并非 EEG 或 BCI。 机制上，作者引入 pseudo-3D positional embeddings（伪三维位置嵌入）及 multi-modal locality-aware self-attention（多模态局部性感知自注意力），以支持包括缺少显式空间坐标的输入。统一表征还允许通过简单 token 拼接融合多模态数据，而不修改架构。各模态如何生成 token、如何构造伪三维位置与局部邻域，以及训练目标和同步要求，摘要未提供足够细节。 作者报告，在多模态联合训练条件下，UniversalPose 的姿态估计精度可达到或超过模态专用专家模型；在使用同步多模态输入时，同一架构超过了现有最先进融合模型。摘要未列出数据集、数据划分、评价指标、具体数值或基线名称，实验协议、消融及统计信息尚未验证。作者表示代码将公开，不能据此认定已经发布。 平台推测（待验证）：可迁移假设是，统一 token 接口与位置约束可能用于探索 EEG 与其他传感信号的融合，但这不意味着姿态估计结果可直接推广至 BCI。原方法依赖异构感知数据、姿态估计任务及同步输入条件，具体监督形式与数据规模尚未验证。若尝试迁移，需要重构 EEG 的时间—通道 token、位置编码和局部邻域；EEG 低信噪比、跨被试差异、通道布局变化与小样本训练均可能削弱这种统一表征。一个可证伪的小实验是在固定跨被试划分下，对比 EEG 单模态、同步多模态 token 拼接及移除位置与局部性机制的设置，检验收益是否稳定。已有 EEG 相关工作尚未检索确认。