面向单 IMU 传感器混合现实人体活动识别的解耦表征学习
Learning Disentangled Representation for Mixed- Reality Human Activity Recognition With a Single IMU Sensor
基于摘要分析。研究针对真实场景中标注样本与传感器数量有限的人体活动识别(HAR),提出结合合成数据与多层域适应的深度学习方法,目标是仅用单个惯性测量单元(IMU)实现准确、稳健的活动识别。主要研究对象是惯性传感数据,而非 EEG 或 BCI。 方法包含两个部分:首先,基于 skinned multiperson linear(SMPL)模型,通过正向运动学生成加速度与角速度测量,构建大规模合成 HAR 数据集;其次,采用多层域适应学习,同时对齐虚拟数据与真实数据的低层、高层表征分布。作者提出以互信息约束促进多模态传感数据的解耦表征学习,但摘要未说明具体解耦因素、互信息估计方法、损失形式及各项约束的作用方式,尚不能判断其如何区分活动相关信息与域相关信息。 作者报告,在三个公开数据集上的实验中,该方法相较竞争方法表现有利,并在标注样本数量变化时保持稳健表现。摘要未提供数据集名称、数据划分、被试内或跨被试协议、基线名称、指标及具体数值;实验协议、消融及统计信息尚未验证,不能据此推断其跨被试泛化能力。 平台推测(待验证):可迁移的候选机制是合成—真实数据的多层表征对齐及互信息约束,而非 SMPL 数据生成流程本身。若用于 EEG,需另行建立可信的合成或增强数据来源,并改造输入表征与解耦目标;IMU 的运动学结构和加速度/角速度模态对应关系不能直接套用。EEG 的低信噪比、被试差异、通道差异及小样本互信息估计不稳定,均可能使对齐损害任务信息。一个可证伪的小实验是在固定跨被试 EEG 划分与目标域标注预算下,对比相同骨干的无对齐、仅多层对齐及加入互信息约束版本,检验增益是否稳定并排查负迁移。已有 EEG 相关工作尚未检索确认。
值得关注其以运动学合成数据和多层域适应缓解单 IMU、少标注 HAR 限制的机制,但互信息约束的具体实现及其对 EEG 的可迁移性尚未验证。
来源:OpenReview · Representation learning · openreview.net