通过跨模态表征学习实现人体动作识别中的无监督模态适应

基于摘要分析。本文研究人体动作识别（HAR）中不同传感模态之间的知识迁移，提出 Unsupervised Modality Adaptation（UMA，无监督模态适应）设置：测试时使用的模态不参与有监督训练。作者利用统一多模态表征空间，提出 Student-Teacher（ST）、Contrastive Alignment（CA）和 Cross-modal Transfer Through Time（C3T）三种方法。 机制与结果：ST 采用学生—教师思路，CA 进行对比对齐，C3T 的核心是跨随时间变化的潜在向量对齐信号。作者报告，在多个 camera+IMU 数据集的人体动作识别实验中，ST 对简单任务有效，CA 在模块化与整体表现之间较均衡，C3T 对时间相关噪声最稳健。摘要未提供具体数据集名称、指标数值、噪声类型或对照配置，因此这些结论仅能作定性理解。训练模态与测试模态是否需要配对、未标注测试模态数据如何参与训练，以及具体损失、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，C3T 的时间对齐机制可能帮助利用辅助传感模态训练 EEG 表征，缓解跨传感器时间错位；这并非已验证的 EEG/BCI 效果。原方法依赖统一多模态表征，其配对关系、监督组织及所需数据规模尚不明确。潜在可复用部分是跨模态对齐机制，需改造 EEG 编码器与时间窗处理；EEG 低信噪比、被试差异、通道差异和小数据可能使对齐依赖运动伪迹而非目标神经活动。 一个小规模可证伪实验是：在具备同步 EEG 与辅助传感信号的数据上，限定 EEG 不参与有监督训练，固定数据划分和编码器容量，比较 ST、CA、C3T 在受控时间偏移前后的任务指标及性能下降，并检查对运动伪迹的依赖。已有 EEG 相关工作尚未检索确认。