基于局部化时频对比表征学习的自监督人体活动识别
Self-Supervised Human Activity Recognition With Localized Time-Frequency Contrastive Representation Learning
基于摘要分析。该研究面向智能手机加速度数据的人体活动识别,通过时域与时频域双路自监督对比学习,减少对类别标签的依赖,并支持在少量微调后进行跨数据集活动分类;研究对象并非 EEG 或 BCI。 方法包含两条独立处理流程:一路学习时频域表征,另一路仅学习时域表征。每一路先以自监督对比学习训练,再针对分类任务微调,最后融合两路结果。摘要未说明标题中“局部化”的具体实现,也未给出正负样本构造、数据增强、损失形式与融合策略,这些细节尚未验证。 作者报告,在 MotionSense、human activities and postural transitions data(HAPT)与 heterogeneity human activity recognition(HHAR)上的 F1 分别为 0.934、0.911 和 0.826,并优于所比较的既有方法;但摘要未明确这些结果的被试划分、F1 平均方式及具体基线,不能将其视为已确认的跨被试或跨数据集成绩。另在跨数据集迁移评估中,作者使用 MobiAct 预训练,以其余三个数据集执行下游分类,报告优于其他自监督方法,但未提供该协议下的具体分数与微调标签量。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,时域与时频域互补表征可能有助于 EEG 在标注有限时的分类,但加速度活动信号上的效果不等于 BCI 有效性。可复用双路预训练与融合思路;需针对 EEG 调整通道组织、时频表示及增强策略,避免破坏任务相关节律。低信噪比、跨被试差异、通道不一致及小样本微调均可能使收益消失。一个小规模验证可在固定跨被试划分与相同标注预算下,对比时域单路、时频域单路和双路融合,并保证预训练不使用测试被试数据。相关 EEG 工作尚未检索确认。
该研究提供了结合时域与时频域自监督对比学习的加速度信号表征方案,其以 MobiAct 预训练、迁移至三个活动识别数据集的评估值得核对,但对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net