Vi2ACT:利用表征条件判别器的视频增强跨模态协同学习,用于少样本人类活动识别
Vi2ACT:Video-enhanced Cross-modal Co-learning with Representation Conditional Discriminator for Few-shot Human Activity Recognition
基于摘要分析。该研究面向传感器数据标注成本较高条件下的少样本人类活动识别(HAR),提出 Vi2ACT,通过生成类别相关视频并对齐视频与时间序列表征,利用视频语义辅助传感器活动识别;原研究对象并非 EEG/BCI。 机制上,方法先利用 text-to-video 生成模型构造类别相关视频,再通过微调视频编码器获得大量视频语义表征,用于跨模态协同学习。随后引入条件生成对抗网络(cGAN)进行表征级对齐,其中 Representation Conditional Discriminator 学习区分来自视频编码器的表征与时间序列编码器生成的表征。摘要未给出判别器的具体条件输入、损失形式、编码器结构及训练阶段安排,不能据此确定更细的优化机制。 作者报告,在四个常用 HAR 数据集的所有受评估少样本场景中,Vi2ACT 均优于对照基线。摘要未列出数据集名称、每类样本数、被试划分、基线名称或具体指标,因此该结论只能限定于作者所述实验范围;实验协议、消融及统计信息尚未验证。复现时需核对生成视频与目标类别的语义一致性、视频编码器微调所需监督,以及生成增强和对抗对齐各自的贡献。 平台推测(待验证):这一机制可能为具有可视动作语义的 EEG 运动想象任务提供辅助表征,但依赖类别语义能够跨越可见动作与脑活动之间的差异。可尝试复用视频语义编码与表征对齐模块,时间序列编码器则需针对 EEG 改造;低信噪比、跨被试差异、通道配置变化及小样本条件下的对抗训练不稳定,都可能使对齐失效。一个可证伪的小实验是在固定 Cross-subject 划分和标注预算下,对比 EEG 单模态基线、加入生成视频语义及进一步加入对抗对齐的表现,检验语义辅助是否真正改善识别。相关 EEG 工作尚未检索确认。
值得核对其利用生成视频语义辅助少样本传感器表征学习的机制,尤其是 Representation Conditional Discriminator 的对齐作用及生成数据的实际贡献;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net