Vi2ACT:采用表征条件判别器的视频增强跨模态协同学习,用于少样本人类活动识别
Vi2ACT: Video-enhanced Cross-modal Co-learning with Representation Conditional Discriminator for Few-shot Human Activity Recognition
基于摘要分析。本文针对传感器数据标注成本高、少样本人类活动识别(HAR)训练数据有限的问题,提出视频增强跨模态协同学习方法 Vi2ACT,以生成视频提供活动语义信息,并在表征层面对齐视频与传感器时间序列。研究对象是 HAR,而非 EEG 或 BCI 解码。 方法首先使用 text-to-video 生成模型构造与类别相关的视频,再通过微调视频编码器获得大量视频语义表征,用于跨模态协同学习。随后引入条件生成对抗网络(cGAN),通过 Representation Conditional Discriminator 区分来自视频编码器的表征与时间序列编码器产生的表征,以促进两种模态的表征对齐。摘要未说明判别器的具体条件变量、损失形式、编码器结构或训练阶段安排,不能据此补全实现。 作者报告,在四个常用 HAR 数据集的实验中,Vi2ACT 在全部所测试的 few-shot 场景下优于对照模型。摘要未提供数据集名称、每类样本数、划分方式、基线名称及指标数值,因此尚不能判断提升幅度,也不能确定其是否适用于跨被试或跨会话设置;实验协议、消融及统计信息尚未验证。复现需进一步核对视频生成与编码器微调配置、类别语义的使用方式,以及训练和评估数据的隔离方式。 平台推测(待验证):若目标 EEG 任务的类别具有可视觉化且与神经信号相关的动作语义,可假设视频语义表征能为少样本 EEG 分类提供辅助监督。可复用跨模态表征对齐框架,但需改造时间序列编码器以处理 EEG 通道结构,并验证视觉动作语义与 EEG 判别信息是否对应。低信噪比、跨被试差异、通道不一致及小数据下的对抗训练不稳定,都可能使迁移失效。一个可检验的小实验是在固定 EEG 少样本划分下,比较纯 EEG 基线、正确类别视频辅助和打乱类别视频辅助,检验增益是否确实来自类别语义。已有 EEG 相关工作尚未检索确认。
值得核对的是利用生成视频语义辅助少样本传感器 HAR、并通过 Representation Conditional Discriminator 对齐跨模态表征的机制,但其优势幅度、评估协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net