DFGait:用于多模态步态识别的分解融合表征学习
DFGait: Decomposition Fusion Representation Learning for Multimodal Gait Recognition
基于摘要分析。DFGait 面向利用人体轮廓与骨架进行身份识别的多模态步态识别,针对模态分布差异和信息冗余,将特征分解、对抗模态对齐与融合结合起来,学习综合步态表征;其主要研究对象并非 EEG 或 BCI。 方法首先学习两种模态各自的模态共享表征与模态特有表征,并引入模态间及模态内正则化损失,以保留共性和特有信息、缓解模态差距与信息冗余。随后,通过混淆模态判别器进行对抗模态对齐,促进两种模态的特征交互,最后使用可分离融合模块生成综合表征。摘要未给出损失公式、特征分解约束及融合模块的具体实现,尚不能判断各部分如何避免共享与特有信息混杂。 作者报告,在 Gait3D 和 GREW 上的 rank-1 accuracy 分别为 50.30% 和 61.42%,并称达到最先进性能;摘要未提供具体划分、评估设置或基线结果,因此该性能定位仍需结合全文核对。材料提供了代码地址,但代码可用性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):共享/特有表征分解可能对应多模态神经信号融合中的共性与互补信息建模,但原方法依赖轮廓与骨架两种步态数据,其有效性不能直接外推至 EEG。可复用候选是分解正则化与模态判别器,需改造输入编码器、时间同步及融合接口;低信噪比、通道差异和小样本可能导致特有表征吸收噪声,或对抗对齐抹除任务相关差异。一个可证伪的小实验是在已有同步 EEG 与另一模态数据上,固定跨被试划分和编码器,分别加入特征分解、对抗对齐及二者组合,与直接融合比较,以检验增益及其来源。相关 EEG 工作尚未检索确认。
值得核对其共享与特有表征分解、对抗模态对齐是否各自带来识别收益,以及对齐是否损伤模态特有信息;摘要提供了代码地址,但具体协议与消融尚未验证。
来源:OpenReview · Representation learning · openreview.net