面向联邦式 3D 人体动作识别的深度多模态表征方案

基于摘要分析。本研究面向多模态 3D 人体动作识别，探索如何在联邦学习框架下利用深度与 3D flow 信息，并通过多粒度模态融合和自适应联邦聚合实现分布式跨域知识迁移；原研究对象并非 EEG 或 BCI。 方法贡献包括将深度与 3D flow 信息纳入深度学习动作识别方案，设计 early、slow、late 三类融合方案，以及通过联邦聚合机制自适应引导学习过程。摘要未披露具体网络结构、损失函数、融合位置或聚合权重的计算方式，其跨域迁移机制仍需正文核对。 作者还引入了一个包含 132 名人类被试的多模态、多视角 3D 动作识别数据集，并在集中式和分布式场景下分析单模态与多模态表征。作者报告，所提出的联邦多模态方案在该数据集的两种具有挑战性的数据分布场景下取得了可接受的识别表现；摘要未提供具体指标、数值、分布设定及划分协议，因此不能据此判断相对基线的提升幅度。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将客户端对应为不同被试或采集站点，多粒度融合与自适应聚合可作为多模态 EEG 研究的候选机制，但前提是具有可对齐的多模态记录、可用监督及明确的客户端划分。可借鉴的是融合和聚合思路，深度与 3D flow 编码模块则需替换为适配神经信号的编码模块。EEG 低信噪比、被试差异、通道配置不一致及客户端小样本可能使自适应聚合不稳定。一个可检验的小实验是在固定跨被试划分和相同编码器条件下，对比单模态、不同粒度融合及固定与自适应聚合，检验收益能否在留出被试上保持。相关 EEG 工作尚未检索确认。