CardiacMamba:基于状态空间模型的多模态 RGB-RF 融合远程生理测量框架
CardiacMamba: A Multimodal RGB-RF Fusion Framework with State Space Models for Remote Physiological Measurement
基于摘要分析。该研究针对远程光电容积描记(rPPG)心率估计中单一 RGB 或射频(RF)模态易受光照变化、运动伪影及肤色偏差影响的问题,提出 CardiacMamba,利用两种模态的互补信息改善远程生理测量。其主要研究对象是心率估计,而非 EEG 解码或 BCI。 方法包含三个关键模块:Temporal Difference Mamba Module(TDMM)利用帧间时间差异捕捉 RF 信号的动态变化,提取局部与全局特征;Bidirectional SSM 用于跨模态对齐;Channel-wise Fast Fourier Transform(CFFT)用于捕捉和细化 RGB 与 RF 信号的频域特征,支持心率估计及周期性检测。摘要未给出模块连接方式、损失函数、训练监督及同步处理细节,尚不能判断各模块的独立贡献。 作者报告,在 EquiPleth 数据集上的实验达到其所称的最先进性能,并改善准确性与鲁棒性;作者还报告,方法缩小了不同人口群体之间与肤色相关的性能差异,并在模态缺失时保持鲁棒性。摘要未提供具体指标、数值、被试规模、数据划分、对照基线或模态缺失协议,因此这些结论的适用范围及统计可靠性尚待全文核对。实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但实现完整性与复现条件尚未核验。 平台推测(待验证):跨模态时序对齐和频域处理可作为多模态神经信号融合的候选机制,但原任务依赖 RGB-RF 的互补时序信息及心率周期性,不能直接推导出 EEG/BCI 效果。若迁移至 EEG 与另一同步模态的融合,需要改造输入编码、时间尺度及频段处理;低信噪比、通道差异、小数据和跨被试变化可能使差分运算放大噪声,或使周期性假设失效。一个可检验的小实验是在固定跨被试划分下,对比单模态、简单融合及加入双向 SSM/CFFT 的融合模型,并测试模态缺失条件,检验收益是否稳定。相关 EEG 工作尚未检索确认。
值得核对其时序差分、双向状态空间模型与频域处理如何协同实现 RGB-RF 融合,尤其是肤色群体差异和模态缺失条件下的评估,但摘要不足以确认具体性能及其对 EEG/BCI 的适用性。
来源:OpenReview · State space models · openreview.net