Spore:用于远程心率测量的时空协同感知与表征空间解耦
Spore: Spatio-Temporal Collaborative Perception and representation space disentanglement for remote heart rate measurement
基于摘要分析。该研究针对 RGB 视频远程光电容积描记(rPPG)心率测量中局部相似性与全局准周期性利用不足、非生理噪声干扰表征的问题,提出训练策略 Spore,结合 Spatio-Temporal Cooperative Perception Network(STCPNet)与 Separable Network(SpNet),旨在兼顾生理信号提取能力和资源效率。研究对象是视频心率估计,并非 EEG 解码或 BCI 验证。 机制上,摘要提出以差分正交解耦和并行近似分离噪声与生理信号。STCPNet 聚合空间和时间维度的语义上下文,加强全局及趋势层面的交叉相关;资源开销较低的 SpNet 则通过重新对齐源潜在空间的分布,构建目标表征空间,并从计算开销较大的 STCPNet 中获取解耦后的生理信号模式。具体损失形式、两个网络的训练关系、近似操作及推理时使用哪些模块尚未验证,不能据此直接认定为知识蒸馏。 作者报告在多个基准数据集及真实场景部署测试中取得领先的心率测量性能,同时保持资源效率;但摘要未提供数据集名称、数据划分、评价指标、对照方法或计算开销数值,因此无法核对提升幅度及适用条件。实验协议、消融及统计信息尚未验证。作者表示将发布代码,当前材料不能确认代码已公开。 平台推测(待验证):若其解耦机制能够区分生理变化与非生理干扰,可探索用于 EEG 噪声鲁棒表征,但 rPPG 的准周期性与视频时空结构不能直接等同于 EEG 的任务相关活动。可考虑复用表征解耦和轻量近似思路,需改造输入编码与空间关系建模;低信噪比、小样本、跨被试差异及通道配置变化可能使解耦过程误删有效神经活动。一个可检验的小实验是在固定跨被试 EEG 划分、相同骨干与训练预算下,对比加入及移除该解耦机制的任务性能和噪声扰动鲁棒性。相关 EEG 工作尚未检索确认。
值得核对其如何将计算开销较大的时空表征迁移至轻量网络,以及表征解耦对 rPPG 噪声抑制的实际贡献,但摘要不足以验证性能领先性与资源效率。
来源:OpenReview · State space models · openreview.net