PLARE:基于混合专家特征替换的自监督 ECG 表征学习
PLARE: Feature Replacement with a Mixture of Experts for Self-Supervised ECG Representation Learning
基于摘要分析。该研究针对 ECG 局部波形在记录内及记录间存在形态差异的问题,提出 PLARE(Patch-Level Adaptive Replacement with Experts),通过 patch 级混合专家模块按内容选择特征处理方式,学习记录级自监督表征。 机制上,内容依赖路由(CDR)根据每个 patch 的卷积特征选择专家,再用专家输出替换原始特征,随后进行 token 投影;时间 Transformer 建模 patch token 之间的关系。其关键设计是投影前的特征替换,而不是将专家输出以残差方式叠加。摘要未给出自监督目标、专家数量、路由约束或训练规模。 作者报告,在 PTB-XL 的四组标签任务及 CPSC2018 构成的五项任务中,PLARE 在 linear probing 和 fine-tuning 两种协议下,均有四项任务的 AUROC 与 AUPRC 高于所评估基线。消融中,在两种协议下,特征替换均在五项任务中的四项取得比残差相加更高的 AUROC 与 AUPRC 均值;内容依赖路由则在全部五项任务上优于固定随机专家分配。作者还报告,其推理成本低于所比较的较大基线,但摘要未给出具体数值及成本测量条件。 利用 INCART 的心搏级标注,作者在冻结的预训练模型中观察到,正常心搏与室性早搏周边上下文的专家选择分布存在差异;这一观察不能单独证明专家具有稳定的生理语义。具体数据划分、预训练与下游数据关系、实验协议、消融细节及统计信息尚未验证。摘要提供匿名代码地址,但实现完整性与可复现性尚未核验。 平台推测(待验证):若 EEG 局部时间片段也存在可由内容路由捕获的重复形态,patch 级特征替换可能具有复用价值。可复用专家路由与替换模块,但需改造通道组织、patch 尺度及自监督目标;低信噪比、伪迹和跨被试差异可能使路由依赖非任务特征,小数据也可能导致专家使用失衡。可在固定 EEG 编码器、训练数据与计算预算下,对照特征替换、残差相加及随机路由,检验跨被试表现与路由稳定性。此为迁移假设,已有 EEG 相关工作尚未检索确认。
值得核对其特征替换与残差相加、内容依赖路由与固定随机专家分配的对照结果,以判断 patch 级自适应处理的实际贡献,但其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net